SDO：面向高效LLM后训练的结构感知数据组织新框架
大语言模型（LLM）的后训练阶段成本高昂，现有优化手段多聚焦于样本筛选与训练调度，却鲜有关注数据组织本身。传统做法通常将数据组织视为静态预处理：基于嵌入的分组方法在训练前构建固定分区，无法适应训练过程中样本暴露度的动态变化，导致部分样本被过度训练，而另一些则训练不足。针对这一痛点，来自高校与企业的研究团队提出 SDO（Structure-Aware Data Organization，结构感知数据组织），一种即插即用的数据组织框架，通过暴露度反馈机制动态调整小批量构成与样本暴露度，在 SFT、DPO、GRPO 等主流后训练范式中均显著加速收敛，相关论文已发布于 arXiv（编号：2607.27273）。
核心机制：从静态分区到动态调度
SDO 的核心创新在于将数据组织从“一次性预处理”转变为“逐轮动态调整”。具体而言，它采用逐 epoch 运行的方式，基于冻结的外部嵌入（无需模型预热），在每个 epoch 内通过 K 近邻（KNN）邻域遍历构建局部感知的小批量，确保语义相近的样本被分到同一批次；在跨 epoch 间，则通过暴露度均衡调度记录每个样本的参与次数，并降低过度暴露样本的采样概率，从而维持长期覆盖。
这一设计直击静态分组的痛点：静态方法无法感知样本在优化过程中的“真实需求”，而 SDO 通过反馈机制让数据组织随训练动态调整，使每个样本都能获得与其优化需求相匹配的暴露机会。
实验效果与行业意义
论文报告，SDO 在 SFT、DPO、GRPO 三种后训练场景中均能加速收敛，且在训练早中期提升最为显著。此外，该方法还能产生更连贯的梯度，并在不同问题类型间实现更均衡的准确率，同时不会永久排除任何训练样本——这保证了数据利用的完整性。
从行业视角看，后训练是 LLM 落地应用的关键环节，其成本往往占整体训练开销的相当比例。SDO 提供了一种轻量级、与模型无关的优化思路，可无缝嵌入现有训练流程，对资源受限的团队尤其具有吸引力。未来，如何将 SDO 与课程学习、主动学习等策略进一步结合，或将其扩展至多模态大模型的后训练，将是值得期待的研究方向。