监督微调数据准备进阶篇：从学习曲线到合成数据，构建高质量训练集
在上一篇文章中，我们讨论了监督微调（SFT）数据准备的基础知识。现在，我们进入更高级的领域，探讨如何通过数据策略提升模型微调效果。本文作为系列的第二部分，将聚焦于四个关键方面：评估数据就绪度、选择高价值数据子集、使用合成数据增强，以及混合数据源以防止灾难性遗忘。
用学习曲线评估数据就绪度
在投入大量资源进行数据标注前，先评估现有数据的质量与分布至关重要。学习曲线是一种直观的工具，通过绘制训练集大小与模型性能的关系，可以判断数据是否足够。如果曲线在增加数据量后性能提升缓慢，说明数据可能已接近饱和，继续添加类似数据收益有限；反之，若曲线仍呈上升趋势，则表明数据不足，需要扩充。
此外，数据多样性也是关键。单一来源的数据可能导致模型过拟合，而多样化的数据则能提升泛化能力。实践中，可以通过聚类分析或嵌入可视化来检查数据分布，确保覆盖目标任务的各个维度。
挑选高价值子集：质量重于数量
并非所有数据都同等重要。数据筛选可以显著提升微调效率。常见策略包括：
- 难度筛选：优先选择模型当前表现不佳的样本，这类样本往往能提供更大的梯度更新，加速学习。
- 多样性筛选：基于嵌入相似度去重，保留代表不同模式的样本，避免冗余。
- 不确定性采样：利用模型对样本的预测置信度，选择高不确定性的样本进行标注，常用于主动学习。
这些方法能帮助你在有限预算下，最大化数据效用。
合成数据与蒸馏：数据增强的捷径
当真实数据稀缺或标注成本高昂时，合成数据成为有力补充。通过大模型生成类似任务的样本，或使用知识蒸馏将教师模型的知识迁移到学生模型，都可以扩充训练集。例如，对于对话任务，可以使用强大模型生成对话，再人工审核修正。
但合成数据需谨慎使用，避免引入噪声或偏差。建议将合成数据与真实数据混合，并监控模型在验证集上的表现，以防过度依赖合成数据导致性能下降。
混合数据源，防止灾难性遗忘
在微调过程中，模型可能因过度适应新数据而遗忘原有能力，即灾难性遗忘。解决之道在于数据混合：在训练集中保留一部分通用数据或旧任务数据，与新数据混合训练。例如，在指令微调时，按比例混合通用指令与领域特定指令，既能提升新任务表现，又保持模型原有的通用能力。
经验法则：新数据与旧数据的比例通常控制在 1:1 到 1:10 之间，具体需根据任务相似度和数据量调整。
小结
高级数据策略的核心是系统性评估与主动设计。通过学习曲线判断数据瓶颈，利用筛选聚焦高价值样本，借助合成数据突破数据瓶颈，并以混合策略维护模型稳定性，可以显著提升监督微调的效果。实际应用中，这些策略往往组合使用，需要根据具体任务和数据资源灵活调整。
（本文基于 AWS 机器学习博客系列内容整理，更多细节可参考原文。）
