新上线昨天0 投票
监督微调数据准备（上）：格式化与质量控制
数据准备决定了监督微调（SFT）项目的上限。本文是系列文章的第一篇，将深入探讨SFT数据准备的基础：质量检查、对话式（JSONL）格式化、推理与工具调用模式，以及具有代表性的训练/评估划分。
为什么需要SFT？
在评估基础模型（FM）后，如果开箱即用的性能无法满足生产需求，比如模型不能可靠遵循输出模式、难以处理领域分类体系，或无法保持应用所需的语调，那么定制化就是必然选择。
定制化的三种方式
后训练定制化提供三种不同的杠杆，分别解决模型当前能力与需求之间的差距：
- 继续预训练（CPT）：摄入大规模非结构化领域文本，扩展模型知识库。适用于模型缺乏领域术语、概念或数据模式的情况。
- 监督微调（SFT）：基于精选的输入-输出对训练，重塑模型行为。SFT教会模型如何响应：遵循指令、遵守模式、采用特定语气或生成结构化输出。它不注入新知识，而是让模型以所需方式应用已有知识，这有时被称为“表面对齐假说”。
- 强化微调（RFT）：通过奖励信号而非显式演示来优化行为。适用于可以编程评估输出质量但难以大规模演示推理路径的场景。
这些技术并非互斥。生产模式通常是CPT、SFT、RFT的组合：先扩展知识，再塑造行为，最后通过反馈优化。实践中，CPT使用较少，仅当基础模型缺乏关键领域词汇或知识时才需要。像Amazon Nova这样的基础模型已在广泛语料上预训练，因此通常SFT后接RFT就足够了。
SFT数据准备基础
本文作为系列的第一篇，涵盖SFT数据准备的基础：质量检查、格式化要求、训练/评估划分。我们使用Amazon Bedrock文档中的代码片段说明关键概念，同时保持指导对任何模型都适用。
- 质量检查：确保数据准确、无噪声，并覆盖所需行为。
- 格式化：采用对话式JSONL格式，明确区分用户、助手和系统消息，并支持推理和工具调用模式。
- 训练/评估划分：创建代表性划分，确保评估集能反映真实分布。
小结
数据准备是SFT成功的关键。通过严格的质量控制、正确的格式化和合理的划分，你可以为模型定制奠定坚实基础。下一篇将探讨高级策略，如就绪评估、数据子集选择与过滤、数据增强等。
