精选今天0 投票
CSTutorBench：面向积木式编程的小语言模型辅导能力基准测试
大型语言模型作为AI导师的应用日益广泛，但在K-12教育场景中部署时，隐私、成本和对专有模型的依赖成为主要顾虑。小语言模型（SLM）提供了有前景的替代方案，然而如何为特定教育场景选择合适的模型仍是一大难题，尤其是当目标领域（如积木式编程）在模型训练数据中几乎不存在时。为此，研究者提出了 CSTutorBench——一个专门评估语言模型在VEX VR（积木式机器人编程环境）中担任计算机科学导师能力的基准测试。
该基准包含 17个场景化问题，依据基于成熟辅导与反馈研究构建的教学法评分标准进行打分，并采用“人在回路+LLM作为裁判”的流水线进行评估。初步测试覆盖了 11个模型（参数量从4B到120B），结果发现：
- 模型在 词汇和语气 等表层标准上表现良好；
- 但在 深层教学行为 上存在明显不足，尤其是 避免直接给出答案 和 利用学生调试历史 这两个方面。
有趣的是，模型家族和指令微调方法 比参数量更能预测辅导质量，尽管样本量有限限制了这一结论的强度。此外，基于最新教育提示工程研究的目标性提示修订，使 11个模型中的10个 得分提升。
这些结果凸显了 情境特定、基于教学法的基准测试 对于在教育部署中选择SLM的重要性。CSTutorBench为教育者和开发者提供了一个实用工具，帮助他们评估不同小语言模型在积木式编程辅导中的实际表现，推动AI助教在K-12场景中的安全、高效落地。