新上线今天0 投票
大语言模型的下一个前沿：私有数据训练——跨域联邦微调基准
大语言模型（LLM）的成功很大程度上依赖于海量公开数据，但下一个前沿在于解锁私有数据。近日，一篇发表于 arXiv 的论文提出了一种基于联邦学习的跨域基准，用于评估 LLM 在医疗和金融等高度监管领域中对私有数据的微调效果。
该研究由 Daniel M. Jimenez-Gutierrez 等人完成，利用 Flower 联邦学习平台，实现了多个机构在不共享原始数据的情况下联合微调共享 LLM。基准测试涵盖四个闭式问答和分类数据集：MedQA、MedMCQA、FPB 和 FiQA-SA，分别代表医疗和金融领域。研究者比较了三种参数高效微调（PEFT）策略——LoRA、QLoRA 和 IA3，并在非独立同分布（non-IID）设置下评估其性能。
核心发现：联邦微调的性能接近集中式训练，且显著优于单机构孤立学习。从绿色 AI 视角看，QLoRA 和 IA3 在精度损失有限的情况下大幅提升了效率，证实了联邦 PEFT 是适应私有数据 LLM 的可行方案。这一工作为打破数据孤岛、推动 LLM 在敏感领域的落地提供了实用路径。