MS-MLB:首个基于血液RNA的多发性硬化症开放机器学习基准
多发性硬化症(MS)的诊断通常依赖临床评估、磁共振成像和实验室证据,过程复杂且耗时。近年来,血液RNA表达数据被认为可能携带疾病相关的免疫信号,但如何利用机器学习从这些数据中高效识别MS,一直缺乏一个标准化、可复现的评估框架。为此,研究团队推出了MS-MLB(Multiple Sclerosis Machine Learning Benchmark),一个开放的机器学习基准,旨在推动MS分类研究的规范化发展。
MS-MLB基于公开的GSE17048队列,将数据转化为“MS与健康对照”的二分类任务,并在统一的、防数据泄漏的流程下评估多种算法。该流程包括嵌套交叉验证、独立的留出集、bootstrap置信区间、ROC与精确率-召回率分析、校准度量,以及一个探索性的“MS研究评分”。研究人员无需重新配置即可复现整个评估过程,这大大提升了结果的可比性和可靠性。
在最终的基准测试中,梯度提升(Gradient Boosting)模型表现最佳,在留出集上取得了MS研究评分93.83、AUC-ROC 0.989、灵敏度0.950、特异度0.778、F1分数0.927以及Brier分数0.050。这一结果展示了机器学习在血液转录组数据中识别MS相关信号的潜力,但研究团队强调,该评分仅用于研究比较,尚未经过临床验证,不能作为临床诊断的替代工具。
与以往研究不同,MS-MLB的贡献在于其开放性和标准化。据作者所知,这是首个专门针对GSE17048全血RNA表达数据、聚焦MS与健康对照分类的开放基准,并且框架内内置了外部模型提交通道,方便其他研究者参与对比。这一设计有望促进该领域的合作与创新,加速更稳健的MS生物标志物发现。
对于AI与医疗交叉领域的研究者而言,MS-MLB提供了一个宝贵的资源:它不仅是算法性能的试金石,更是推动临床转化研究的重要基础设施。未来,随着更多数据的纳入和模型的迭代,这类基准有望在神经免疫疾病的精准诊断中发挥更大作用。