因果推断中的模型选择关键作用：InferBERT框架下分类模型的药物警戒比较分析
在药物警戒领域，区分真实的药物不良反应（ADE）与虚假关联一直是个核心难题。InferBERT框架将Transformer模型与Do-calculus相结合，但其成功高度依赖于底层分类模型的选择。最新研究对InferBERT框架下的四种分类模型进行了系统性比较，揭示了领域预训练的重要性远超模型规模。
研究背景与实验设计
药物不良反应的因果推断面临两大挑战：一是混杂因素导致的虚假关联，二是传统信号检测方法（如PRR、ROR、EBGM）无法区分因果与非因果关联。InferBERT通过整合Transformer的上下文理解能力与因果推断的Do-calculus，为这一问题提供了新思路。但框架中的分类模型选择是否影响最终效果？研究者选取了XGBoost（基线模型）、ALBERT（原始InferBERT模型）、BioBERT（生物医学领域预训练Transformer）和Med-LLaMA（医学大语言模型）四种代表性模型，在两个基准数据集——**镇痛药诱导的急性肝衰竭（AILF）和曲马多相关死亡率（TRAM）**上进行了严格比较。
实验采用5折交叉验证重复20次，评估指标包括准确率、校准误差（ECE，含等渗回归前后）以及因果术语与PRR、ROR、EBGM的一致性（Jaccard系数），并辅以配对t检验验证显著性。
关键发现：领域预训练胜过规模扩展
结果明确显示，BioBERT在两个数据集上均取得了最高准确率，而Med-LLaMA尽管参数规模庞大且采用参数高效微调，表现却不尽如人意。这一反直觉结果说明，对于药物警戒这一专业领域，领域特定的预训练（如BioBERT在生物医学语料上的预训练）比单纯扩大模型规模更具优势。校准技术虽能改善ECE，但对准确率和因果发现的影响参差不齐。在因果术语一致性方面，BioBERT同样表现最佳，与传统信号检测方法高度吻合。
行业启示：小模型大智慧
该研究为AI制药和药物安全监测提供了重要参考：在资源有限的实际部署场景中，投资于可管理、领域感知的模型（如BioBERT）比追求大语言模型更高效。这并非否定LLM的价值，而是强调在特定任务上，领域适配性比通用能力更重要。未来，研究者可进一步探索如何将领域预训练与因果推断框架更深度融合，或开发混合模型以兼顾规模与专业性。