精选今天0 投票
HypEHR：用双曲空间建模电子健康记录，实现高效问答
电子健康记录（EHR）问答系统通常依赖基于大型语言模型（LLM）的流水线，这些系统部署成本高昂，且未能充分利用临床数据固有的层次结构。针对这一痛点，来自石溪大学等机构的研究者提出了 HypEHR——一种紧凑的洛伦兹模型，将诊断代码、就诊记录和问题嵌入双曲空间，并通过几何一致的交叉注意力机制与类型特定的指针头来回答查询。相关论文已被 ACL 2026 Findings 接收。
为什么是双曲空间？
医学本体（如 ICD 编码）和患者就诊轨迹天然具有层次性：例如，"糖尿病"属于"内分泌疾病"大类，而"1型糖尿病"又是"糖尿病"的子类。在欧几里得空间中，这种树状结构难以高效表示——因为随着层级加深，所需维度会指数增长。而双曲空间（如洛伦兹模型）因其负曲率特性，能够以极低维度容纳指数级增长的层次结构，恰好契合医学数据的组织方式。
HypEHR 的核心设计
HypEHR 的工作流程分为三步：
- 嵌入：将诊断代码（ICD 编码）、患者就诊序列和自然语言问题映射到同一双曲空间。
- 交叉注意力：在双曲空间中进行几何一致的注意力计算，让问题与相关的代码和就诊记录交互。
- 指针头：针对不同类型的信息（如诊断、药物、检查结果）设置专用的指针头，输出答案在编码空间中的位置。
预训练阶段，HypEHR 结合了下一就诊诊断预测（类似语言模型中的下一词预测）和层级感知正则化，确保嵌入向量与 ICD 本体的层次结构对齐。
性能与效率
在基于 MIMIC-IV 的两个 EHR 问答基准上，HypEHR 的表现接近 LLM 方法，但参数量大幅减少。例如，在涉及诊断代码预测和就诊信息检索的任务中，HypEHR 的准确率仅比 GPT-4 等大模型低 2-3 个百分点，而模型规模仅为后者的千分之一。这意味着 HypEHR 可以在普通 GPU 甚至 CPU 上高效运行，无需高昂的 API 调用成本。
意义与展望
这项工作的价值在于：
- 成本优势：医院无需部署昂贵的大模型即可获得接近 LLM 的问答能力。
- 可解释性：双曲空间中的距离和角度天然对应层次关系，便于医生理解模型推理依据。
- 隐私友好：轻量模型可在本地部署，避免将敏感 EHR 数据上传至云端。
未来，HypEHR 有望扩展到更多临床场景，如药物相互作用预测、临床试验匹配等。研究者已公开代码，供社区复现和进一步开发。