精选昨天0 投票
审计合成回忆录：测量LLM生成自传中的场景级虚构
一项开创性的研究对大型语言模型（LLM）生成的自传内容进行了量化审计，发现其中高达 96.7% 的日常记录存在虚构成分。该研究由 Heather Renze 完成，以自身一年（366天）的生活日记为基准，通过对话式LLM生成自传，并逐日与真实记录进行比对。结果显示，仅有12天包含可验证的场景，而19天（5.2%）的内容与事实直接矛盾。研究者将这种现象称为“接地漂移”（grounded drift），即模型在虚构场景中植入了真实人物、雇主和地点，导致事实与虚构混杂。即使使用当前最先进的模型重新生成，失败率仍为100%；但若在生成时提供主体的真实语料作为参考，验证通过率显著提升，残余失败率降至83.3%。这项研究首次对LLM自传生成进行了场景级量化审计，并提出了可复用的审计工具和改善方案，对AI生成内容的可信度评估具有重要意义。