合成表格生成器未能保留行为欺诈模式：基于时序、速率与多账户信号的基准测试
合成数据评估新维度：行为保真度
在AI驱动的数据生成领域，合成表格数据（Synthetic Tabular Data）因其在隐私保护、数据增强和模型训练中的潜力而备受关注。然而，一项最新研究揭示了一个关键缺陷：当前主流的合成表格生成器在行为保真度（Behavioral Fidelity）方面表现严重不足，尤其是在模拟欺诈检测等依赖复杂行为模式的场景中。
现有评估框架的盲区
传统上，合成数据的评估主要围绕两个维度展开：
- 统计保真度：衡量生成数据在边际分布和相关性上是否与真实数据匹配。
- 下游效用：通过在使用合成数据训练的模型上评估分类器性能（如AUROC）来间接判断数据质量。
但这些方法忽略了一个核心问题：真实世界实体（如用户、设备）的活动往往呈现出时序性、序列性和结构化的行为模式，而这些模式正是欺诈检测、网络安全分析等系统实际依赖的关键信号。例如，欺诈行为可能表现为特定的交易时间间隔、突发活动结构、多账户关联图模式或异常速率触发规则。
引入行为保真度与量化基准
研究团队正式提出了行为保真度作为第三个评估维度，并构建了一个系统的评估框架。该框架聚焦于四种典型的欺诈行为模式（P1-P4）：
- 事件间时序模式：如交易间隔的规律性。
- 突发结构：活动在短时间内的密集爆发特征。
- 多账户图模式：多个账户之间的关联网络结构。
- 速率规则触发率：基于行为速率（如单位时间交易次数）的异常检测模式。
为了量化生成数据与真实数据在行为模式上的差距，研究定义了退化比率（Degradation Ratio）指标：
- 1.0 表示生成数据的行为变异性与真实数据完全匹配。
- k 表示生成数据的行为变异性比真实数据差 k 倍（k > 1）。
主流生成器的结构性缺陷与基准测试结果
研究从理论上证明，行独立生成器（Row-Independent Generators）——当前主导的生成范式——存在结构性局限：
- 无法复现多账户图模式：由于生成各行数据时假设独立，这类模型天生无法捕捉账户间的关联结构。
- 导致负的自相关：在实体内部的事件间隔上，生成数据会呈现负的自相关性，这与真实欺诈序列中常见的正突发指纹相悖。
在实证评估中，研究团队对四种主流生成器进行了基准测试：CTGAN、TVAE、GaussianCopula 和 TabularARGN，使用的数据集包括 IEEE-CIS 欺诈检测数据集 和 Amazon 欺诈数据集。结果令人震惊：
- 在 IEEE-CIS 数据集上，所有生成器的综合退化比率均严重偏高，范围从 24.4倍（TVAE）到 39.0倍（GaussianCopula）。
- 在 Amazon 数据集上，行独立生成器（CTGAN、TVAE、GaussianCopula）的退化比率高达 81.6倍至99.7倍，而 TabularARGN（一种考虑关联的生成器）表现稍好，但仍达到 17.2倍。
这些数据表明，当前生成器在保留关键行为模式方面普遍失败，可能误导依赖合成数据进行模型训练或系统测试的实践者。
影响与启示
这项研究的发现对AI和数据科学社区具有重要启示：
- 评估标准需升级：仅靠统计相似性和下游任务性能不足以全面评估合成数据质量，行为保真度应成为必要补充。
- 生成技术待革新：需要开发能够建模实体级时序依赖和结构关联的新一代生成模型，以突破行独立假设的局限。
- 应用风险需警惕：在欺诈检测、医疗健康记录分析、网络安全日志生成等高度依赖行为模式的领域，使用现有合成数据可能存在风险，可能导致模型学习到虚假模式或遗漏关键信号。
研究团队已将评估框架开源，鼓励社区进一步验证和扩展。该框架不仅适用于欺诈检测，也可推广至任何包含实体级序列表格数据的领域，为合成数据的可靠应用设立了新的基准。
小结：合成表格数据生成技术正面临“行为真实性”的挑战。这项研究通过引入行为保真度维度和严谨的基准测试，揭示了当前主流方法的不足，并呼吁业界在追求数据“量”的同时，更应关注数据“质”的行为层面，以推动合成数据在关键任务中的安全、有效落地。
