新上线今天0 投票
Jumio如何在AWS上构建实时特征存储
Jumio，一家专注于身份验证和欺诈检测的公司，在AWS上成功构建了一个集中式的实时特征存储系统，解决了数据重复、特征工程效率低下、手动部署风险以及延迟等问题。该架构结合了Amazon SageMaker Feature Store、Amazon Managed Service for Apache Flink和Amazon Kinesis Data Streams，实现了亚100毫秒的特征服务延迟，并且每年节省约12万美元的成本。
挑战：特征管理的碎片化
在构建实时特征存储之前，Jumio的特征工程和部署流程分散且低效，导致了一系列问题：
- 数据重复：不同团队各自维护离线特征存储，造成数据冗余和特征定义不一致。
- 手动部署：团队需要在生产代码中手动重新实现离线训练的特征，增加了出错风险。
- 延迟瓶颈：欺诈检测需要即时访问特征，包括上游模型的输出，但现有架构难以满足。
- 事件延迟：某些事件类型可能延迟到达，或者模式不规则，例如在初步活动后几周才出现，这给实时决策带来了挑战。
架构设计：实时特征存储的基石
Jumio的解决方案基于一个清晰的架构模式，核心组件包括：
- Amazon SageMaker Feature Store：作为集中式的特征注册和存储中心，支持特征的在线和离线检索。
- Amazon Managed Service for Apache Flink：用于处理流式数据，实现实时特征计算。
- Amazon Kinesis Data Streams：作为数据管道，连接原始事件和特征存储。
该架构的关键在于统一特征定义，确保离线训练和在线推理使用一致的特征，避免了手动重新实现的错误。同时，通过流式处理，特征得以实时更新，满足了欺诈检测的时效性要求。
设计权衡与性能表现
在构建过程中，Jumio团队面临了多种设计权衡，例如在延迟、吞吐量和成本之间寻求平衡。最终的系统实现了：
- 亚100毫秒延迟：满足实时预测的严格要求。
- 高可扩展性：能够处理高并发的特征请求，并支持特征目录的持续增长。
- 成本节约：通过优化资源利用，每年节省约12万美元。
对AI行业的启示
Jumio的案例为其他依赖实时ML决策的企业提供了可复用的架构模式。随着AI在金融、安全等领域的应用日益广泛，实时特征存储的需求将持续增长。这一案例表明，通过合理利用云原生服务，企业可以构建高效、可靠且成本可控的ML基础设施。
对于希望优化自身ML特征管理的团队，Jumio的经验值得借鉴：集中管理特征定义，利用流处理实现实时更新，以及在设计之初就考虑成本和性能的权衡。
