精选今天0 投票
FineServe：全球LLM服务负载的细粒度数据集与特征分析
大语言模型（LLM）正越来越多地以7×24小时在线服务的形式部署，这使得高效的服务系统成为关键挑战。然而，现有研究多依赖于代理流量或粗粒度的特征描述，难以捕捉现代多模型LLM平台的异构性。为此，研究团队推出了 FineServe——一个从全球商业市场收集的、覆盖多模型的实际LLM服务负载数据集，旨在提供对真实世界服务动态的细粒度刻画。
数据集的核心特点
FineServe 的独特之处在于其细粒度和多模型覆盖。它记录了来自不同模型架构（如稠密模型、混合专家模型等）和任务类型（如对话、代码生成、推理等）的请求到达模式与令牌行为。与以往仅依赖单一模型或合成负载的研究不同，FineServe 真实反映了多模型共存平台上的负载异构性。
关键发现：负载动态的异质性
利用 FineServe，团队对到达动态和令牌行为进行了全面分析，揭示了几个关键洞察：
- 不同模型架构的波动模式截然不同：例如，混合专家模型（MoE）的请求到达模式与稠密模型存在显著差异，前者可能呈现更集中的突发性，后者则相对平稳。
- 任务意图影响负载特征：对话类任务通常请求长度较短但并发高，而代码生成或推理任务则可能包含更长的输入和输出令牌序列。
- 规模效应：模型参数量越大，其服务负载的波动性越强，对调度策略的敏感性也越高。
实践工具：FineServe 负载生成器
基于上述洞察，团队开发了 FineServe 负载生成器，能够将细粒度的模型感知负载组合成可配置的混合场景，专门用于基准测试多模型服务平台。这意味着研究人员和工程师可以：
- 模拟真实世界中多种模型同时服务的复杂情况。
- 评估不同的路由、调度和容量规划策略在异构负载下的表现。
- 避免使用不切实际的合成负载导致的性能评估偏差。
行业意义
随着LLM服务从单一模型走向多模型编排（如模型网关、路由代理等），对服务负载的准确理解变得至关重要。FineServe 填补了学术界和工业界在真实多模型负载数据上的空白。其提供的细粒度特征不仅有助于优化现有系统的延迟和吞吐量，还能指导未来服务架构的设计，例如：
- 动态调度：根据实时负载波动，将请求路由到最合适的模型实例。
- 资源预留：基于历史模式预测突发流量，提前分配计算资源。
- 容量规划：在部署新模型前，通过生成器模拟其对整体服务的影响。
可用性与展望
FineServe 数据集及负载生成器已开源（论文链接见arXiv），预计将成为LLM服务系统研究的重要基准。未来，团队可能进一步扩展数据集以覆盖更多模型类型和地域分布，并探索基于该数据的自动化优化方法。
总之，FineServe 不仅提供了真实世界的负载数据，更通过深入分析和实用工具，推动了LLM服务系统从“粗放管理”向“精细化运营”的转变。