精选今天0 投票
科大讯飞发布统一多模态具身智能体：iFLYTEK-Embodied-Omni 技术报告解读
通用型具身智能体需要理解多模态指令、预测环境变化并生成精准的长时间控制动作。现有方法通常专精于视觉-语言推理、视频世界建模或动作生成中的某一项，而先合成未来观测再推断动作的级联流程容易引入接口瓶颈和复合预测误差。
近日，科大讯飞研究团队在 arXiv 上发表了题为 《iFLYTEK-Embodied-Omni Technical Report》 的技术报告，提出了一种名为 iFLYTEK-Embodied-Omni 的统一多模态基础模型。该模型在单个全模态框架内联合建模视觉（视频和图像）、语言和动作，其视觉-语言、视频生成和动作生成三个模块通过共享的多模态自注意力机制进行通信。
大脑-小脑协作架构
该设计构建了 “大脑-小脑协作” 机制：
- 视觉-语言模型（VLM）和视频生成模型（VGM） 充当高级“大脑”，负责指令理解、任务规划、进度跟踪以及未来视觉状态预测；
- 动作生成模型（AGM） 则作为低级“小脑”，直接将规划好的子目标和共享的多模态上下文转换为可执行的动作片段。
这种架构避免了传统级联方法中因先合成未来观测再推断动作而导致的错误累积，实现了感知、推理与执行的端到端协同。
四阶段训练策略
为了开发这些能力，研究团队构建了包含动作标注和未标注的具身视频（来自人类演示和机器人交互）、具身推理数据、具身感知数据以及通用图像-文本数据的综合数据集。训练采用四阶段渐进式策略：
- 预训练视觉-语言模型
- 预训练视频生成模型
- 预训练动作生成模型
- 联合微调完整模型
这种分阶段训练方式有助于各模块先获得领域专长，再通过共享注意力进行协同优化。
行业意义
iFLYTEK-Embodied-Omni 的提出标志着具身智能从“分而治之”的专用模型向“统一框架”迈出了重要一步。随着机器人、自动驾驶和智能家居等场景对通用智能体需求的增长，这种能够同时处理语言理解、环境预测和动作执行的统一模型，有望显著提升具身系统的泛化能力和鲁棒性。
目前该论文已在 arXiv 上公开，更多模型细节和实验性能有待后续披露。