新上线今天0 投票
法国初创公司Kog：在现有GPU上挖掘更多推理潜力
AI推理速度的竞赛正在升温，而法国初创公司Kog却认为，传统GPU的潜力远未被充分挖掘。该公司在5月通过技术预览登上了Hacker News首页，展示了在标准数据中心GPU（如AMD MI300X和Nvidia H200）上实现极快单请求解码的可能性。尽管一些人对其未扩展到笔记本电脑GPU感到失望，但Kog的承诺——通过软件优化在现有硬件上解锁新能力——吸引了大量关注。CEO Gaël Delalleau透露，他们获得了200个切实的商业线索，并预计软件工程将是首个应用场景。Kog的目标客户是那些因推理延迟而困扰的专业用户，例如Claude Code的资深用户。此外，Kog还拥有设计合作伙伴，他们通过提示生成游戏和应用，更快的推理速度意味着更多收入。Kog意识到市场尚未成熟，客户不愿微调小型模型，因此专注于加速更大模型的发展。尽管其演示展示了每秒3000个token的惊人速度，但使用的是仅20亿参数的定制模型Laneformer 2B。Delalleau坚信，同样的方法也适用于大型语言模型，并认为GPU仍有光明未来。Kog并非唯一持此观点的公司，但它的软件优化路径为行业提供了新的思考方向。
