Mustafa Suleyman:AI发展不会很快撞墙,原因在此
我们进化于一个线性世界。如果你步行一小时,会走一段距离;步行两小时,距离加倍。这种直觉在草原上很管用,但在面对AI及其核心的指数趋势时,却会灾难性地失效。从我2010年开始从事AI工作至今,前沿AI模型的训练数据量已惊人地增长了1万亿倍——从早期系统的约10¹⁴次浮点运算(flops,计算的核心单位)到如今最大模型的超过10²⁶次flops。这是一场爆炸。AI的一切都源于此。
怀疑论者不断预测AI发展会“撞墙”,但在这种史诗级的世代计算能力提升面前,他们一再被证明是错的。他们常指出摩尔定律正在放缓,也提到数据不足或能源限制。然而,当你审视推动这场革命的综合力量时,指数趋势似乎相当可预测。
要理解原因,值得看看头条新闻之下复杂且快速变化的现实。
从“闲置的计算器”到永不停止的协同
想象一下AI训练就像一个房间里挤满了使用计算器的人。多年来,增加计算能力意味着往房间里塞进更多拿着计算器的人。但很多时候,这些“工人”都闲置着,手指敲着桌子,等待数字传来进行下一次计算。每一次停顿都是潜力的浪费。
今天的革命超越了更多、更好的“计算器”(尽管它也提供了这些);它实际上是关于确保所有这些“计算器”永不停歇,并且像一个整体一样协同工作。现在,三项进步正在汇聚以实现这一点。
三大驱动力:硬件、内存与互联
第一,基础“计算器”变得更快。 英伟达的芯片在短短六年内将原始性能提升了八倍,从2020年的312 teraflops到如今的2,500 teraflops。我们自己的Maia 200芯片(今年1月推出)在单位成本性能上比我们机队中的任何其他硬件高出30%。
第二,数字传输更快。 这得益于一项名为HBM(高带宽内存) 的技术,它将芯片像微型摩天大楼一样垂直堆叠;最新一代的HBM3,其带宽是前代产品的三倍,能以足够快的速度向处理器输送数据,使它们始终保持忙碌。
第三,“计算器房间”变成了办公室,然后是整个园区或城市。 像NVLink和InfiniBand这样的技术将数十万个GPU连接成仓库大小的超级计算机,它们作为一个单一、协调的系统运行。这种规模化的互联消除了瓶颈,使计算能力能够以前所未有的效率扩展。
为何“撞墙论”一再失效?
当批评者孤立地看待单个因素(如芯片物理极限)时,他们忽略了系统层面的创新如何持续突破看似存在的天花板。指数增长的本质在于,它不是单一变量的线性改进,而是多个相互增强的变量(计算能力、内存带宽、网络架构、算法效率)的复合效应。
Suleyman的观点核心在于:AI进步的轨迹由这些协同的指数趋势定义,而非任何单一资源的线性耗尽。 即使某个领域(如晶体管微缩)的进步放缓,其他领域(如专用AI芯片设计、内存技术、分布式计算范式)的创新也会接力,维持整体增长势头。
对行业意味着什么?
这种持续指数增长的预期意味着:
- 能力边界将持续快速外推:今天看似遥不可及的任务(如通用问题解决、高度复杂的创造性工作)可能在比线性直觉预测的更短时间内变得可行。
- 投资与战略需着眼长远:企业和技术规划者必须将指数变化纳入考量,避免基于线性外推做出短视决策。
- 治理挑战加剧:技术能力的加速发展要求监管、伦理和社会适应机制也必须加速演进,以管理随之而来的风险和机遇。
总之,Mustafa Suleyman的论述提醒我们,评估AI未来时,需要摆脱根深蒂固的线性思维,转而理解并适应其内在的、由多重技术突破驱动的指数本质。只要这些协同创新持续,AI发展的“墙”就很可能仍是一个移动的目标,而非即将撞上的终点。
