新上线今天0 投票
从垃圾堆到AI服务器：用60美元的GPU运行LLaMA-70B
随着AI数据中心不断淘汰旧款GPU，大量仍具计算能力的加速器流入二手市场。这些退役GPU能否重获新生，形成所谓的“垃圾集群”（DumpsterCluster），并为现代LLM推理提供算力？最近一篇arXiv论文对此进行了深入探讨，并给出了令人惊讶的答案。
从“捡垃圾”到构建集群
研究人员从零开始，仅使用二手组件，搭建了一个包含128块GPU的DumpsterCluster，并持续运行了一年。他们发现，在当前的硬件价格下，这套系统的成本仅为2.2万美元，而一台8卡B200系统的价格高达60万美元，经济优势不言而喻。更令人惊讶的是，通过流水线并行优化，这个基于V100的集群在运行LLaMA-70B时，吞吐量竟然可以媲美现代系统，证明了其生产级应用的潜力。
隐藏的代价：能耗与碳排放
然而，研究也揭示了关键的环境制约因素。旧款GPU在生成每个token时消耗的能源显著更多，因此，只有当地电力价格低廉时，总拥有成本才具有优势。更严峻的是，在电网平均碳强度下，二手系统处理8B模型时，每个token的碳排放量约为当前一代硬件的4倍；而对于70B模型，这一数字更是飙升至40倍以上。这意味着，GPU的“第二春”并非普遍适用——硬件再利用必须与低碳能源战略性地结合。
绿色AI的可行路径
尽管存在诸多挑战，研究人员指出，在能源成本低且电力清洁的地区，二手GPU为扩大AI算力提供了一条可行途径，同时兼顾了经济性、能源安全与环境责任。这项研究不仅为硬件回收提供了新思路，也提醒我们，在追求AI性能的同时，必须将可持续性纳入考量。未来，或许“垃圾集群”将成为绿色AI的重要一环。