第334章 林启航 (第1/2页)
下午三点。
英伟达园区。
黄任寻安排了一间小会议室。
桌上放着OpenAI经过处理的训练报告。
三点十分。
会议室门被推开。
一个三十左右的华裔青年走了进来。
他穿着格子衬衫，头发有些凌乱，鼻梁上架着一副棕色眼镜。
林启航先朝黄任寻打了声招呼，目光随即落向陈默：“黄总说，OpenAI想找我聊聊？”
“坐下先看。”陈默将报告推至他面前。
林启航翻开第一页，神色尚算平静。
翻到第三页，指尖的碳素笔已在几组通信延迟数据旁划出痕迹。
到了第五页，他的速度明显慢了下来。
“你们把所有参数更新都堆在同一个通信阶段？”
“目前是。”
“难怪会堵。”林启航笑了一声，手里的笔几乎没停，“显存分配逻辑也有问题。不同长度的序列全按最大空间预留，大部分根本没必要保留，直接重算成本反而更低。”
“单卡训练还能硬撑，放到几百张GPU的集群里，这种愚蠢的浪费会被成倍放大。”
他拿起笔，在空白处画出几个简单方块。
“参数更新可以拆开。”
“这一层计算时，上一层便开始通信。”
“再将数据按照长度重新分组，减少无效填充。”
“如果重新设计几个核心算子，利用率至少能先提高到百分之五十。”
黄任寻端着咖啡坐在一旁，始终没有插话。在英伟达，林启航是极少数能将CUDA底层架构、硬件指令集与分布式编译榨干到最后一滴性能的怪才。
陈默神色从容，只是淡淡抛出一句：“这只是五百一十二张卡。明年，OpenAI的集群规模是八千张，未来，是数万张，甚至十万张。”
林启航手里的笔锋骤然顿住。
“什么模型，需要这种量级的算力？”
“一个能通晓多任务的通用底座。”陈默揭开随身笔电，屏幕上随即播放起最新的原型演示。
同一个未经微调的模型，行云流水般完成了长文摘要、逻辑推理与跨语种翻译。
林启航的目光被牢牢吸在屏幕上，眉头微蹙：“多模型融合？”
“同一个模型。”陈默报出一串参数规模。
林启航摇头：“按这个规模，底层的泛化与涌现能力不合常理。”
“所以，我们需要更大的尺度。”陈默扣上笔电，“我需要你来做整套计算系统的掌舵人。”
林启航没有立即答应。
“英伟达同样在做深度学习。我为什么要离开？”
“在英伟达，你可以继续优化世界上最好的GPU。”
陈默看着他的眼睛。
“加入OpenAI，你要解决的是另一件事。”
“如何让一万张GPU，像一台机器一样工作。”
“如果这条路走通了，未来人工智能能触碰到多高的上限，不仅取决于算法与芯片制程，更取决于你亲手打造的这套算力底座能撑起多庞大的世界。”
林启航定定地看着陈默：“如果这条路线在物理上根本行不通呢？”
“那就找出原因，重新开始。”
陈默语气平静。
“探索通用人工智能本就没有标准答案。如果所有的工程路径早已被论证清楚，我也用不着专程从佛罗里达飞回湾区见你。”
林启航低头看着那份满是批注的报告，沉默了几秒：“为什么选我？”
“几个月前，我从这里离开时，看见你站在白板前和两名同事争论。”
“为了百分之十的内存带宽，你争了很久。”
林启航愣了一下。
他显然没有想到，陈默会记得这么小的一件事。
“大部分人看见百分之十，觉得已经可以接受。”陈默继续说道，“你看见的是还没有被利用的性能。”
“OpenAI需要的，正是这种对极致算力怀有执念的疯子。”
会议室安静下来。
林启航翻到报告的最后一页，抬起头：“如果我过去，能拿到多大的技术裁量权？”
黄任寻抿了口咖啡，心中暗叹一口气，知道自己的人已经被撬动了。
“OpenAI计算系统负责人。”
陈默说道。
“独立组建内核、编译、通信和集群工程团队。”
“第一阶段三千万美元预算。”
“核心技术路线由你与伊利亚共同决定。”
“至于薪酬，”陈默补充道，“基本待遇对标英伟达天花板，并进入OpenAI第一批核心期权池。”
林启航深吸一口气，摘下眼镜擦了擦，眼底的野心不再遮掩：“我要先看真实的集群日志。”
“车在楼下。”陈默起身。
黄任寻无奈苦笑：“陈先生，你真是一点余地都没给我留。”
“我从不把决定未来的关键筹
（本章未完，请点击下一页继续阅读）