老黄最新专访：芯片短缺难以结束下个Transformer已然浮现

  老黄关于未来最新的想法和预测，以及他对于过去很多问题的再思考，还有他的很多日常生活小习惯，都在这篇专访里了。

  不再是那个只为游戏显卡提供图形渲染服务的英伟达，现在的英伟达利用他的GPU开创了一个新时代：

  人类能够与计算机对话，计算机能够回应人类。而最终，计算机甚至有可能超越人类。

  WIED最近对黄仁勋进行了一次专访，在访谈过程中，老黄用自己的幽默和智慧回答了几乎一切关于自己和英伟达过去和未来的问题。

  他说，他讨厌星期一的早晨，因为他周日也要工作一整天，这让他在一周的开始就已经感到很疲惫了。

  2012年，一小群研究人员推出了使用GPU而非CPU来运行代码的开创性图像识别系统——AlexNet，开启了深度学习的新纪元。

  2017年，当谷歌发布了被称为Transformer的新型神经网络架构——也就是 ChatGPT中的「T」——并引发了当前的AI热潮时，英伟达已经完美地完成了跑马圈地，开始向渴望技术的公司销售其专为AI设计的GPU。

  英伟达现在在AI芯片市场的销售额中占据了超过70%的份额，并且正接近2万亿美元的市值。

  其2023年最后一个季度的收入达到了220亿美元，比上一年增长了265%。

  其股价在过去一年中上涨了231%。老黄要么是在他所做的事情上具有非凡的洞察力，要么是运气极好——或者两者都有！——而每个人都想知道他的成功秘诀。

  但没有人可以永远处于巅峰。现在，他正处于美中科技战和监督管理的机构的重重压力之下。

  老黄在AI芯片领域的一些竞争对手是众所周知的大公司——谷歌、亚马逊、Meta和Microsoft——它们是科技行业最财大气粗的企业。

  去年12月，半导体公司AMD推出了一款大型AI计算处理器，意图与英伟达竞争。

  初创公司也在瞄准英伟达。仅在去年第三季度，风险投资家就向AI芯片领域投入了超过8亿美元。

  「因为，我非常钦佩的一位领导者和人物，Adobe CEO Shantanu Narayen，他曾说他一直想成为一名记者，因为他热爱讲故事。」

  「有效地讲述公司故事似乎是构建企业的一个重要部分。制定战略就是讲故事。构建文化也是讲故事。」

  问：因此，我想从另一位科技高管对我说的话开始。他指出，英伟达比Amazon多一岁，但在很多方面，英伟达比亚马逊更具有「第一天」的感觉。你是怎么样保持这种心态的？

  「这确实是一个非常好的表达。我每天醒来都觉得像是第一天，因为我们总是在做一些前所未有的事情。」

  「这也涉及到脆弱性。我们很有可能会失败。就在刚才，我正参与一个会议，我们正在为公司尝试一些全新的事物，我们还不确定如何正确执行。」

  「我们正在建立一种新型数据中心，我们叫做AI工厂。与今天建造数据中心的方法不一样，你有很多人共享一个计算机集群，并把他们的文件存储在这样一个大型数据中心里。」

  「AI工厂的概念更像是一个发电站。这是相当独特的。我们已在过去几年里构建了它，但现在我们应该将它转化为一个产品。」

  「我们还没有想好名字。但它将无处不在。云服务提供商将构建它们，我们也将构建它们。未来，每家生物技术公司都将需要它。每家零售公司、每家物流公司、未来的每家汽车公司都将拥有一个工厂——生产实物商品的工厂，以及一个为汽车生产AI的工厂。」

  「实际上，你能够正常的看到Elon Musk正在这样做。他在思考工业公司未来形态的问题上远远超前于大多数人。」

  问：你之前说过，你运营着一个扁平化的组织，直接向你报告的高管有30到40人，因为你希望直接参与信息流。最近有什么样的事情吸引了你的注意，让你认为，「我可能最终需要把英伟达押注在这个上面」？

  「信息不必从组织的顶层向下流动，就像在我们没电子邮件和短信等工具的旧石器时代那样。信息如今可以更快速地流动。因此，一个从上到下逐层传递信息的层级结构变得不再必要。一个扁平化的网络让我们也可以更快地适应变化，这一点至关重要，因为我们的技术正在快速的提升。」

  「如果你观察英伟达技术的发展轨迹，传统上摩尔定律每隔几年就会翻一番。然而，在过去的十年里，我们已将 AI 的能力提高了大约一百万倍。这远超于了摩尔定律的上涨的速度。在一个指数增长的世界里，你不希望信息从顶层逐层向下传播。」

  问：但我想问的是，你的「罗马帝国」是什么？这是一个比喻。今天的Transformer论文是什么？现在正在发生啥，你认为这将改变一切？

  「有几件事情。其中之一还没有具体名称，但它是我们在基础机器人学方面所做的一些工作。」

  「如果你可以生成文本，如果你可以生成图像，那么你是否也可以生成运动？答案很可能是肯定的。然后，如果你可以生成运动，你就能够理解意图并生成一种泛化的表达形式。因此，人形机器人的出现应该指日可待。」

  「我认为围绕状态空间模型（SSM）的工作，这种模型允许你学习极长的模式和序列而不会在计算上呈现二次方增长，可能就是下一个Transformer。」

  「你可以与计算机进行非常长时间的对话，而对话的上下文永远都不可能被遗忘。你还可以暂时改变话题，然后回到之前的话题，那个上下文仍然能被保留。」

  「你可能能够理解一个非常长的链条，比如一个人类的基因组。仅仅通过观察遗传代码，你就能理解它的含义。」

  「过去，从我们有了AlexNet到实现超越人类水平的AlexNet，只用了大约五年的时间。一个机器人基础模型很可能就在不远的将来——我会说是明年的某个时候。从那时起，再过五年，你将看到一些非常了不起的事情发生。」

  「嗯，重工业代表了世界上最大的行业。移动电子相对容易，但移动原子则极为困难。」

  「运输、物流、从一个地方到另一个地方移动重物、发现下一种药物——所有这些都需要对原子、分子、蛋白质有深刻的理解。这些是AI尚未触及的巨大而令人惊叹的行业。」

  「摩尔定律现在更多的是一个系统问题，而不是单纯的芯片问题。它更多关乎多个芯片之间的互联互通。大约10到15年前，我们开始了解构计算机的旅程，这样就可以将多个芯片连接在一起。」

  问：这就是你们在2019年收购以色列公司Mellanox的原因？英伟达当时表示，现代计算对数据中心提出了巨大需求，而Mellanox的网络技术将使加速计算更加高效。

  「确实如此。我们收购Mellanox是为了可以把我们的芯片扩展成一个整个数据中心的超级芯片，以此来实现现代AI超级计算机。这其实就是基于对摩尔定律终结的认识，如果我们想要继续扩大计算能力，我们一定要在数据中心层面上进行。」

  「我们重新审视了摩尔定律的制定，认为：不要让它成为限制。摩尔定律不是计算的极限。我们一定要超越摩尔定律，寻找新的扩大规模的方式。」

  问：Mellanox现在被认为是英伟达非常明智的一次收购。最近，你们尝试收购全球最重要的芯片IP公司之一Arm，直到被监督管理的机构阻止。

  问：我不确定美国政府是否同意，但让我们先不讨论这个。当你现在考虑收购时，你关注哪些具体领域？

  「这些大型系统的操作系统很复杂。你如何创建一个操作系统和计算堆栈，以协调我们GPU中数以千万计、数以亿计、现在甚至接近数十亿的微小处理器？这是一个非常棘手的问题。若公司外部有团队正在解决这一个问题，我们可以选择与他们合作，或者采取更进一步的措施。」

  问：因此，我从你的话中听出，对英伟达来说，拥有一个操作系统并将其发展成为一个更完整的平台至关重要。

  问：你成为平台的一部分越多，你面临的挑战就越多。人们往往会对平台因其输出而承担更多的责任。自动驾驶汽车的行为、医疗设备的误差范围、AI 系统中的偏差等问题。你是如何应对这些挑战的？

  「我们不是一个应用程序公司。这可能是最简单的解释。我们会尽我们所能，但尽可能少地为一个行业服务。例如，在医疗保健领域，药物发现不是我们的强项，但计算是。」

  「制造汽车不是我们的专长，但制造擅长AI的汽车计算机是我们的专长。老实说，很难有一家公司能在所有这些领域都做得很好，但我们大家可以在AI计算方面做得非常好。」

  问：去年有报道称，你们的一些客户为了等待你们的AI GPU而等待了数月。现在情况如何？

  「没错。一代新的GPU即将推出，Blackwell的性能非常惊人。这将是非常了不起的产品。」

  「这是我们的目标。目标是大幅降低模型训练的成本。然后，人们就可以扩大他们想要训练的模型。」

  问：英伟达在许多AI初创公司中进行了投资。去年有报道称，你们投资了超过30家。这些初创公司是否在等待硬件方面得到了优先考虑？

  「他们面临与所有人一样的GPU供应紧张，因为他们中的大多数人使用公共云，因此他们必须自己与公共云服务提供商谈判。但他们确实获得了对我们AI技术的支持，这意味着他们可以利用我们的工程能力和我们优化AI模型的特殊技巧。」

  「我们使他们的工作更高效。如果你的吞吐量提高了五倍，你实际上就获得了五倍的GPU性能。这就是他们从我们这里获得的优势。」

  「不。我们投资这些公司，因为他们在他们所做的事情上非常出色。对我们来说能够投资他们是一种荣幸，而不是反过来。这些是世界上一些最聪明的人才。他们不需要我们来为他们背书。」

  问：当机器学习越来越多地转向推理而不是训练——基本上，如果AI工作变得在计算上不那么密集——这是否会减少对你们GPU的需求？

  「我们喜欢推理。实际上，我会说，英伟达的业务今天可能是，70%的推理+30%训练。」

  「这是好事，因为这意味着AI最终实现了价值。如果英伟达的业务是90%的训练和10%的推理，你可能会认为 AI 仍然处于研究阶段。七八年前确实如此。」

  「但今天，每当你在云中输入一个提示并生成某物时——无论是视频、图像、2D、3D、文本还是图表——很可能背后都是英伟达的GPU。」

  「我认为我们正处于生成式AI革命的开始。今天，世界上完成的大多数计算仍然是基于检索的。」

  检索意味着你在手机上发出指令，它发送一个信号到云，检索一条信息。它可能会结合几种不同的元素来构成一个回应，然后使用Java技术，在你的手机上的漂亮屏幕上呈现给你。」

  「未来，计算将更多地基于RAG。基于检索的生成是一种框架，允许大型语言模型拉取其通常参数之外的数据。其中的检索部分将会减少，个性化生成的部分将大大增加。」

  「这一代将由某处的GPU完成。因此，我认为我们正处于这个基于检索的、生成式计算革命的开始，生成式AI将成为几乎所有事物不可或缺的一部分。」

  问：最新的消息是，你们一直在与美国政府合作，制定了可以向中国出口的符合制裁要求的芯片。我的理解是，这些并不是最先进的芯片。你们与政府合作得有多紧密，以确保你们仍然可以在中国开展业务？

  「嗯，退一步讲，这是出口管制，而不是制裁。美国已经确定英伟达的技术和这套AI计算基础设施对国家具有战略意义，因此适用出口管制。我们在第一时间遵守了出口管制——2022年8月。」

  「美国在2023年增加了更多的出口管制条款，这迫使我们再次对产品进行重新设计。因此，我们做到了。我们正在开发一套符合当前出口管制规定的新产品。我们与政府密切合作，确保我们的方案与他们的意图一致。」

  「对。这不是数据中心规模的产品，但去年推出的华为Mate 60智能手机因其自研的芯片而受到关注。」

  「华为确实是一家非常出色的公司。他们的限制来自于他们能够使用的任何半导体加工技术，但他们仍然可以通过整合许多这样的芯片来构建非常大的系统。」

  「这项规定将限制中国获取最先进技术的能力，这意味着西方世界，那些不受出口控制限制的国家，将能够使用更好的技术，这些技术正在迅速进步。」

  「因此，我认为这种限制给中国带来了巨大的成本压力。你总是可以在技术上整合更多的芯片制造系统来完成工作。但这只会增加那些单元的成本。这可能是最简单的思考方式。」

  问：你是否担心，在中国销售符合规定的芯片，会影响你与台湾半导体业的骄傲TSMC的关系？

  问：你曾多次说过，在你的超级计算机中有35000个组件，其中8个来自TSMC。当我听到这个时，我认为这必定是一个很小的比例。你是否在轻描淡写你对TSMC的依赖？

  「我只是在强调，为了构建一个AI超级计算机，需要涉及大量其他组件。实际上，在我们的AI超级计算机中，几乎整个半导体行业都与我们合作。」

  「我们已经与三星、SK海力士、英特尔、AMD、博通、Marvell等公司建立了非常紧密的合作关系。在我们的AI超级计算机中，当我们成功时，一大批公司与我们一同成功，我们对此感到高兴。」

  「这些天我们主要讨论先进封装技术、为未来几年的先进计算能力规划产能。CoWoS（TSMC的专有技术，用于将芯片模块和内存模块集成到一个单一的封装中）需要新工厂、新生产线、新设备。因此，他们的支持至关重要。」

  问：我最近与一位专注于生成式AI的CEO交谈。我问英伟达未来可能的竞争对手是谁，这个人提到了谷歌的TPU。其他人提到了AMD。我想对你来说这可能还有其他答案，但你认为你最大的竞争对手是谁？谁让你睡不安稳那种。

  「他们都让我睡不安稳。TPU团队非常出色。TPU团队真的很棒，AWSTrainium团队和AWS Inferentia团队也非常出色，非常优秀。」

  「中国的每个云服务提供商都在开发内部芯片，然后还有一大批初创公司和现有的半导体公司都在制造出色的芯片。每个人都在制造芯片。」

  「这不应该让我夜不能寐，因为我应该确保我的工作让我足够疲惫，以至于没有人能让我夜不能寐。这真的是我唯一能控制的事情。」

  「但是让我早上醒来的肯定是，我们必须继续兑现我们的承诺，那就是，我们是世界上唯一一家每个人都可以与之合作，在数据中心规模和完整堆栈上构建AI超级计算机的公司。」

  问：我有一些个人问题想问你。我问ChatGPT了一个关于你的问题。我想知道你是否有任何纹身，因为我打算提议我们下次见面时给你纹一个。如果你纹身，我也会纹一个。

  问：是的。这就是我从ChatGPT那里了解到的。他说老黄在股价达到100美元时纹了公司logo的纹身。

  然后他说，「然而，老黄表示，他不太可能再纹任何纹身了，注意到疼痛比他预期的要强烈。」它说你哭了。你真的哭了吗？

  「算是吧。我的建议是在你纹身之前喝一杯威士忌。或者服用Advil。我还认为女性可以承受更多的疼痛，因为我的女儿有一个相当大的纹身。」

  问：我想知道，你个人多久使用一次ChatGPT或Bard，或类似的工具？

  我一直在使用Perplexity。我也很喜欢ChatGPT。我几乎每天都在使用它们。

  「研究。例如，计算机辅助的药物发现。也许你想知道计算机辅助药物发现的最新进展。」

  「你可以选定整个主题，以便你可以有一个框架，从那个框架中，你可以提出越来越具体的问题。我真的很喜欢这些大型语言模型的特点。」

  「不。我会尝试每天做40个俯卧撑。这只用花几分钟的时间。我还会在刷牙时做深蹲。不过我是一个懒惰的锻炼者。」

  问：最近你在Acquired播客上发表的一条评论引起了热议。主持人问，如果你今天30岁，正在考虑创办一个企业，你会创办什么？你说你根本不会创办公司。你对此有什么补充吗？

  「那个问题可以用两种方式回答，我选择了这种方式：如果我那时知道我现在所知道的一切，我会太害怕去做。我会太害怕。我不会这么做。」

  「这是无知的优势。你不知道这将有多困难，你不知道会涉及多少痛苦和苦难。当我现在遇到企业家时，他们告诉我这将是多么容易，我非常支持他们」

  「我实际上并不尝试戳破他们的幻想。但我在脑海中知道，“哦，男孩，这不会像他们想的那样。”」

  「与其他企业家做出的牺牲是一样的。你要非常非常努力地工作。很长一段时间，没有人认为你会成功。你独自相信你会成功。不安全感、脆弱性，有时是羞辱，这都是真的。没有人谈论它，但这都是真的。CEO和企业家和其他人一样是人。当他们在所有人面前失败时，是很尴尬的。」

  「但如果我那时知道英伟达会成为今天这样，我是否会创办公司，你开玩笑吗？我会牺牲一切去做。」