业界动态
2024四不像003期-又一次超预期后,英伟达财报电话会说了什么?(附全文),黄仁,系统,客户
2024-06-04 03:45:50
2024四不像003期-又一次超预期后,英伟达财报电话会说了什么?(附全文),黄仁,系统,客户

黄仁勋在当地时(shi)间周三(san)召开的英伟达财报电(dian)话会上表(biao)示,Blackwell芯片产品(pin)将在今年二季度(du)发货、三(san)季度(du)增(zeng)产、四(si)季度(du)投放到(dao)数据中心,今年就会看(kan)到(dao)“Blackwell芯片营收显著增(zeng)长”,并且在Blackwell芯片之后会有另(ling)一款芯片推出,实现“一年一代”。

关于网络收入,英伟达首次将网络收入单拆出来。黄仁勋表(biao)示公(gong)司将致力(li)于三(san)条网络链路,从用(yong)于单计算域(yu)的NVLink到(dao) InfiniBand,再到(dao)以(yi)太网网络计算结构。

关于以(yi)太网络的营收贡献,同样参加电(dian)话会议的首席财务官科莱特·克雷斯表(biao)示,全球首个(ge)专为AI设计的高性能以(yi)太网架构Spectrum-X,正在为英伟达打开一个(ge)全新的市场,目前正在与多家客户进行量产,其中包括一个(ge)10万GPU的大型集群(qun)。公(gong)司预计 Spectrum X 将在一年内跃升(sheng)至数十亿美元(yuan)的产品(pin)线。

关于推理收入,科莱特·克雷斯表(biao)示,公(gong)司预计推理能力(li)将随着模型复杂度(du)、用(yong)户数量和每用(yong)户查询次数的增(zeng)加而扩(kuo)大 。在过去的四(si)个(ge)季度(du)中,估计推理驱动了我们数据中心约 40% 的收入。

关于AI PC,黄仁勋表(biao)示即使是PC计算堆栈也将发生革命(ming)性的变化(hua),目前“正在完全重新设计计算机的工作方式”。

以(yi)下(xia)是英伟达第一季度(du)财报电(dian)话会分析师问答环节全文内容:

伯恩斯坦研究公(gong)司Stacy Rascan:

我的第一个(ge)问题是,我想深(shen)入了解一下(xia)blackwell的评论(lun),这对生产来说(shuo)很重要。

现在。这是否暗示了发货和交付时(shi)间?如果该产品(pin)不再只是样品(pin),那么当它实际上到(dao)达客户手中时(shi),这意味着什么?

黄仁勋:

如果它现在正在生产,我们将会发货,我们已经生产了一段时(shi)间。

但我们的生产发货将在第二季度(du)开始(shi),并在第三(san)季度(du)增(zeng)加,客户应该在第四(si)季度(du)建立数据中心。

Stacy Rascan:

明白了。所以(yi)今年,听(ting)起来我们将看(kan)到(dao)Blackwell的收入。

黄仁勋:

我们今年将会看(kan)到(dao)很多Blackwell的收入。

美国哥(ge)伦比亚广播公(gong)司(CBS)Timothy R. Curry:

我想问Jensen关于Blackwell的部署。 您知道(dao)的,与Hopper相比,考虑到(dao)系统的特性,以(yi)及您对,您知道(dao)的,GB的需求,部署这个(ge)产品(pin)与Hopper有什么不同?

我这样问是因为在大规模上进行液(ye)态冷却以(yi)前没有做(zuo)过,而且在节点级别和数据中心内部都存在一些工程挑战。那么这些复杂性是否会延长过渡期?您如何看(kan)待这一切的进展?谢谢。

黄仁勋:

是的,Blackwell有很多配置。Blackwell是一个(ge)平台,而不是一个(ge)GPU。该平台包括支持空气冷却、液(ye)态冷却x 86和Grace无限带。现在Spectrum X,非常大的MV Link域(yu),我在GTC上展示了GTC。

因此,对于一些客户来说(shuo),他们将进入他们现有的数据中心安装(zhuang)基础,这些数据中心已经在运(yun)输hoppers。他们将很容易地从H100过渡到(dao)H200到(dao)BE 100。

因此,Blackwell系统已经被设计为向后兼容,如果您愿意的话,从电(dian)气和机械角度(du)。当然,运(yun)行在Hopper上的软件将在Blackwell上运(yun)行得非常好。

我们还(hai)一直在为整个(ge)生态系统做(zuo)好准(zhun)备,让他们为液(ye)态冷却做(zuo)好准(zhun)备。我们已经与生态系统中的Blackwell谈论(lun)了很长时(shi)间。而且CSPs、数据中心、ODMs、系统制造商、我们的供应链、他们的供应链、液(ye)态冷却供应链、数据中心供应链,没有人会对Blackwell的到(dao)来以(yi)及我们希(xi)望以(yi)Grace Blackwell 200 GB交付的能力(li)感(gan)到(dao)惊讶。GB 200将非常出色。

美国银(yin)行证券分析师Beck Aria:

谢谢您接受我的问题,Jensen。您如何确保您的产品(pin)有足够(gou)的利用(yong)率(lu),并且不会因为供应紧张、竞争(zheng)或其他因素(su)而出现提前拉动或持有行为?

您在系统中建立了哪些检查,以(yi)使我们相信货币化(hua)与您非常、非常强劲的发货道(dao)路保持同步?

黄仁勋:

我想先给出一个(ge)宏(hong)观的视角,然后直接回答您的问题。

GPU在所有数据中心的需求是惊人的。我们每天都在竞跑,原因就是这样,因为像ChatGPT和GPT 4 o这样的应用(yong)程序,现在它将是多模态的,还(hai)有Gemini和它的坡道(dao),以(yi)及所有CSPs正在进行的所有工作,都在消耗着每一个(ge)GPU。还(hai)有一长串生成(cheng)性AI初创公(gong)司,大约有15,000到(dao)20,000家初创公(gong)司,它们在各种领域(yu),从多媒(mei)体到(dao)数字角色,当然,还(hai)有各种设计工具(ju)应用(yong)、生产力(li)应用(yong)、数字生物(wu)学。

自动驾(jia)驶(shi)汽车行业正在转向使用(yong)视频数据,使他们能够(gou)训练端到(dao)端模型,扩(kuo)大自动驾(jia)驶(shi)汽车的操作领域(yu)。这个(ge)列表(biao)非常特别。

我们正在竞跑,实际上,客户对我们施加了很大的压力(li),要求我们尽快交付系统并建立起来。

当然,我甚(shen)至还(hai)没有提到(dao)所有希(xi)望训练他们国家地区自然资源数据的国家,也就是他们的数据,以(yi)训练他们地区模型。有很多压力(li)要求尽快建立这些系统。无论(lun)如何,我认为需求真的很高,而且长期来看(kan)供应不足。这就是我为什么要发表(biao)一些长期评论(lun)的原因,对吧?

您知道(dao),我们正在完全重新设计计算机的工作方式。当然,这已经被比作过去其他平台的转变,但时(shi)间会清楚地表(biao)明,这比以(yi)往的平台转变要深(shen)刻得多。原因就在于,计算机不再只是一台指(zhi)令(ling)驱动的计算机。它是一个(ge)意图理解的计算机。它当然理解我们与它的交互方式,但它也理解我们的意思,我们要求它做(zuo)什么,并且有能力(li)进行推理、计划和迭代处理,并提出解决方案。

因此,计算机的每一个(ge)方面都在以(yi)这样的方式改变,即它不再检索预录的文件,而是现在生成(cheng)与上下(xia)文相关的、智能的答案。因此,这将改变世界各地的计算堆栈。您看(kan)到(dao)了一个(ge)构建,事实上,即使是PC计算堆栈也将得到(dao)革命(ming)化(hua)。

而这仅仅是我们看(kan)到(dao)的,您知道(dao),今天我们所看(kan)到(dao)的只是我们在实验(yan)室中正在做(zuo)的工作的开始(shi),以(yi)及我们正在与世界各地的所有初创公(gong)司、大公(gong)司和开发人员一起做(zuo)的事情,这将是非同寻常的。

摩(mo)根(gen)士丹利Joe Moore:

我理解您刚刚关于需求有多强劲的评论(lun),市场对H200和Blackwell产品(pin)有很大的需求。您是否预计在从这些产品(pin)过渡时(shi),Hopper和H100会有所暂停?人们会等待这些新产品(pin)吗,这将是一个(ge)好产品(pin)?还(hai)是您认为对H100的需求足以(yi)维持增(zeng)长?

黄仁勋:

我们看(kan)到(dao)这个(ge)季度(du)Hopper的需求在增(zeng)加,我们预计随着我们过渡到(dao)H 200,需求将超过供应一段时(shi)间,因为我们过渡到(dao)Blackwell。我,每个(ge)人都急于让他们的基础设施上线。原因就是这样,因为他们正在省钱和赚钱,他们希(xi)望尽快这样做(zuo)。

高盛Toshiahari:

我想问关于竞争(zheng)的问题。我想您的许多云客户都宣(xuan)布了,您知道(dao)的,新的或对现有内部计划的更新,与他们与您合作的工作同时(shi)进行,您在多大程度(du)上将他们视为中长期竞争(zheng)对手?在近期内,您认为他们是否主要限于解决内部工作负载?还(hai)是他们可以(yi)更广泛地解决未来的问题?谢谢。

黄仁勋:

是的,我们有几个(ge)不同之处。

首先,Nvidia的加速计算架构允许客户处理他们整个(ge)流程的每一个(ge)方面,从处理非结构化(hua)数据准(zhun)备训练,到(dao)结构化(hua)数据处理、数据框架处理(如SQL)准(zhun)备训练,再到(dao)训练和推理。正如我在讲话中提到(dao)的,推理已经发生了根(gen)本性的变化(hua)。现在是生成(cheng),不再只是试图检测猫(尽管(guan)这本身已经非常困难)。现在需要生成(cheng)猫的每一个(ge)像素(su)。所以(yi)生成(cheng)过程是一个(ge)根(gen)本不同的处理架构,这也是Tensor RTLM备受欢迎的原因之一。”

我们在使用(yong)相同芯片的架构上提升(sheng)了三(san)倍的性能,这说(shuo)明了我们的架构和软件的丰富性。因此,首先,你可以(yi)使用(yong)Nvidia来处理从计算机视觉到(dao)图像处理、计算机图形学等所有计算模式。随着世界现在遭受计算成(cheng)本和计算能耗上涨的困扰,因为通用(yong)计算已经达到(dao)极限,加速计算才是可持续发展的方式。加速计算是你节省计算成(cheng)本和能耗的途径。因此,我们平台的多功能性为他们的数据中心带来了最低的总体拥(yong)有成(cheng)本(TCO)。

第二,我们从不在云端。所以(yi)对于正在寻找平台进行开发的开发人员来说(shuo),从Nvidia开始(shi)总是一个(ge)不错(cuo)的选择(ze)。我们,我们在本地。我们在云端。你在任何大小和形状的计算机上。我们几乎无处不在。这就是第二个(ge)原因。

第三(san)个(ge)原因与事实有关,你知道(dao),我们构建AI工厂,这变得越(yue)来越(yue)明显,AI不仅仅是芯片问题。当然,它从非常好的芯片开始(shi),我们为我们的AI工厂构建了很多芯片,但它是一个(ge)系统问题。

事实上,甚(shen)至AI现在是一个(ge)系统问题。它不仅仅是一个(ge)大型语言模型。它是一大堆大型语言模型的复杂系统,它们一起工作。所以(yi)Nvidia构建系统的事实使我们能够(gou)优化(hua)我们所有的芯片,使它们作为一个(ge)系统一起工作,能够(gou)拥(yong)有作为一个(ge)系统运(yun)行的软件,并能够(gou)在整个(ge)系统中进行优化(hua)。

现在,让我们从一个(ge)简单的数字角度(du)来看(kan),你知道(dao),如果你有一个(ge)5亿美元(yuan)的基础设施,你提高了两倍的性能,这是我们通常做(zuo)的。当你提高基础设施的性能两倍时(shi),它的价值(zhi)就增(zeng)加了10亿美元(yuan)。所有数据中心的芯片并不能支付它。因此,它的价值(zhi)确实非常特别。这就是为什么今天性能至关重要的原因。

你知道(dao),这是在最高性能也是最低成(cheng)本的时(shi)候,因为携(xie)带所有这些芯片的基础设施成(cheng)本很高,资助数据中心、运(yun)营数据中心、随之而来的复杂性,随之而来的电(dian)力(li),随之而来的房地产,你知道(dao),所有这些都结束了。所以(yi)最高性能也是最低TCO。

市场研究公(gong)司TD Cowen分析师Matt Ramsey:

我在数据中心行业工作了一辈子(zi)。我从未见过你们推出的新平台的速度(du),以(yi)及你们获得的性能提升(sheng)。训练速度(du)提高了5倍,推理速度(du)在GTC上提高了30倍,这真是一件令(ling)人惊叹的事情。

但这也创造了一个(ge)有趣的对比,那就是您当前一代产品(pin),您的客户正在花费数十亿美元(yuan),它将比产品(pin)的折旧周期更快地不再与您的新产品(pin)竞争(zheng)。所以(yi)我想请您,如果您不介意的话,谈一谈您如何看(kan)待这种情况随着Blackwell的推出而发展。

他们将拥(yong)有一个(ge)非常大的安装(zhuang)基础,显然是软件兼容的,但是有一个(ge)非常大的安装(zhuang)基础的产品(pin),其性能远(yuan)不如您的新一代产品(pin)。我很想听(ting)听(ting)您对客户在这条道(dao)路上的看(kan)法。 是

黄仁勋:

我想提出三(san)点。如果您的建设进度(du)是5%,而您的建设进度(du)是95%,您的感(gan)觉会非常不同。而且,因为您无论(lun)如何都只进行了5%的建设,您知道(dao),您必须尽可能快地建造,当Blackwell到(dao)来时(shi),它将是极好的。

然后,在Blackwell之后,正如您提到(dao)的,我们还(hai)有其他的Blackwells即将到(dao)来。然后,有一个(ge)短暂的,您知道(dao)的,我们以(yi)一年的节奏向世界解释(shi)。我们希(xi)望我们的客户能看(kan)到(dao)我们的路线图,尽可能地了解他们。

但他们无论(lun)如何都处于建设的早期阶段,所以(yi)他们必须继续建设,所以(yi)将会有很多芯片向他们袭来,他们只需要继续建设,如果愿意的话,通过性能平均化(hua)进入其中,所以(yi)这是聪明的做(zuo)法。

他们今天需要赚钱。他们想今天省钱,而且时(shi)间对他们来说(shuo)真的很有价值(zhi)。

让我给您举一个(ge)时(shi)间非常有价值(zhi)的例子(zi),为什么立即建立数据中心的想法如此有价值(zhi),以(yi)及获得训练时(shi)间如此有价值(zhi)。原因就是这样,因为下(xia)一个(ge)达到(dao)下(xia)一个(ge)主要里程碑(bei)的公(gong)司将宣(xuan)布一项(xiang)突破性的AI。而之后的第二个(ge)公(gong)司只能宣(xuan)布比原来好0.3%的东(dong)西。

所以(yi)问题是,您想成(cheng)为反复交付突破性AI的公(gong)司,还(hai)是想成(cheng)为交付比原来好0.3%的公(gong)司?这就是为什么这场比赛如此重要的原因,因为在所有技术(shu)竞赛中,这场比赛非常重要。而且您正在看(kan)到(dao)这场竞赛在多家公(gong)司中展开,因为这对公(gong)司来说(shuo)非常关键,以(yi)信任领导(dao)力(li)并想在您的平台上建设,并且知道(dao)他们正在建设的平台将越(yue)来越(yue)好。

所以(yi)领导(dao)力(li)非常重要,训练时(shi)间非常重要。提前三(san)个(ge)月完成(cheng)项(xiang)目的时(shi)间,为了获得训练时(shi)间。您知道(dao),提前三(san)个(ge)月开始(shi)一个(ge)三(san)个(ge)月的项(xiang)目。提前三(san)个(ge)月开始(shi)是一切。所以(yi)这就是为什么我们现在如此疯狂地建立hopper系统的原因,因为下(xia)一个(ge)里程碑(bei)就在拐角处。所以(yi)这就是第二个(ge)原因。

您刚才发表(biao)的第一个(ge)评论(lun)真的很棒,那就是,您知道(dao),我们进展如此之快,进步如此之快,因为我们拥(yong)有所有这些统计数据。我们在这里构建了整个(ge)数据中心,我们可以(yi)监(jian)控(kong)一切,测量一切,跨一切进行优化(hua)。

我们知道(dao)所有的瓶颈在哪里。我们不是在猜测。我们不是在制作看(kan)起来不错(cuo)的Powerpoint幻(huan)灯片。我们实际上,您知道(dao)的,我们也喜欢我们的Powerpoint幻(huan)灯片看(kan)起来不错(cuo),但我们正在交付在规模上表(biao)现出色的系统。我们之所以(yi)知道(dao)它们在规模上表(biao)现出色的原因是因为我们构建了它们所有。

现在,我们做(zuo)的一件事有点奇(qi)迹,那就是我们在这里构建了整个(ge)AI基础设施,但然后我们将其解聚并集成(cheng)到(dao)客户的数据中心,无论(lun)他们喜欢什么方式。但我们知道(dao)它将如何表(biao)现,我们知道(dao)瓶颈在哪里,我们知道(dao)我们需要在哪里与他们一起优化(hua),我们知道(dao)我们需要帮助他们改进他们的基础设施,以(yi)实现最佳性能。

这种对整个(ge)数据中心规模的深(shen)刻、亲密的了解,基本上就是今天让我们与众不同的原因。您知道(dao),我们从头开始(shi)构建每一个(ge)芯片。我们确切地知道(dao)整个(ge)系统中的处理方式,所以(yi)我们知道(dao)它将如何表(biao)现,以(yi)及如何利用(yong)每一代产品(pin)获得最佳效果。所以(yi)我很感(gan)激您提出的这三(san)个(ge)观点。

独立投资银(yin)行咨询Evercore分析师Marco Pacas:

在过去,您曾说(shuo)过,通用(yong)计算生态系统通常主导(dao)了每个(ge)计算时(shi)代。我相信论(lun)点是它们可以(yi)适应不同的工作负载,获得更高的利用(yong)率(lu),推动计算周期下(xia)降。这是您推动通用(yong)GPU计算生态系统加速计算的动机。如果我误解了您的观察,请告诉我。

所以(yi)问题是,鉴于推动您解决方案需求的工作负载是由神(shen)经网络训练和推理驱动的,表(biao)面上看(kan),这似乎是一个(ge)有限的工作负载数量,那么它们也可能倾向于定制解决方案。那么问题是,通用(yong)计算框架是否变得更加有风险?或者是否有足够(gou)的变化(hua)性或这些工作流程的快速演变,支持那个(ge)历史性的通用(yong)框架。谢谢。

黄仁勋:

是的,这些加速计算是多功能的,但我不会称(cheng)之为通用(yong)。比如,我们不会很擅长运(yun)行电(dian)子(zi)表(biao)格,您知道(dao),这是为通用(yong)计算而设计的。而且,控(kong)制操作系统代码(ma)的循(xun)环可能对通用(yong)计算不是很好,对我们的,对我们的,对我们的加速计算不是很好。

所以(yi)我会说(shuo)我会说(shuo)我们是多功能的,这通常是我描述它的方式。多年来,我们能够(gou)加速的应用(yong)程序领域(yu)非常丰富,但它们都有很多的共(gong)同点。您知道(dao),可能有一些深(shen)刻的差异,但有共(gong)同点,它们都是可以(yi)并行运(yun)行的。它们都是高度(du)线程化(hua)的。5%的代码(ma)代表(biao)了99%的运(yun)行时(shi)间,

例如。这些都是加速计算的属性。我们平台的多功能性和我们设计整个(ge)系统的事实是,在过去的10年左右,你们在这些电(dian)话会议中问我的初创公(gong)司的数量相当大。而且每一个(ge),因为它们的架构非常脆(cui)弱,当生成(cheng)性AI出现时(shi),在扩(kuo)散模型出现时(shi),当下(xia)一个(ge)模型出现时(shi),现在下(xia)一批模型即将出现。

然后突然之间,看(kan)看(kan)这些具(ju)有记忆的大型语言模型。因为大型语言模型需要有记忆,这样它们才能与您进行对话,理解上下(xia)文。突然之间,Grace内存的多功能性变得非常重要。所以(yi)每一个(ge)这些生成(cheng)性AI的进步,以(yi)及AI的进步,真的需要的不是为一个(ge)模型设计的一个(ge)小部件,而是有一些对这个(ge)整个(ge)领域(yu)真正很好的部件。

但遵循(xun)软件的首要原则,软件将继续发展,软件将继续变得更好更大。我们相信这些模型的扩(kuo)展。有很多原因,我们将在未来几年内轻松地扩(kuo)展一百倍,我们期待着它,我们为此做(zuo)好了准(zhun)备。所以(yi)平台的多功能性真的是关键。而且,如果您太脆(cui)弱、太具(ju)体了,您可能只是建一个(ge)FPGA或者建一个(ge)ASIC或者类似的东(dong)西,但那几乎不是一台计算机。

Raymond James分析师Serena Pajuri:

实际上,我想澄清一下(xia)你刚才说(shuo)的关于GB200系统的内容。看(kan)起来对系统的需求非常强劲。历史上,我认为你们卖出了很多AGX板卡和一些GPU,而系统业务相对较小。所以(yi)我很好奇(qi),为什么现在你们看(kan)到(dao)对系统有这么强的需求?这是因为TCO(总体拥(yong)有成(cheng)本)吗?还(hai)是其他什么原因?或者是因为架构?

黄仁勋:

谢谢你的提问。实际上,我们销售GB200的方式是一样的。我们分解所有有意义的组件,并将它们集成(cheng)到(dao)计算机制造商中。今年我们有100种不同的计算机SIS配置即将推出用(yong)于Blackwell,而这超出了预期。

坦白说(shuo),Hopper只有一半的数量。而这是其巅峰,最初甚(shen)至远(yuan)少于此。你会看(kan)到(dao)液(ye)冷版本、风冷版本、x86版本、Grace版本等等。很多系统正在设计中,并由我们所有的优秀合作伙(huo)伴提供。基本没有什么变化(hua)。

当然,Blackwell平台极大地扩(kuo)展了我们的产品(pin)供应。CPU的集成(cheng)和更高密度(du)的计算能力(li),液(ye)冷技术(shu)将为数据中心节省大量的资金(jin)和电(dian)力(li)供应,不仅更节能,而且是一个(ge)更好的解决方案。它更昂贵,意味着我们为数据中心提供了更多的组件,每个(ge)人都会受益。

数据中心将从高性能网络、网络交换机中获得更高的性能。当然,还(hai)有以(yi)太网。这样我们就可以(yi)将Nvidia AI大规模地带给那些只操作或只熟悉以(yi)太网的客户,因为他们的生态系统就是如此。因此,Blackwell更加昂贵,我们这一代有更多的产品(pin)提供给我们的客户。”

Truest Securities分析师William Stein:

“很好。谢谢你回答我的问题,Jensen。在某(mou)个(ge)时(shi)刻,Nvidia决定,虽然有一些相当不错(cuo)的CPU可用(yong)于数据中心操作,但你们的基于ARM的Grace CPU提供了一些真正的优势,使得这种技术(shu)值(zhi)得交付给客户,这可能与成(cheng)本或功耗或Grace与Hopper、Grace与Blackwell之间的技术(shu)协同有关。

你能否谈谈是否在客户端也可能出现类似的动态情况?尽管(guan)有非常好的解决方案,比如你提到(dao)的Intel和AMD是非常好的合作伙(huo)伴,并且提供了出色的x86产品(pin),但在新兴的AI工作负载中,Nvidia可能提供一些其他人难以(yi)实现的优势。”

黄仁勋:

您提到(dao)了一些非常好的理由。对于许多应用(yong)程序,我们与x 86合作伙(huo)伴的合作确实非常好,我们共(gong)同构建了出色的系统。 但是Grace使我们能够(gou)做(zuo)一些在今天的系统配置中不可能的事情。Grace和Hopper之间的内存系统是连贯且连接的。这两个(ge)芯片之间的互连,你知道(dao),把它们称(cheng)为两个(ge)芯片几乎很奇(qi)怪,因为它们就像一个(ge)超级芯片。它们通过这种每秒数TB的接口连接在一起。是的,这太棒了。而且,Grace使用(yong)的内存是lpddr。这是第一个(ge)数据中心级低功耗内存。所以(yi)我们在每个(ge)节点上都节省了很多电(dian)力(li)。

最后,由于架构,因为我们可以(yi)用(yong)整个(ge)系统创建自己的架构,现在我们可以(yi)创建一个(ge)真正大的MV Link域(yu),这对于下(xia)一代大型语言模型进行推理至关重要。所以(yi)你看(kan)到(dao)GB 200有一个(ge)72节点MV Link域(yu)。这就像72个(ge)Blackwells连接在一起,形成(cheng)一个(ge)巨大的GPU。所以(yi)我们需要Grace Blackwells才能做(zuo)到(dao)这一点。所以(yi)我,如果有像那样的机会,你知道(dao),我们会探索它。而且,正如你在昨天的构建中看(kan)到(dao)的那样,我认为非常棒。

正如Satya宣(xuan)布的下(xia)一代PC是Copilot plus PC,它在Nvidia的RTX GPU上运(yun)行得非常好,这些GPU正在笔记本电(dian)脑上发货。但它也支持ARM,非常出色。所以(yi)它为系统创新打开了机会,即使是PC。

Kendra Fitzgerald分析师CJ Muse:

我想问Jensen一个(ge)稍微(wei)长远(yuan)的问题。我知道(dao)Blackwell甚(shen)至还(hai)没有发布,但显然投资者是前瞻性的,而且在潜在的GPU和客户的竞争(zheng)不断增(zeng)加的情况下(xia),您如何看(kan)待Nvidia在创新方面的步伐,过去十年的百万倍扩(kuo)展以(yi)及在精密度(du)、Grace、连贯连接方面取得的真正令(ling)人印象深(shen)刻的进展。展望未来,未来十年需要解决哪些摩(mo)擦?我想更重要的是,您今天愿意与我们分享什么?

嗯,我可以(yi)宣(xuan)布,在Blackwell之后,还(hai)会有另(ling)一款芯片,我们将以(yi)一年为周期进行更新。因此,你们也可以(yi)指(zhi)望我们以(yi)非常快的速度(du)推出新的网络技术(shu)。

我们正在发布以(yi)太网的Spectrum X,但我们完全投入以(yi)太网,我们有一个(ge)非常令(ling)人兴奋(fen)的以(yi)太网路线图。我们拥(yong)有丰富的合作伙(huo)伴生态系统。戴尔宣(xuan)布他们将Spectrum X推向市场。我们有丰富的合作伙(huo)伴和客户,他们将宣(xuan)布将我们整个(ge)人工智能工厂架构推向市场。

因此,对于那些希(xi)望获得最终性能的公(gong)司,我们有无限带宽计算结构。Infiniband是一种计算结构,以(yi)太网和网络。多年来,Infiniband起初是一种计算结构,逐渐变成(cheng)了一种越(yue)来越(yue)好的网络。以(yi)太网是一个(ge)网络。通过Spectrum X,我们将使其成(cheng)为一个(ge)更好的计算结构。我们致力(li)于所有3个(ge)链接,从Envy链接,通勤计算结构到(dao)无限带宽计算结构,再到(dao)以(yi)太网网络计算结构。

因此,我们将以(yi)非常快的速度(du)推进所有这三(san)个(ge)方面。您将看(kan)到(dao)新的交换机、新的下(xia)一步、新的功能、运(yun)行在所有这三(san)个(ge)方面的新软件堆栈。新的CPU、新的GPU、新的网络、下(xia)一步新的交换机、新的芯片数量以(yi)及所有这一切美好的事情都是运(yun)行在Kuda上,都运(yun)行我们的整个(ge)软件堆栈。

因此,如果您今天投资我们的软件堆栈,而不需要做(zuo)任何事情,它只会变得越(yue)来越(yue)快。如果您今天投资我们的架构,而不需要做(zuo)任何事情,它将变得越(yue)来越(yue)多的云和越(yue)来越(yue)多的数据中心,一切都会变得更好。因此,我认为我们正在带来的创新速度(du)将一方面提高能力(li),另(ling)一方面降低TCO。因此,我们应该能够(gou)通过Nvidia架构为这个(ge)新时(shi)代的计算扩(kuo)展,并开始(shi)这个(ge)新的工业革命(ming),在那里我们不再只是制造软件,而是制造人工智能代币,我们将以(yi)规模实现这一目标。谢谢。

伯恩斯坦研究公(gong)司Stacy Rascan:

我的第一个(ge)问题是,我想深(shen)入了解一下(xia)blackwell的评论(lun),这对生产来说(shuo)很重要。

现在。这是否暗示了发货和交付时(shi)间?如果该产品(pin)不再只是样品(pin),那么当它实际上到(dao)达客户手中时(shi),这意味着什么?

黄仁勋:

如果它现在正在生产,我们将会发货,我们已经生产了一段时(shi)间。

但我们的生产发货将在第二季度(du)开始(shi),并在第三(san)季度(du)增(zeng)加,客户应该在第四(si)季度(du)建立数据中心。

Stacy Rascan:

明白了。所以(yi)今年,听(ting)起来我们将看(kan)到(dao)Blackwell的收入。

黄仁勋:

我们今年将会看(kan)到(dao)很多Blackwell的收入。

美国哥(ge)伦比亚广播公(gong)司(CBS)Timothy R. Curry:

我想问Jensen关于Blackwell的部署。 您知道(dao)的,与Hopper相比,考虑到(dao)系统的特性,以(yi)及您对,您知道(dao)的,GB的需求,部署这个(ge)产品(pin)与Hopper有什么不同?

我这样问是因为在大规模上进行液(ye)态冷却以(yi)前没有做(zuo)过,而且在节点级别和数据中心内部都存在一些工程挑战。那么这些复杂性是否会延长过渡期?您如何看(kan)待这一切的进展?谢谢。

黄仁勋:

是的,Blackwell有很多配置。Blackwell是一个(ge)平台,而不是一个(ge)GPU。该平台包括支持空气冷却、液(ye)态冷却x 86和Grace无限带。现在Spectrum X,非常大的MV Link域(yu),我在GTC上展示了GTC。

因此,对于一些客户来说(shuo),他们将进入他们现有的数据中心安装(zhuang)基础,这些数据中心已经在运(yun)输hoppers。他们将很容易地从H100过渡到(dao)H200到(dao)BE 100。

因此,Blackwell系统已经被设计为向后兼容,如果您愿意的话,从电(dian)气和机械角度(du)。当然,运(yun)行在Hopper上的软件将在Blackwell上运(yun)行得非常好。

我们还(hai)一直在为整个(ge)生态系统做(zuo)好准(zhun)备,让他们为液(ye)态冷却做(zuo)好准(zhun)备。我们已经与生态系统中的Blackwell谈论(lun)了很长时(shi)间。而且CSPs、数据中心、ODMs、系统制造商、我们的供应链、他们的供应链、液(ye)态冷却供应链、数据中心供应链,没有人会对Blackwell的到(dao)来以(yi)及我们希(xi)望以(yi)Grace Blackwell 200 GB交付的能力(li)感(gan)到(dao)惊讶。GB 200将非常出色。

美国银(yin)行证券分析师Beck Aria:

谢谢您接受我的问题,Jensen。您如何确保您的产品(pin)有足够(gou)的利用(yong)率(lu),并且不会因为供应紧张、竞争(zheng)或其他因素(su)而出现提前拉动或持有行为?

您在系统中建立了哪些检查,以(yi)使我们相信货币化(hua)与您非常、非常强劲的发货道(dao)路保持同步?

黄仁勋:

我想先给出一个(ge)宏(hong)观的视角,然后直接回答您的问题。

GPU在所有数据中心的需求是惊人的。我们每天都在竞跑,原因就是这样,因为像ChatGPT和GPT 4 o这样的应用(yong)程序,现在它将是多模态的,还(hai)有Gemini和它的坡道(dao),以(yi)及所有CSPs正在进行的所有工作,都在消耗着每一个(ge)GPU。还(hai)有一长串生成(cheng)性AI初创公(gong)司,大约有15,000到(dao)20,000家初创公(gong)司,它们在各种领域(yu),从多媒(mei)体到(dao)数字角色,当然,还(hai)有各种设计工具(ju)应用(yong)、生产力(li)应用(yong)、数字生物(wu)学。

自动驾(jia)驶(shi)汽车行业正在转向使用(yong)视频数据,使他们能够(gou)训练端到(dao)端模型,扩(kuo)大自动驾(jia)驶(shi)汽车的操作领域(yu)。这个(ge)列表(biao)非常特别。

我们正在竞跑,实际上,客户对我们施加了很大的压力(li),要求我们尽快交付系统并建立起来。

当然,我甚(shen)至还(hai)没有提到(dao)所有希(xi)望训练他们国家地区自然资源数据的国家,也就是他们的数据,以(yi)训练他们地区模型。有很多压力(li)要求尽快建立这些系统。无论(lun)如何,我认为需求真的很高,而且长期来看(kan)供应不足。这就是我为什么要发表(biao)一些长期评论(lun)的原因,对吧?

您知道(dao),我们正在完全重新设计计算机的工作方式。当然,这已经被比作过去其他平台的转变,但时(shi)间会清楚地表(biao)明,这比以(yi)往的平台转变要深(shen)刻得多。原因就在于,计算机不再只是一台指(zhi)令(ling)驱动的计算机。它是一个(ge)意图理解的计算机。它当然理解我们与它的交互方式,但它也理解我们的意思,我们要求它做(zuo)什么,并且有能力(li)进行推理、计划和迭代处理,并提出解决方案。

因此,计算机的每一个(ge)方面都在以(yi)这样的方式改变,即它不再检索预录的文件,而是现在生成(cheng)与上下(xia)文相关的、智能的答案。因此,这将改变世界各地的计算堆栈。您看(kan)到(dao)了一个(ge)构建,事实上,即使是PC计算堆栈也将得到(dao)革命(ming)化(hua)。

而这仅仅是我们看(kan)到(dao)的,您知道(dao),今天我们所看(kan)到(dao)的只是我们在实验(yan)室中正在做(zuo)的工作的开始(shi),以(yi)及我们正在与世界各地的所有初创公(gong)司、大公(gong)司和开发人员一起做(zuo)的事情,这将是非同寻常的。

摩(mo)根(gen)士丹利Joe Moore:

我理解您刚刚关于需求有多强劲的评论(lun),市场对H200和Blackwell产品(pin)有很大的需求。您是否预计在从这些产品(pin)过渡时(shi),Hopper和H100会有所暂停?人们会等待这些新产品(pin)吗,这将是一个(ge)好产品(pin)?还(hai)是您认为对H100的需求足以(yi)维持增(zeng)长?

黄仁勋:

我们看(kan)到(dao)这个(ge)季度(du)Hopper的需求在增(zeng)加,我们预计随着我们过渡到(dao)H 200,需求将超过供应一段时(shi)间,因为我们过渡到(dao)Blackwell。我,每个(ge)人都急于让他们的基础设施上线。原因就是这样,因为他们正在省钱和赚钱,他们希(xi)望尽快这样做(zuo)。

高盛Toshiahari:

我想问关于竞争(zheng)的问题。我想您的许多云客户都宣(xuan)布了,您知道(dao)的,新的或对现有内部计划的更新,与他们与您合作的工作同时(shi)进行,您在多大程度(du)上将他们视为中长期竞争(zheng)对手?在近期内,您认为他们是否主要限于解决内部工作负载?还(hai)是他们可以(yi)更广泛地解决未来的问题?谢谢。

黄仁勋:

是的,我们有几个(ge)不同之处。

首先,Nvidia的加速计算架构允许客户处理他们整个(ge)流程的每一个(ge)方面,从处理非结构化(hua)数据准(zhun)备训练,到(dao)结构化(hua)数据处理、数据框架处理(如SQL)准(zhun)备训练,再到(dao)训练和推理。正如我在讲话中提到(dao)的,推理已经发生了根(gen)本性的变化(hua)。现在是生成(cheng),不再只是试图检测猫(尽管(guan)这本身已经非常困难)。现在需要生成(cheng)猫的每一个(ge)像素(su)。所以(yi)生成(cheng)过程是一个(ge)根(gen)本不同的处理架构,这也是Tensor RTLM备受欢迎的原因之一。”

我们在使用(yong)相同芯片的架构上提升(sheng)了三(san)倍的性能,这说(shuo)明了我们的架构和软件的丰富性。因此,首先,你可以(yi)使用(yong)Nvidia来处理从计算机视觉到(dao)图像处理、计算机图形学等所有计算模式。随着世界现在遭受计算成(cheng)本和计算能耗上涨的困扰,因为通用(yong)计算已经达到(dao)极限,加速计算才是可持续发展的方式。加速计算是你节省计算成(cheng)本和能耗的途径。因此,我们平台的多功能性为他们的数据中心带来了最低的总体拥(yong)有成(cheng)本(TCO)。

第二,我们从不在云端。所以(yi)对于正在寻找平台进行开发的开发人员来说(shuo),从Nvidia开始(shi)总是一个(ge)不错(cuo)的选择(ze)。我们,我们在本地。我们在云端。你在任何大小和形状的计算机上。我们几乎无处不在。这就是第二个(ge)原因。

第三(san)个(ge)原因与事实有关,你知道(dao),我们构建AI工厂,这变得越(yue)来越(yue)明显,AI不仅仅是芯片问题。当然,它从非常好的芯片开始(shi),我们为我们的AI工厂构建了很多芯片,但它是一个(ge)系统问题。

事实上,甚(shen)至AI现在是一个(ge)系统问题。它不仅仅是一个(ge)大型语言模型。它是一大堆大型语言模型的复杂系统,它们一起工作。所以(yi)Nvidia构建系统的事实使我们能够(gou)优化(hua)我们所有的芯片,使它们作为一个(ge)系统一起工作,能够(gou)拥(yong)有作为一个(ge)系统运(yun)行的软件,并能够(gou)在整个(ge)系统中进行优化(hua)。

现在,让我们从一个(ge)简单的数字角度(du)来看(kan),你知道(dao),如果你有一个(ge)5亿美元(yuan)的基础设施,你提高了两倍的性能,这是我们通常做(zuo)的。当你提高基础设施的性能两倍时(shi),它的价值(zhi)就增(zeng)加了10亿美元(yuan)。所有数据中心的芯片并不能支付它。因此,它的价值(zhi)确实非常特别。这就是为什么今天性能至关重要的原因。

你知道(dao),这是在最高性能也是最低成(cheng)本的时(shi)候,因为携(xie)带所有这些芯片的基础设施成(cheng)本很高,资助数据中心、运(yun)营数据中心、随之而来的复杂性,随之而来的电(dian)力(li),随之而来的房地产,你知道(dao),所有这些都结束了。所以(yi)最高性能也是最低TCO。

市场研究公(gong)司TD Cowen分析师Matt Ramsey:

我在数据中心行业工作了一辈子(zi)。我从未见过你们推出的新平台的速度(du),以(yi)及你们获得的性能提升(sheng)。训练速度(du)提高了5倍,推理速度(du)在GTC上提高了30倍,这真是一件令(ling)人惊叹的事情。

但这也创造了一个(ge)有趣的对比,那就是您当前一代产品(pin),您的客户正在花费数十亿美元(yuan),它将比产品(pin)的折旧周期更快地不再与您的新产品(pin)竞争(zheng)。所以(yi)我想请您,如果您不介意的话,谈一谈您如何看(kan)待这种情况随着Blackwell的推出而发展。

他们将拥(yong)有一个(ge)非常大的安装(zhuang)基础,显然是软件兼容的,但是有一个(ge)非常大的安装(zhuang)基础的产品(pin),其性能远(yuan)不如您的新一代产品(pin)。我很想听(ting)听(ting)您对客户在这条道(dao)路上的看(kan)法。 是

黄仁勋:

我想提出三(san)点。如果您的建设进度(du)是5%,而您的建设进度(du)是95%,您的感(gan)觉会非常不同。而且,因为您无论(lun)如何都只进行了5%的建设,您知道(dao),您必须尽可能快地建造,当Blackwell到(dao)来时(shi),它将是极好的。

然后,在Blackwell之后,正如您提到(dao)的,我们还(hai)有其他的Blackwells即将到(dao)来。然后,有一个(ge)短暂的,您知道(dao)的,我们以(yi)一年的节奏向世界解释(shi)。我们希(xi)望我们的客户能看(kan)到(dao)我们的路线图,尽可能地了解他们。

但他们无论(lun)如何都处于建设的早期阶段,所以(yi)他们必须继续建设,所以(yi)将会有很多芯片向他们袭来,他们只需要继续建设,如果愿意的话,通过性能平均化(hua)进入其中,所以(yi)这是聪明的做(zuo)法。

他们今天需要赚钱。他们想今天省钱,而且时(shi)间对他们来说(shuo)真的很有价值(zhi)。

让我给您举一个(ge)时(shi)间非常有价值(zhi)的例子(zi),为什么立即建立数据中心的想法如此有价值(zhi),以(yi)及获得训练时(shi)间如此有价值(zhi)。原因就是这样,因为下(xia)一个(ge)达到(dao)下(xia)一个(ge)主要里程碑(bei)的公(gong)司将宣(xuan)布一项(xiang)突破性的AI。而之后的第二个(ge)公(gong)司只能宣(xuan)布比原来好0.3%的东(dong)西。

所以(yi)问题是,您想成(cheng)为反复交付突破性AI的公(gong)司,还(hai)是想成(cheng)为交付比原来好0.3%的公(gong)司?这就是为什么这场比赛如此重要的原因,因为在所有技术(shu)竞赛中,这场比赛非常重要。而且您正在看(kan)到(dao)这场竞赛在多家公(gong)司中展开,因为这对公(gong)司来说(shuo)非常关键,以(yi)信任领导(dao)力(li)并想在您的平台上建设,并且知道(dao)他们正在建设的平台将越(yue)来越(yue)好。

所以(yi)领导(dao)力(li)非常重要,训练时(shi)间非常重要。提前三(san)个(ge)月完成(cheng)项(xiang)目的时(shi)间,为了获得训练时(shi)间。您知道(dao),提前三(san)个(ge)月开始(shi)一个(ge)三(san)个(ge)月的项(xiang)目。提前三(san)个(ge)月开始(shi)是一切。所以(yi)这就是为什么我们现在如此疯狂地建立hopper系统的原因,因为下(xia)一个(ge)里程碑(bei)就在拐角处。所以(yi)这就是第二个(ge)原因。

您刚才发表(biao)的第一个(ge)评论(lun)真的很棒,那就是,您知道(dao),我们进展如此之快,进步如此之快,因为我们拥(yong)有所有这些统计数据。我们在这里构建了整个(ge)数据中心,我们可以(yi)监(jian)控(kong)一切,测量一切,跨一切进行优化(hua)。

我们知道(dao)所有的瓶颈在哪里。我们不是在猜测。我们不是在制作看(kan)起来不错(cuo)的Powerpoint幻(huan)灯片。我们实际上,您知道(dao)的,我们也喜欢我们的Powerpoint幻(huan)灯片看(kan)起来不错(cuo),但我们正在交付在规模上表(biao)现出色的系统。我们之所以(yi)知道(dao)它们在规模上表(biao)现出色的原因是因为我们构建了它们所有。

现在,我们做(zuo)的一件事有点奇(qi)迹,那就是我们在这里构建了整个(ge)AI基础设施,但然后我们将其解聚并集成(cheng)到(dao)客户的数据中心,无论(lun)他们喜欢什么方式。但我们知道(dao)它将如何表(biao)现,我们知道(dao)瓶颈在哪里,我们知道(dao)我们需要在哪里与他们一起优化(hua),我们知道(dao)我们需要帮助他们改进他们的基础设施,以(yi)实现最佳性能。

这种对整个(ge)数据中心规模的深(shen)刻、亲密的了解,基本上就是今天让我们与众不同的原因。您知道(dao),我们从头开始(shi)构建每一个(ge)芯片。我们确切地知道(dao)整个(ge)系统中的处理方式,所以(yi)我们知道(dao)它将如何表(biao)现,以(yi)及如何利用(yong)每一代产品(pin)获得最佳效果。所以(yi)我很感(gan)激您提出的这三(san)个(ge)观点。

独立投资银(yin)行咨询Evercore分析师Marco Pacas:

在过去,您曾说(shuo)过,通用(yong)计算生态系统通常主导(dao)了每个(ge)计算时(shi)代。我相信论(lun)点是它们可以(yi)适应不同的工作负载,获得更高的利用(yong)率(lu),推动计算周期下(xia)降。这是您推动通用(yong)GPU计算生态系统加速计算的动机。如果我误解了您的观察,请告诉我。

所以(yi)问题是,鉴于推动您解决方案需求的工作负载是由神(shen)经网络训练和推理驱动的,表(biao)面上看(kan),这似乎是一个(ge)有限的工作负载数量,那么它们也可能倾向于定制解决方案。那么问题是,通用(yong)计算框架是否变得更加有风险?或者是否有足够(gou)的变化(hua)性或这些工作流程的快速演变,支持那个(ge)历史性的通用(yong)框架。谢谢。

黄仁勋:

是的,这些加速计算是多功能的,但我不会称(cheng)之为通用(yong)。比如,我们不会很擅长运(yun)行电(dian)子(zi)表(biao)格,您知道(dao),这是为通用(yong)计算而设计的。而且,控(kong)制操作系统代码(ma)的循(xun)环可能对通用(yong)计算不是很好,对我们的,对我们的,对我们的加速计算不是很好。

所以(yi)我会说(shuo)我会说(shuo)我们是多功能的,这通常是我描述它的方式。多年来,我们能够(gou)加速的应用(yong)程序领域(yu)非常丰富,但它们都有很多的共(gong)同点。您知道(dao),可能有一些深(shen)刻的差异,但有共(gong)同点,它们都是可以(yi)并行运(yun)行的。它们都是高度(du)线程化(hua)的。5%的代码(ma)代表(biao)了99%的运(yun)行时(shi)间,

例如。这些都是加速计算的属性。我们平台的多功能性和我们设计整个(ge)系统的事实是,在过去的10年左右,你们在这些电(dian)话会议中问我的初创公(gong)司的数量相当大。而且每一个(ge),因为它们的架构非常脆(cui)弱,当生成(cheng)性AI出现时(shi),在扩(kuo)散模型出现时(shi),当下(xia)一个(ge)模型出现时(shi),现在下(xia)一批模型即将出现。

然后突然之间,看(kan)看(kan)这些具(ju)有记忆的大型语言模型。因为大型语言模型需要有记忆,这样它们才能与您进行对话,理解上下(xia)文。突然之间,Grace内存的多功能性变得非常重要。所以(yi)每一个(ge)这些生成(cheng)性AI的进步,以(yi)及AI的进步,真的需要的不是为一个(ge)模型设计的一个(ge)小部件,而是有一些对这个(ge)整个(ge)领域(yu)真正很好的部件。

但遵循(xun)软件的首要原则,软件将继续发展,软件将继续变得更好更大。我们相信这些模型的扩(kuo)展。有很多原因,我们将在未来几年内轻松地扩(kuo)展一百倍,我们期待着它,我们为此做(zuo)好了准(zhun)备。所以(yi)平台的多功能性真的是关键。而且,如果您太脆(cui)弱、太具(ju)体了,您可能只是建一个(ge)FPGA或者建一个(ge)ASIC或者类似的东(dong)西,但那几乎不是一台计算机。

Raymond James分析师Serena Pajuri:

实际上,我想澄清一下(xia)你刚才说(shuo)的关于GB200系统的内容。看(kan)起来对系统的需求非常强劲。历史上,我认为你们卖出了很多AGX板卡和一些GPU,而系统业务相对较小。所以(yi)我很好奇(qi),为什么现在你们看(kan)到(dao)对系统有这么强的需求?这是因为TCO(总体拥(yong)有成(cheng)本)吗?还(hai)是其他什么原因?或者是因为架构?

黄仁勋:

谢谢你的提问。实际上,我们销售GB200的方式是一样的。我们分解所有有意义的组件,并将它们集成(cheng)到(dao)计算机制造商中。今年我们有100种不同的计算机SIS配置即将推出用(yong)于Blackwell,而这超出了预期。

坦白说(shuo),Hopper只有一半的数量。而这是其巅峰,最初甚(shen)至远(yuan)少于此。你会看(kan)到(dao)液(ye)冷版本、风冷版本、x86版本、Grace版本等等。很多系统正在设计中,并由我们所有的优秀合作伙(huo)伴提供。基本没有什么变化(hua)。

当然,Blackwell平台极大地扩(kuo)展了我们的产品(pin)供应。CPU的集成(cheng)和更高密度(du)的计算能力(li),液(ye)冷技术(shu)将为数据中心节省大量的资金(jin)和电(dian)力(li)供应,不仅更节能,而且是一个(ge)更好的解决方案。它更昂贵,意味着我们为数据中心提供了更多的组件,每个(ge)人都会受益。

数据中心将从高性能网络、网络交换机中获得更高的性能。当然,还(hai)有以(yi)太网。这样我们就可以(yi)将Nvidia AI大规模地带给那些只操作或只熟悉以(yi)太网的客户,因为他们的生态系统就是如此。因此,Blackwell更加昂贵,我们这一代有更多的产品(pin)提供给我们的客户。”

Truest Securities分析师William Stein:

“很好。谢谢你回答我的问题,Jensen。在某(mou)个(ge)时(shi)刻,Nvidia决定,虽然有一些相当不错(cuo)的CPU可用(yong)于数据中心操作,但你们的基于ARM的Grace CPU提供了一些真正的优势,使得这种技术(shu)值(zhi)得交付给客户,这可能与成(cheng)本或功耗或Grace与Hopper、Grace与Blackwell之间的技术(shu)协同有关。

你能否谈谈是否在客户端也可能出现类似的动态情况?尽管(guan)有非常好的解决方案,比如你提到(dao)的Intel和AMD是非常好的合作伙(huo)伴,并且提供了出色的x86产品(pin),但在新兴的AI工作负载中,Nvidia可能提供一些其他人难以(yi)实现的优势。”

黄仁勋:

您提到(dao)了一些非常好的理由。对于许多应用(yong)程序,我们与x 86合作伙(huo)伴的合作确实非常好,我们共(gong)同构建了出色的系统。 但是Grace使我们能够(gou)做(zuo)一些在今天的系统配置中不可能的事情。Grace和Hopper之间的内存系统是连贯且连接的。这两个(ge)芯片之间的互连,你知道(dao),把它们称(cheng)为两个(ge)芯片几乎很奇(qi)怪,因为它们就像一个(ge)超级芯片。它们通过这种每秒数TB的接口连接在一起。是的,这太棒了。而且,Grace使用(yong)的内存是lpddr。这是第一个(ge)数据中心级低功耗内存。所以(yi)我们在每个(ge)节点上都节省了很多电(dian)力(li)。

最后,由于架构,因为我们可以(yi)用(yong)整个(ge)系统创建自己的架构,现在我们可以(yi)创建一个(ge)真正大的MV Link域(yu),这对于下(xia)一代大型语言模型进行推理至关重要。所以(yi)你看(kan)到(dao)GB 200有一个(ge)72节点MV Link域(yu)。这就像72个(ge)Blackwells连接在一起,形成(cheng)一个(ge)巨大的GPU。所以(yi)我们需要Grace Blackwells才能做(zuo)到(dao)这一点。所以(yi)我,如果有像那样的机会,你知道(dao),我们会探索它。而且,正如你在昨天的构建中看(kan)到(dao)的那样,我认为非常棒。

正如Satya宣(xuan)布的下(xia)一代PC是Copilot plus PC,它在Nvidia的RTX GPU上运(yun)行得非常好,这些GPU正在笔记本电(dian)脑上发货。但它也支持ARM,非常出色。所以(yi)它为系统创新打开了机会,即使是PC。

Kendra Fitzgerald分析师CJ Muse:

我想问Jensen一个(ge)稍微(wei)长远(yuan)的问题。我知道(dao)Blackwell甚(shen)至还(hai)没有发布,但显然投资者是前瞻性的,而且在潜在的GPU和客户的竞争(zheng)不断增(zeng)加的情况下(xia),您如何看(kan)待Nvidia在创新方面的步伐,过去十年的百万倍扩(kuo)展以(yi)及在精密度(du)、Grace、连贯连接方面取得的真正令(ling)人印象深(shen)刻的进展。展望未来,未来十年需要解决哪些摩(mo)擦?我想更重要的是,您今天愿意与我们分享什么?

嗯,我可以(yi)宣(xuan)布,在Blackwell之后,还(hai)会有另(ling)一款芯片,我们将以(yi)一年为周期进行更新。因此,你们也可以(yi)指(zhi)望我们以(yi)非常快的速度(du)推出新的网络技术(shu)。

我们正在发布以(yi)太网的Spectrum X,但我们完全投入以(yi)太网,我们有一个(ge)非常令(ling)人兴奋(fen)的以(yi)太网路线图。我们拥(yong)有丰富的合作伙(huo)伴生态系统。戴尔宣(xuan)布他们将Spectrum X推向市场。我们有丰富的合作伙(huo)伴和客户,他们将宣(xuan)布将我们整个(ge)人工智能工厂架构推向市场。

因此,对于那些希(xi)望获得最终性能的公(gong)司,我们有无限带宽计算结构。Infiniband是一种计算结构,以(yi)太网和网络。多年来,Infiniband起初是一种计算结构,逐渐变成(cheng)了一种越(yue)来越(yue)好的网络。以(yi)太网是一个(ge)网络。通过Spectrum X,我们将使其成(cheng)为一个(ge)更好的计算结构。我们致力(li)于所有3个(ge)链接,从Envy链接,通勤计算结构到(dao)无限带宽计算结构,再到(dao)以(yi)太网网络计算结构。

因此,我们将以(yi)非常快的速度(du)推进所有这三(san)个(ge)方面。您将看(kan)到(dao)新的交换机、新的下(xia)一步、新的功能、运(yun)行在所有这三(san)个(ge)方面的新软件堆栈。新的CPU、新的GPU、新的网络、下(xia)一步新的交换机、新的芯片数量以(yi)及所有这一切美好的事情都是运(yun)行在Kuda上,都运(yun)行我们的整个(ge)软件堆栈。

因此,如果您今天投资我们的软件堆栈,而不需要做(zuo)任何事情,它只会变得越(yue)来越(yue)快。如果您今天投资我们的架构,而不需要做(zuo)任何事情,它将变得越(yue)来越(yue)多的云和越(yue)来越(yue)多的数据中心,一切都会变得更好。因此,我认为我们正在带来的创新速度(du)将一方面提高能力(li),另(ling)一方面降低TCO。因此,我们应该能够(gou)通过Nvidia架构为这个(ge)新时(shi)代的计算扩(kuo)展,并开始(shi)这个(ge)新的工业革命(ming),在那里我们不再只是制造软件,而是制造人工智能代币,我们将以(yi)规模实现这一目标。谢谢。

发布于:上海市
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7