业界动态
2024年香港正版免费大全公开mB牛智库百科-又一次超预期后,英伟达财报电话会说了什么?(附全文),黄仁,系统,客户
2024-06-02 01:28:14
2024年香港正版免费大全公开mB牛智库百科-又一次超预期后,英伟达财报电话会说了什么?(附全文),黄仁,系统,客户

黄仁勋在当地时间周(zhou)三召开的英伟达(da)财报(bao)电话会上表示,Blackwell芯片产品将在今年二季(ji)度发货、三季(ji)度增(zeng)产、四季(ji)度投(tou)放到(dao)数据(ju)中(zhong)心,今年就会看到(dao)“Blackwell芯片营收(shou)显著增(zeng)长”,并且在Blackwell芯片之(zhi)后会有(you)另(ling)一款芯片推出(chu),实现“一年一代”。

关于网络收(shou)入,英伟达(da)首次将网络收(shou)入单拆出(chu)来。黄仁勋表示公司(si)将致力于三条网络链路,从用于单计算域的NVLink到(dao) InfiniBand,再(zai)到(dao)以太网网络计算结(jie)构。

关于以太网络的营收(shou)贡献,同样参加电话会议的首席(xi)财务官科莱特·克雷斯表示,全球(qiu)首个专(zhuan)为(wei)AI设(she)计的高性能以太网架构Spectrum-X,正(zheng)在为(wei)英伟达(da)打开一个全新的市场,目前正(zheng)在与多家客户进行(xing)量产,其中(zhong)包括一个10万GPU的大型集群。公司(si)预计 Spectrum X 将在一年内跃升至数十亿美元的产品线。

关于推理收(shou)入,科莱特·克雷斯表示,公司(si)预计推理能力将随着模型复杂度、用户数量和(he)每用户查询次数的增(zeng)加而(er)扩大 。在过去的四个季(ji)度中(zhong),估计推理驱动(dong)了我们数据(ju)中(zhong)心约 40% 的收(shou)入。

关于AI PC,黄仁勋表示即使是PC计算堆栈也将发生革命性的变化,目前“正(zheng)在完(wan)全重新设(she)计计算机(ji)的工作方式”。

以下(xia)是英伟达(da)第(di)一季(ji)度财报(bao)电话会分(fen)析师(shi)问答环(huan)节全文内容:

伯恩斯坦研究公司(si)Stacy Rascan:

我的第(di)一个问题是,我想(xiang)深(shen)入了解一下(xia)blackwell的评论,这对生产来说很重要。

现在。这是否暗示了发货和(he)交付(fu)时间?如果该产品不再(zai)只是样品,那么当它实际(ji)上到(dao)达(da)客户手(shou)中(zhong)时,这意味着什么?

黄仁勋:

如果它现在正(zheng)在生产,我们将会发货,我们已经生产了一段时间。

但我们的生产发货将在第(di)二季(ji)度开始,并在第(di)三季(ji)度增(zeng)加,客户应该在第(di)四季(ji)度建立数据(ju)中(zhong)心。

Stacy Rascan:

明白了。所以今年,听起来我们将看到(dao)Blackwell的收(shou)入。

黄仁勋:

我们今年将会看到(dao)很多Blackwell的收(shou)入。

美国(guo)哥(ge)伦比亚广播公司(si)(CBS)Timothy R. Curry:

我想(xiang)问Jensen关于Blackwell的部(bu)署(shu)。 您知道的,与Hopper相(xiang)比,考虑到(dao)系(xi)统的特性,以及您对,您知道的,GB的需求,部(bu)署(shu)这个产品与Hopper有(you)什么不同?

我这样问是因(yin)为(wei)在大规模上进行(xing)液态(tai)冷(leng)却以前没有(you)做过,而(er)且在节点(dian)级别和(he)数据(ju)中(zhong)心内部(bu)都存(cun)在一些工程挑战。那么这些复杂性是否会延长过渡期?您如何看待这一切的进展?谢谢。

黄仁勋:

是的,Blackwell有(you)很多配置(zhi)。Blackwell是一个平台,而(er)不是一个GPU。该平台包括支持空气冷(leng)却、液态(tai)冷(leng)却x 86和(he)Grace无限带。现在Spectrum X,非常大的MV Link域,我在GTC上展示了GTC。

因(yin)此,对于一些客户来说,他们将进入他们现有(you)的数据(ju)中(zhong)心安装(zhuang)基础,这些数据(ju)中(zhong)心已经在运输hoppers。他们将很容易(yi)地从H100过渡到(dao)H200到(dao)BE 100。

因(yin)此,Blackwell系(xi)统已经被设(she)计为(wei)向后兼容,如果您愿意的话,从电气和(he)机(ji)械角度。当然(ran),运行(xing)在Hopper上的软件将在Blackwell上运行(xing)得非常好。

我们还一直在为(wei)整(zheng)个生态(tai)系(xi)统做好准备,让他们为(wei)液态(tai)冷(leng)却做好准备。我们已经与生态(tai)系(xi)统中(zhong)的Blackwell谈论了很长时间。而(er)且CSPs、数据(ju)中(zhong)心、ODMs、系(xi)统制造商、我们的供应链、他们的供应链、液态(tai)冷(leng)却供应链、数据(ju)中(zhong)心供应链,没有(you)人会对Blackwell的到(dao)来以及我们希望以Grace Blackwell 200 GB交付(fu)的能力感到(dao)惊讶。GB 200将非常出(chu)色。

美国(guo)银行(xing)证券分(fen)析师(shi)Beck Aria:

谢谢您接(jie)受(shou)我的问题,Jensen。您如何确保您的产品有(you)足够的利(li)用率,并且不会因(yin)为(wei)供应紧(jin)张、竞争或其他因(yin)素而(er)出(chu)现提前拉动(dong)或持有(you)行(xing)为(wei)?

您在系(xi)统中(zhong)建立了哪些检查,以使我们相(xiang)信货币化与您非常、非常强劲的发货道路保持同步?

黄仁勋:

我想(xiang)先给出(chu)一个宏观的视角,然(ran)后直接(jie)回答您的问题。

GPU在所有(you)数据(ju)中(zhong)心的需求是惊人的。我们每天都在竞跑,原因(yin)就是这样,因(yin)为(wei)像ChatGPT和(he)GPT 4 o这样的应用程序(xu),现在它将是多模态(tai)的,还有(you)Gemini和(he)它的坡(po)道,以及所有(you)CSPs正(zheng)在进行(xing)的所有(you)工作,都在消(xiao)耗着每一个GPU。还有(you)一长串生成性AI初创公司(si),大约有(you)15,000到(dao)20,000家初创公司(si),它们在各种领(ling)域,从多媒体到(dao)数字角色,当然(ran),还有(you)各种设(she)计工具应用、生产力应用、数字生物学。

自动(dong)驾(jia)驶汽车(che)行(xing)业(ye)正(zheng)在转向使用视频(pin)数据(ju),使他们能够训练端到(dao)端模型,扩大自动(dong)驾(jia)驶汽车(che)的操作领(ling)域。这个列表非常特别。

我们正(zheng)在竞跑,实际(ji)上,客户对我们施加了很大的压力,要求我们尽快(kuai)交付(fu)系(xi)统并建立起来。

当然(ran),我甚至还没有(you)提到(dao)所有(you)希望训练他们国(guo)家地区自然(ran)资源数据(ju)的国(guo)家,也就是他们的数据(ju),以训练他们地区模型。有(you)很多压力要求尽快(kuai)建立这些系(xi)统。无论如何,我认为(wei)需求真的很高,而(er)且长期来看供应不足。这就是我为(wei)什么要发表一些长期评论的原因(yin),对吧?

您知道,我们正(zheng)在完(wan)全重新设(she)计计算机(ji)的工作方式。当然(ran),这已经被比作过去其他平台的转变,但时间会清楚地表明,这比以往的平台转变要深(shen)刻得多。原因(yin)就在于,计算机(ji)不再(zai)只是一台指令(ling)驱动(dong)的计算机(ji)。它是一个意图理解的计算机(ji)。它当然(ran)理解我们与它的交互方式,但它也理解我们的意思,我们要求它做什么,并且有(you)能力进行(xing)推理、计划(hua)和(he)迭代处理,并提出(chu)解决方案。

因(yin)此,计算机(ji)的每一个方面(mian)都在以这样的方式改变,即它不再(zai)检索预录的文件,而(er)是现在生成与上下(xia)文相(xiang)关的、智能的答案。因(yin)此,这将改变世界各地的计算堆栈。您看到(dao)了一个构建,事(shi)实上,即使是PC计算堆栈也将得到(dao)革命化。

而(er)这仅仅是我们看到(dao)的,您知道,今天我们所看到(dao)的只是我们在实验(yan)室中(zhong)正(zheng)在做的工作的开始,以及我们正(zheng)在与世界各地的所有(you)初创公司(si)、大公司(si)和(he)开发人员一起做的事(shi)情,这将是非同寻常的。

摩根士丹利(li)Joe Moore:

我理解您刚(gang)刚(gang)关于需求有(you)多强劲的评论,市场对H200和(he)Blackwell产品有(you)很大的需求。您是否预计在从这些产品过渡时,Hopper和(he)H100会有(you)所暂停?人们会等待这些新产品吗,这将是一个好产品?还是您认为(wei)对H100的需求足以维持增(zeng)长?

黄仁勋:

我们看到(dao)这个季(ji)度Hopper的需求在增(zeng)加,我们预计随着我们过渡到(dao)H 200,需求将超过供应一段时间,因(yin)为(wei)我们过渡到(dao)Blackwell。我,每个人都急于让他们的基础设(she)施上线。原因(yin)就是这样,因(yin)为(wei)他们正(zheng)在省钱和(he)赚钱,他们希望尽快(kuai)这样做。

高盛Toshiahari:

我想(xiang)问关于竞争的问题。我想(xiang)您的许多云客户都宣布了,您知道的,新的或对现有(you)内部(bu)计划(hua)的更新,与他们与您合作的工作同时进行(xing),您在多大程度上将他们视为(wei)中(zhong)长期竞争对手(shou)?在近期内,您认为(wei)他们是否主要限于解决内部(bu)工作负载(zai)?还是他们可以更广泛地解决未来的问题?谢谢。

黄仁勋:

是的,我们有(you)几个不同之(zhi)处。

首先,Nvidia的加速计算架构允许客户处理他们整(zheng)个流程的每一个方面(mian),从处理非结(jie)构化数据(ju)准备训练,到(dao)结(jie)构化数据(ju)处理、数据(ju)框架处理(如SQL)准备训练,再(zai)到(dao)训练和(he)推理。正(zheng)如我在讲话中(zhong)提到(dao)的,推理已经发生了根本性的变化。现在是生成,不再(zai)只是试图检测猫(尽管这本身已经非常困难)。现在需要生成猫的每一个像素。所以生成过程是一个根本不同的处理架构,这也是Tensor RTLM备受(shou)欢迎的原因(yin)之(zhi)一。”

我们在使用相(xiang)同芯片的架构上提升了三倍(bei)的性能,这说明了我们的架构和(he)软件的丰富性。因(yin)此,首先,你可以使用Nvidia来处理从计算机(ji)视觉到(dao)图像处理、计算机(ji)图形学等所有(you)计算模式。随着世界现在遭受(shou)计算成本和(he)计算能耗上涨的困扰,因(yin)为(wei)通用计算已经达(da)到(dao)极(ji)限,加速计算才是可持续发展的方式。加速计算是你节省计算成本和(he)能耗的途径。因(yin)此,我们平台的多功能性为(wei)他们的数据(ju)中(zhong)心带来了最低的总体拥有(you)成本(TCO)。

第(di)二,我们从不在云端。所以对于正(zheng)在寻找平台进行(xing)开发的开发人员来说,从Nvidia开始总是一个不错的选择。我们,我们在本地。我们在云端。你在任何大小(xiao)和(he)形状(zhuang)的计算机(ji)上。我们几乎无处不在。这就是第(di)二个原因(yin)。

第(di)三个原因(yin)与事(shi)实有(you)关,你知道,我们构建AI工厂(chang),这变得越来越明显,AI不仅仅是芯片问题。当然(ran),它从非常好的芯片开始,我们为(wei)我们的AI工厂(chang)构建了很多芯片,但它是一个系(xi)统问题。

事(shi)实上,甚至AI现在是一个系(xi)统问题。它不仅仅是一个大型语言模型。它是一大堆大型语言模型的复杂系(xi)统,它们一起工作。所以Nvidia构建系(xi)统的事(shi)实使我们能够优化我们所有(you)的芯片,使它们作为(wei)一个系(xi)统一起工作,能够拥有(you)作为(wei)一个系(xi)统运行(xing)的软件,并能够在整(zheng)个系(xi)统中(zhong)进行(xing)优化。

现在,让我们从一个简单的数字角度来看,你知道,如果你有(you)一个5亿美元的基础设(she)施,你提高了两倍(bei)的性能,这是我们通常做的。当你提高基础设(she)施的性能两倍(bei)时,它的价值就增(zeng)加了10亿美元。所有(you)数据(ju)中(zhong)心的芯片并不能支付(fu)它。因(yin)此,它的价值确实非常特别。这就是为(wei)什么今天性能至关重要的原因(yin)。

你知道,这是在最高性能也是最低成本的时候,因(yin)为(wei)携带所有(you)这些芯片的基础设(she)施成本很高,资助数据(ju)中(zhong)心、运营数据(ju)中(zhong)心、随之(zhi)而(er)来的复杂性,随之(zhi)而(er)来的电力,随之(zhi)而(er)来的房地产,你知道,所有(you)这些都结(jie)束了。所以最高性能也是最低TCO。

市场研究公司(si)TD Cowen分(fen)析师(shi)Matt Ramsey:

我在数据(ju)中(zhong)心行(xing)业(ye)工作了一辈子。我从未见过你们推出(chu)的新平台的速度,以及你们获得的性能提升。训练速度提高了5倍(bei),推理速度在GTC上提高了30倍(bei),这真是一件令(ling)人惊叹的事(shi)情。

但这也创造了一个有(you)趣的对比,那就是您当前一代产品,您的客户正(zheng)在花费数十亿美元,它将比产品的折旧周(zhou)期更快(kuai)地不再(zai)与您的新产品竞争。所以我想(xiang)请您,如果您不介意的话,谈一谈您如何看待这种情况随着Blackwell的推出(chu)而(er)发展。

他们将拥有(you)一个非常大的安装(zhuang)基础,显然(ran)是软件兼容的,但是有(you)一个非常大的安装(zhuang)基础的产品,其性能远不如您的新一代产品。我很想(xiang)听听您对客户在这条道路上的看法(fa)。 是

黄仁勋:

我想(xiang)提出(chu)三点(dian)。如果您的建设(she)进度是5%,而(er)您的建设(she)进度是95%,您的感觉会非常不同。而(er)且,因(yin)为(wei)您无论如何都只进行(xing)了5%的建设(she),您知道,您必须尽可能快(kuai)地建造,当Blackwell到(dao)来时,它将是极(ji)好的。

然(ran)后,在Blackwell之(zhi)后,正(zheng)如您提到(dao)的,我们还有(you)其他的Blackwells即将到(dao)来。然(ran)后,有(you)一个短暂的,您知道的,我们以一年的节奏(zou)向世界解释。我们希望我们的客户能看到(dao)我们的路线图,尽可能地了解他们。

但他们无论如何都处于建设(she)的早期阶段,所以他们必须继续建设(she),所以将会有(you)很多芯片向他们袭来,他们只需要继续建设(she),如果愿意的话,通过性能平均(jun)化进入其中(zhong),所以这是聪明的做法(fa)。

他们今天需要赚钱。他们想(xiang)今天省钱,而(er)且时间对他们来说真的很有(you)价值。

让我给您举一个时间非常有(you)价值的例子,为(wei)什么立即建立数据(ju)中(zhong)心的想(xiang)法(fa)如此有(you)价值,以及获得训练时间如此有(you)价值。原因(yin)就是这样,因(yin)为(wei)下(xia)一个达(da)到(dao)下(xia)一个主要里程碑的公司(si)将宣布一项突破性的AI。而(er)之(zhi)后的第(di)二个公司(si)只能宣布比原来好0.3%的东西。

所以问题是,您想(xiang)成为(wei)反复交付(fu)突破性AI的公司(si),还是想(xiang)成为(wei)交付(fu)比原来好0.3%的公司(si)?这就是为(wei)什么这场比赛如此重要的原因(yin),因(yin)为(wei)在所有(you)技(ji)术竞赛中(zhong),这场比赛非常重要。而(er)且您正(zheng)在看到(dao)这场竞赛在多家公司(si)中(zhong)展开,因(yin)为(wei)这对公司(si)来说非常关键,以信任领(ling)导力并想(xiang)在您的平台上建设(she),并且知道他们正(zheng)在建设(she)的平台将越来越好。

所以领(ling)导力非常重要,训练时间非常重要。提前三个月完(wan)成项目的时间,为(wei)了获得训练时间。您知道,提前三个月开始一个三个月的项目。提前三个月开始是一切。所以这就是为(wei)什么我们现在如此疯狂地建立hopper系(xi)统的原因(yin),因(yin)为(wei)下(xia)一个里程碑就在拐角处。所以这就是第(di)二个原因(yin)。

您刚(gang)才发表的第(di)一个评论真的很棒,那就是,您知道,我们进展如此之(zhi)快(kuai),进步如此之(zhi)快(kuai),因(yin)为(wei)我们拥有(you)所有(you)这些统计数据(ju)。我们在这里构建了整(zheng)个数据(ju)中(zhong)心,我们可以监控一切,测量一切,跨一切进行(xing)优化。

我们知道所有(you)的瓶颈在哪里。我们不是在猜测。我们不是在制作看起来不错的Powerpoint幻(huan)灯片。我们实际(ji)上,您知道的,我们也喜欢我们的Powerpoint幻(huan)灯片看起来不错,但我们正(zheng)在交付(fu)在规模上表现出(chu)色的系(xi)统。我们之(zhi)所以知道它们在规模上表现出(chu)色的原因(yin)是因(yin)为(wei)我们构建了它们所有(you)。

现在,我们做的一件事(shi)有(you)点(dian)奇迹,那就是我们在这里构建了整(zheng)个AI基础设(she)施,但然(ran)后我们将其解聚并集成到(dao)客户的数据(ju)中(zhong)心,无论他们喜欢什么方式。但我们知道它将如何表现,我们知道瓶颈在哪里,我们知道我们需要在哪里与他们一起优化,我们知道我们需要帮(bang)助他们改进他们的基础设(she)施,以实现最佳(jia)性能。

这种对整(zheng)个数据(ju)中(zhong)心规模的深(shen)刻、亲密的了解,基本上就是今天让我们与众不同的原因(yin)。您知道,我们从头开始构建每一个芯片。我们确切地知道整(zheng)个系(xi)统中(zhong)的处理方式,所以我们知道它将如何表现,以及如何利(li)用每一代产品获得最佳(jia)效果。所以我很感激(ji)您提出(chu)的这三个观点(dian)。

独(du)立投(tou)资银行(xing)咨询Evercore分(fen)析师(shi)Marco Pacas:

在过去,您曾说过,通用计算生态(tai)系(xi)统通常主导了每个计算时代。我相(xiang)信论点(dian)是它们可以适(shi)应不同的工作负载(zai),获得更高的利(li)用率,推动(dong)计算周(zhou)期下(xia)降。这是您推动(dong)通用GPU计算生态(tai)系(xi)统加速计算的动(dong)机(ji)。如果我误解了您的观察,请告(gao)诉我。

所以问题是,鉴于推动(dong)您解决方案需求的工作负载(zai)是由(you)神经网络训练和(he)推理驱动(dong)的,表面(mian)上看,这似乎是一个有(you)限的工作负载(zai)数量,那么它们也可能倾向于定制解决方案。那么问题是,通用计算框架是否变得更加有(you)风险(xian)?或者是否有(you)足够的变化性或这些工作流程的快(kuai)速演变,支持那个历史性的通用框架。谢谢。

黄仁勋:

是的,这些加速计算是多功能的,但我不会称(cheng)之(zhi)为(wei)通用。比如,我们不会很擅长运行(xing)电子表格,您知道,这是为(wei)通用计算而(er)设(she)计的。而(er)且,控制操作系(xi)统代码的循(xun)环(huan)可能对通用计算不是很好,对我们的,对我们的,对我们的加速计算不是很好。

所以我会说我会说我们是多功能的,这通常是我描述(shu)它的方式。多年来,我们能够加速的应用程序(xu)领(ling)域非常丰富,但它们都有(you)很多的共(gong)同点(dian)。您知道,可能有(you)一些深(shen)刻的差异,但有(you)共(gong)同点(dian),它们都是可以并行(xing)运行(xing)的。它们都是高度线程化的。5%的代码代表了99%的运行(xing)时间,

例如。这些都是加速计算的属性。我们平台的多功能性和(he)我们设(she)计整(zheng)个系(xi)统的事(shi)实是,在过去的10年左(zuo)右,你们在这些电话会议中(zhong)问我的初创公司(si)的数量相(xiang)当大。而(er)且每一个,因(yin)为(wei)它们的架构非常脆弱,当生成性AI出(chu)现时,在扩散模型出(chu)现时,当下(xia)一个模型出(chu)现时,现在下(xia)一批模型即将出(chu)现。

然(ran)后突然(ran)之(zhi)间,看看这些具有(you)记(ji)忆的大型语言模型。因(yin)为(wei)大型语言模型需要有(you)记(ji)忆,这样它们才能与您进行(xing)对话,理解上下(xia)文。突然(ran)之(zhi)间,Grace内存(cun)的多功能性变得非常重要。所以每一个这些生成性AI的进步,以及AI的进步,真的需要的不是为(wei)一个模型设(she)计的一个小(xiao)部(bu)件,而(er)是有(you)一些对这个整(zheng)个领(ling)域真正(zheng)很好的部(bu)件。

但遵(zun)循(xun)软件的首要原则(ze),软件将继续发展,软件将继续变得更好更大。我们相(xiang)信这些模型的扩展。有(you)很多原因(yin),我们将在未来几年内轻松(song)地扩展一百倍(bei),我们期待着它,我们为(wei)此做好了准备。所以平台的多功能性真的是关键。而(er)且,如果您太脆弱、太具体了,您可能只是建一个FPGA或者建一个ASIC或者类似的东西,但那几乎不是一台计算机(ji)。

Raymond James分(fen)析师(shi)Serena Pajuri:

实际(ji)上,我想(xiang)澄清一下(xia)你刚(gang)才说的关于GB200系(xi)统的内容。看起来对系(xi)统的需求非常强劲。历史上,我认为(wei)你们卖出(chu)了很多AGX板卡和(he)一些GPU,而(er)系(xi)统业(ye)务相(xiang)对较小(xiao)。所以我很好奇,为(wei)什么现在你们看到(dao)对系(xi)统有(you)这么强的需求?这是因(yin)为(wei)TCO(总体拥有(you)成本)吗?还是其他什么原因(yin)?或者是因(yin)为(wei)架构?

黄仁勋:

谢谢你的提问。实际(ji)上,我们销售(shou)GB200的方式是一样的。我们分(fen)解所有(you)有(you)意义的组(zu)件,并将它们集成到(dao)计算机(ji)制造商中(zhong)。今年我们有(you)100种不同的计算机(ji)SIS配置(zhi)即将推出(chu)用于Blackwell,而(er)这超出(chu)了预期。

坦白说,Hopper只有(you)一半的数量。而(er)这是其巅峰,最初甚至远少于此。你会看到(dao)液冷(leng)版本、风冷(leng)版本、x86版本、Grace版本等等。很多系(xi)统正(zheng)在设(she)计中(zhong),并由(you)我们所有(you)的优秀合作伙伴提供。基本没有(you)什么变化。

当然(ran),Blackwell平台极(ji)大地扩展了我们的产品供应。CPU的集成和(he)更高密度的计算能力,液冷(leng)技(ji)术将为(wei)数据(ju)中(zhong)心节省大量的资金和(he)电力供应,不仅更节能,而(er)且是一个更好的解决方案。它更昂贵,意味着我们为(wei)数据(ju)中(zhong)心提供了更多的组(zu)件,每个人都会受(shou)益。

数据(ju)中(zhong)心将从高性能网络、网络交换机(ji)中(zhong)获得更高的性能。当然(ran),还有(you)以太网。这样我们就可以将Nvidia AI大规模地带给那些只操作或只熟悉以太网的客户,因(yin)为(wei)他们的生态(tai)系(xi)统就是如此。因(yin)此,Blackwell更加昂贵,我们这一代有(you)更多的产品提供给我们的客户。”

Truest Securities分(fen)析师(shi)William Stein:

“很好。谢谢你回答我的问题,Jensen。在某个时刻,Nvidia决定,虽然(ran)有(you)一些相(xiang)当不错的CPU可用于数据(ju)中(zhong)心操作,但你们的基于ARM的Grace CPU提供了一些真正(zheng)的优势,使得这种技(ji)术值得交付(fu)给客户,这可能与成本或功耗或Grace与Hopper、Grace与Blackwell之(zhi)间的技(ji)术协同有(you)关。

你能否谈谈是否在客户端也可能出(chu)现类似的动(dong)态(tai)情况?尽管有(you)非常好的解决方案,比如你提到(dao)的Intel和(he)AMD是非常好的合作伙伴,并且提供了出(chu)色的x86产品,但在新兴的AI工作负载(zai)中(zhong),Nvidia可能提供一些其他人难以实现的优势。”

黄仁勋:

您提到(dao)了一些非常好的理由(you)。对于许多应用程序(xu),我们与x 86合作伙伴的合作确实非常好,我们共(gong)同构建了出(chu)色的系(xi)统。 但是Grace使我们能够做一些在今天的系(xi)统配置(zhi)中(zhong)不可能的事(shi)情。Grace和(he)Hopper之(zhi)间的内存(cun)系(xi)统是连贯且连接(jie)的。这两个芯片之(zhi)间的互连,你知道,把它们称(cheng)为(wei)两个芯片几乎很奇怪,因(yin)为(wei)它们就像一个超级芯片。它们通过这种每秒数TB的接(jie)口连接(jie)在一起。是的,这太棒了。而(er)且,Grace使用的内存(cun)是lpddr。这是第(di)一个数据(ju)中(zhong)心级低功耗内存(cun)。所以我们在每个节点(dian)上都节省了很多电力。

最后,由(you)于架构,因(yin)为(wei)我们可以用整(zheng)个系(xi)统创建自己的架构,现在我们可以创建一个真正(zheng)大的MV Link域,这对于下(xia)一代大型语言模型进行(xing)推理至关重要。所以你看到(dao)GB 200有(you)一个72节点(dian)MV Link域。这就像72个Blackwells连接(jie)在一起,形成一个巨大的GPU。所以我们需要Grace Blackwells才能做到(dao)这一点(dian)。所以我,如果有(you)像那样的机(ji)会,你知道,我们会探索它。而(er)且,正(zheng)如你在昨(zuo)天的构建中(zhong)看到(dao)的那样,我认为(wei)非常棒。

正(zheng)如Satya宣布的下(xia)一代PC是Copilot plus PC,它在Nvidia的RTX GPU上运行(xing)得非常好,这些GPU正(zheng)在笔记(ji)本电脑上发货。但它也支持ARM,非常出(chu)色。所以它为(wei)系(xi)统创新打开了机(ji)会,即使是PC。

Kendra Fitzgerald分(fen)析师(shi)CJ Muse:

我想(xiang)问Jensen一个稍(shao)微长远的问题。我知道Blackwell甚至还没有(you)发布,但显然(ran)投(tou)资者是前瞻(zhan)性的,而(er)且在潜(qian)在的GPU和(he)客户的竞争不断增(zeng)加的情况下(xia),您如何看待Nvidia在创新方面(mian)的步伐,过去十年的百万倍(bei)扩展以及在精密度、Grace、连贯连接(jie)方面(mian)取得的真正(zheng)令(ling)人印象深(shen)刻的进展。展望未来,未来十年需要解决哪些摩擦?我想(xiang)更重要的是,您今天愿意与我们分(fen)享什么?

嗯,我可以宣布,在Blackwell之(zhi)后,还会有(you)另(ling)一款芯片,我们将以一年为(wei)周(zhou)期进行(xing)更新。因(yin)此,你们也可以指望我们以非常快(kuai)的速度推出(chu)新的网络技(ji)术。

我们正(zheng)在发布以太网的Spectrum X,但我们完(wan)全投(tou)入以太网,我们有(you)一个非常令(ling)人兴奋的以太网路线图。我们拥有(you)丰富的合作伙伴生态(tai)系(xi)统。戴尔宣布他们将Spectrum X推向市场。我们有(you)丰富的合作伙伴和(he)客户,他们将宣布将我们整(zheng)个人工智能工厂(chang)架构推向市场。

因(yin)此,对于那些希望获得最终性能的公司(si),我们有(you)无限带宽计算结(jie)构。Infiniband是一种计算结(jie)构,以太网和(he)网络。多年来,Infiniband起初是一种计算结(jie)构,逐(zhu)渐变成了一种越来越好的网络。以太网是一个网络。通过Spectrum X,我们将使其成为(wei)一个更好的计算结(jie)构。我们致力于所有(you)3个链接(jie),从Envy链接(jie),通勤(qin)计算结(jie)构到(dao)无限带宽计算结(jie)构,再(zai)到(dao)以太网网络计算结(jie)构。

因(yin)此,我们将以非常快(kuai)的速度推进所有(you)这三个方面(mian)。您将看到(dao)新的交换机(ji)、新的下(xia)一步、新的功能、运行(xing)在所有(you)这三个方面(mian)的新软件堆栈。新的CPU、新的GPU、新的网络、下(xia)一步新的交换机(ji)、新的芯片数量以及所有(you)这一切美好的事(shi)情都是运行(xing)在Kuda上,都运行(xing)我们的整(zheng)个软件堆栈。

因(yin)此,如果您今天投(tou)资我们的软件堆栈,而(er)不需要做任何事(shi)情,它只会变得越来越快(kuai)。如果您今天投(tou)资我们的架构,而(er)不需要做任何事(shi)情,它将变得越来越多的云和(he)越来越多的数据(ju)中(zhong)心,一切都会变得更好。因(yin)此,我认为(wei)我们正(zheng)在带来的创新速度将一方面(mian)提高能力,另(ling)一方面(mian)降低TCO。因(yin)此,我们应该能够通过Nvidia架构为(wei)这个新时代的计算扩展,并开始这个新的工业(ye)革命,在那里我们不再(zai)只是制造软件,而(er)是制造人工智能代币,我们将以规模实现这一目标(biao)。谢谢。

伯恩斯坦研究公司(si)Stacy Rascan:

我的第(di)一个问题是,我想(xiang)深(shen)入了解一下(xia)blackwell的评论,这对生产来说很重要。

现在。这是否暗示了发货和(he)交付(fu)时间?如果该产品不再(zai)只是样品,那么当它实际(ji)上到(dao)达(da)客户手(shou)中(zhong)时,这意味着什么?

黄仁勋:

如果它现在正(zheng)在生产,我们将会发货,我们已经生产了一段时间。

但我们的生产发货将在第(di)二季(ji)度开始,并在第(di)三季(ji)度增(zeng)加,客户应该在第(di)四季(ji)度建立数据(ju)中(zhong)心。

Stacy Rascan:

明白了。所以今年,听起来我们将看到(dao)Blackwell的收(shou)入。

黄仁勋:

我们今年将会看到(dao)很多Blackwell的收(shou)入。

美国(guo)哥(ge)伦比亚广播公司(si)(CBS)Timothy R. Curry:

我想(xiang)问Jensen关于Blackwell的部(bu)署(shu)。 您知道的,与Hopper相(xiang)比,考虑到(dao)系(xi)统的特性,以及您对,您知道的,GB的需求,部(bu)署(shu)这个产品与Hopper有(you)什么不同?

我这样问是因(yin)为(wei)在大规模上进行(xing)液态(tai)冷(leng)却以前没有(you)做过,而(er)且在节点(dian)级别和(he)数据(ju)中(zhong)心内部(bu)都存(cun)在一些工程挑战。那么这些复杂性是否会延长过渡期?您如何看待这一切的进展?谢谢。

黄仁勋:

是的,Blackwell有(you)很多配置(zhi)。Blackwell是一个平台,而(er)不是一个GPU。该平台包括支持空气冷(leng)却、液态(tai)冷(leng)却x 86和(he)Grace无限带。现在Spectrum X,非常大的MV Link域,我在GTC上展示了GTC。

因(yin)此,对于一些客户来说,他们将进入他们现有(you)的数据(ju)中(zhong)心安装(zhuang)基础,这些数据(ju)中(zhong)心已经在运输hoppers。他们将很容易(yi)地从H100过渡到(dao)H200到(dao)BE 100。

因(yin)此,Blackwell系(xi)统已经被设(she)计为(wei)向后兼容,如果您愿意的话,从电气和(he)机(ji)械角度。当然(ran),运行(xing)在Hopper上的软件将在Blackwell上运行(xing)得非常好。

我们还一直在为(wei)整(zheng)个生态(tai)系(xi)统做好准备,让他们为(wei)液态(tai)冷(leng)却做好准备。我们已经与生态(tai)系(xi)统中(zhong)的Blackwell谈论了很长时间。而(er)且CSPs、数据(ju)中(zhong)心、ODMs、系(xi)统制造商、我们的供应链、他们的供应链、液态(tai)冷(leng)却供应链、数据(ju)中(zhong)心供应链,没有(you)人会对Blackwell的到(dao)来以及我们希望以Grace Blackwell 200 GB交付(fu)的能力感到(dao)惊讶。GB 200将非常出(chu)色。

美国(guo)银行(xing)证券分(fen)析师(shi)Beck Aria:

谢谢您接(jie)受(shou)我的问题,Jensen。您如何确保您的产品有(you)足够的利(li)用率,并且不会因(yin)为(wei)供应紧(jin)张、竞争或其他因(yin)素而(er)出(chu)现提前拉动(dong)或持有(you)行(xing)为(wei)?

您在系(xi)统中(zhong)建立了哪些检查,以使我们相(xiang)信货币化与您非常、非常强劲的发货道路保持同步?

黄仁勋:

我想(xiang)先给出(chu)一个宏观的视角,然(ran)后直接(jie)回答您的问题。

GPU在所有(you)数据(ju)中(zhong)心的需求是惊人的。我们每天都在竞跑,原因(yin)就是这样,因(yin)为(wei)像ChatGPT和(he)GPT 4 o这样的应用程序(xu),现在它将是多模态(tai)的,还有(you)Gemini和(he)它的坡(po)道,以及所有(you)CSPs正(zheng)在进行(xing)的所有(you)工作,都在消(xiao)耗着每一个GPU。还有(you)一长串生成性AI初创公司(si),大约有(you)15,000到(dao)20,000家初创公司(si),它们在各种领(ling)域,从多媒体到(dao)数字角色,当然(ran),还有(you)各种设(she)计工具应用、生产力应用、数字生物学。

自动(dong)驾(jia)驶汽车(che)行(xing)业(ye)正(zheng)在转向使用视频(pin)数据(ju),使他们能够训练端到(dao)端模型,扩大自动(dong)驾(jia)驶汽车(che)的操作领(ling)域。这个列表非常特别。

我们正(zheng)在竞跑,实际(ji)上,客户对我们施加了很大的压力,要求我们尽快(kuai)交付(fu)系(xi)统并建立起来。

当然(ran),我甚至还没有(you)提到(dao)所有(you)希望训练他们国(guo)家地区自然(ran)资源数据(ju)的国(guo)家,也就是他们的数据(ju),以训练他们地区模型。有(you)很多压力要求尽快(kuai)建立这些系(xi)统。无论如何,我认为(wei)需求真的很高,而(er)且长期来看供应不足。这就是我为(wei)什么要发表一些长期评论的原因(yin),对吧?

您知道,我们正(zheng)在完(wan)全重新设(she)计计算机(ji)的工作方式。当然(ran),这已经被比作过去其他平台的转变,但时间会清楚地表明,这比以往的平台转变要深(shen)刻得多。原因(yin)就在于,计算机(ji)不再(zai)只是一台指令(ling)驱动(dong)的计算机(ji)。它是一个意图理解的计算机(ji)。它当然(ran)理解我们与它的交互方式,但它也理解我们的意思,我们要求它做什么,并且有(you)能力进行(xing)推理、计划(hua)和(he)迭代处理,并提出(chu)解决方案。

因(yin)此,计算机(ji)的每一个方面(mian)都在以这样的方式改变,即它不再(zai)检索预录的文件,而(er)是现在生成与上下(xia)文相(xiang)关的、智能的答案。因(yin)此,这将改变世界各地的计算堆栈。您看到(dao)了一个构建,事(shi)实上,即使是PC计算堆栈也将得到(dao)革命化。

而(er)这仅仅是我们看到(dao)的,您知道,今天我们所看到(dao)的只是我们在实验(yan)室中(zhong)正(zheng)在做的工作的开始,以及我们正(zheng)在与世界各地的所有(you)初创公司(si)、大公司(si)和(he)开发人员一起做的事(shi)情,这将是非同寻常的。

摩根士丹利(li)Joe Moore:

我理解您刚(gang)刚(gang)关于需求有(you)多强劲的评论,市场对H200和(he)Blackwell产品有(you)很大的需求。您是否预计在从这些产品过渡时,Hopper和(he)H100会有(you)所暂停?人们会等待这些新产品吗,这将是一个好产品?还是您认为(wei)对H100的需求足以维持增(zeng)长?

黄仁勋:

我们看到(dao)这个季(ji)度Hopper的需求在增(zeng)加,我们预计随着我们过渡到(dao)H 200,需求将超过供应一段时间,因(yin)为(wei)我们过渡到(dao)Blackwell。我,每个人都急于让他们的基础设(she)施上线。原因(yin)就是这样,因(yin)为(wei)他们正(zheng)在省钱和(he)赚钱,他们希望尽快(kuai)这样做。

高盛Toshiahari:

我想(xiang)问关于竞争的问题。我想(xiang)您的许多云客户都宣布了,您知道的,新的或对现有(you)内部(bu)计划(hua)的更新,与他们与您合作的工作同时进行(xing),您在多大程度上将他们视为(wei)中(zhong)长期竞争对手(shou)?在近期内,您认为(wei)他们是否主要限于解决内部(bu)工作负载(zai)?还是他们可以更广泛地解决未来的问题?谢谢。

黄仁勋:

是的,我们有(you)几个不同之(zhi)处。

首先,Nvidia的加速计算架构允许客户处理他们整(zheng)个流程的每一个方面(mian),从处理非结(jie)构化数据(ju)准备训练,到(dao)结(jie)构化数据(ju)处理、数据(ju)框架处理(如SQL)准备训练,再(zai)到(dao)训练和(he)推理。正(zheng)如我在讲话中(zhong)提到(dao)的,推理已经发生了根本性的变化。现在是生成,不再(zai)只是试图检测猫(尽管这本身已经非常困难)。现在需要生成猫的每一个像素。所以生成过程是一个根本不同的处理架构,这也是Tensor RTLM备受(shou)欢迎的原因(yin)之(zhi)一。”

我们在使用相(xiang)同芯片的架构上提升了三倍(bei)的性能,这说明了我们的架构和(he)软件的丰富性。因(yin)此,首先,你可以使用Nvidia来处理从计算机(ji)视觉到(dao)图像处理、计算机(ji)图形学等所有(you)计算模式。随着世界现在遭受(shou)计算成本和(he)计算能耗上涨的困扰,因(yin)为(wei)通用计算已经达(da)到(dao)极(ji)限,加速计算才是可持续发展的方式。加速计算是你节省计算成本和(he)能耗的途径。因(yin)此,我们平台的多功能性为(wei)他们的数据(ju)中(zhong)心带来了最低的总体拥有(you)成本(TCO)。

第(di)二,我们从不在云端。所以对于正(zheng)在寻找平台进行(xing)开发的开发人员来说,从Nvidia开始总是一个不错的选择。我们,我们在本地。我们在云端。你在任何大小(xiao)和(he)形状(zhuang)的计算机(ji)上。我们几乎无处不在。这就是第(di)二个原因(yin)。

第(di)三个原因(yin)与事(shi)实有(you)关,你知道,我们构建AI工厂(chang),这变得越来越明显,AI不仅仅是芯片问题。当然(ran),它从非常好的芯片开始,我们为(wei)我们的AI工厂(chang)构建了很多芯片,但它是一个系(xi)统问题。

事(shi)实上,甚至AI现在是一个系(xi)统问题。它不仅仅是一个大型语言模型。它是一大堆大型语言模型的复杂系(xi)统,它们一起工作。所以Nvidia构建系(xi)统的事(shi)实使我们能够优化我们所有(you)的芯片,使它们作为(wei)一个系(xi)统一起工作,能够拥有(you)作为(wei)一个系(xi)统运行(xing)的软件,并能够在整(zheng)个系(xi)统中(zhong)进行(xing)优化。

现在,让我们从一个简单的数字角度来看,你知道,如果你有(you)一个5亿美元的基础设(she)施,你提高了两倍(bei)的性能,这是我们通常做的。当你提高基础设(she)施的性能两倍(bei)时,它的价值就增(zeng)加了10亿美元。所有(you)数据(ju)中(zhong)心的芯片并不能支付(fu)它。因(yin)此,它的价值确实非常特别。这就是为(wei)什么今天性能至关重要的原因(yin)。

你知道,这是在最高性能也是最低成本的时候,因(yin)为(wei)携带所有(you)这些芯片的基础设(she)施成本很高,资助数据(ju)中(zhong)心、运营数据(ju)中(zhong)心、随之(zhi)而(er)来的复杂性,随之(zhi)而(er)来的电力,随之(zhi)而(er)来的房地产,你知道,所有(you)这些都结(jie)束了。所以最高性能也是最低TCO。

市场研究公司(si)TD Cowen分(fen)析师(shi)Matt Ramsey:

我在数据(ju)中(zhong)心行(xing)业(ye)工作了一辈子。我从未见过你们推出(chu)的新平台的速度,以及你们获得的性能提升。训练速度提高了5倍(bei),推理速度在GTC上提高了30倍(bei),这真是一件令(ling)人惊叹的事(shi)情。

但这也创造了一个有(you)趣的对比,那就是您当前一代产品,您的客户正(zheng)在花费数十亿美元,它将比产品的折旧周(zhou)期更快(kuai)地不再(zai)与您的新产品竞争。所以我想(xiang)请您,如果您不介意的话,谈一谈您如何看待这种情况随着Blackwell的推出(chu)而(er)发展。

他们将拥有(you)一个非常大的安装(zhuang)基础,显然(ran)是软件兼容的,但是有(you)一个非常大的安装(zhuang)基础的产品,其性能远不如您的新一代产品。我很想(xiang)听听您对客户在这条道路上的看法(fa)。 是

黄仁勋:

我想(xiang)提出(chu)三点(dian)。如果您的建设(she)进度是5%,而(er)您的建设(she)进度是95%,您的感觉会非常不同。而(er)且,因(yin)为(wei)您无论如何都只进行(xing)了5%的建设(she),您知道,您必须尽可能快(kuai)地建造,当Blackwell到(dao)来时,它将是极(ji)好的。

然(ran)后,在Blackwell之(zhi)后,正(zheng)如您提到(dao)的,我们还有(you)其他的Blackwells即将到(dao)来。然(ran)后,有(you)一个短暂的,您知道的,我们以一年的节奏(zou)向世界解释。我们希望我们的客户能看到(dao)我们的路线图,尽可能地了解他们。

但他们无论如何都处于建设(she)的早期阶段,所以他们必须继续建设(she),所以将会有(you)很多芯片向他们袭来,他们只需要继续建设(she),如果愿意的话,通过性能平均(jun)化进入其中(zhong),所以这是聪明的做法(fa)。

他们今天需要赚钱。他们想(xiang)今天省钱,而(er)且时间对他们来说真的很有(you)价值。

让我给您举一个时间非常有(you)价值的例子,为(wei)什么立即建立数据(ju)中(zhong)心的想(xiang)法(fa)如此有(you)价值,以及获得训练时间如此有(you)价值。原因(yin)就是这样,因(yin)为(wei)下(xia)一个达(da)到(dao)下(xia)一个主要里程碑的公司(si)将宣布一项突破性的AI。而(er)之(zhi)后的第(di)二个公司(si)只能宣布比原来好0.3%的东西。

所以问题是,您想(xiang)成为(wei)反复交付(fu)突破性AI的公司(si),还是想(xiang)成为(wei)交付(fu)比原来好0.3%的公司(si)?这就是为(wei)什么这场比赛如此重要的原因(yin),因(yin)为(wei)在所有(you)技(ji)术竞赛中(zhong),这场比赛非常重要。而(er)且您正(zheng)在看到(dao)这场竞赛在多家公司(si)中(zhong)展开,因(yin)为(wei)这对公司(si)来说非常关键,以信任领(ling)导力并想(xiang)在您的平台上建设(she),并且知道他们正(zheng)在建设(she)的平台将越来越好。

所以领(ling)导力非常重要,训练时间非常重要。提前三个月完(wan)成项目的时间,为(wei)了获得训练时间。您知道,提前三个月开始一个三个月的项目。提前三个月开始是一切。所以这就是为(wei)什么我们现在如此疯狂地建立hopper系(xi)统的原因(yin),因(yin)为(wei)下(xia)一个里程碑就在拐角处。所以这就是第(di)二个原因(yin)。

您刚(gang)才发表的第(di)一个评论真的很棒,那就是,您知道,我们进展如此之(zhi)快(kuai),进步如此之(zhi)快(kuai),因(yin)为(wei)我们拥有(you)所有(you)这些统计数据(ju)。我们在这里构建了整(zheng)个数据(ju)中(zhong)心,我们可以监控一切,测量一切,跨一切进行(xing)优化。

我们知道所有(you)的瓶颈在哪里。我们不是在猜测。我们不是在制作看起来不错的Powerpoint幻(huan)灯片。我们实际(ji)上,您知道的,我们也喜欢我们的Powerpoint幻(huan)灯片看起来不错,但我们正(zheng)在交付(fu)在规模上表现出(chu)色的系(xi)统。我们之(zhi)所以知道它们在规模上表现出(chu)色的原因(yin)是因(yin)为(wei)我们构建了它们所有(you)。

现在,我们做的一件事(shi)有(you)点(dian)奇迹,那就是我们在这里构建了整(zheng)个AI基础设(she)施,但然(ran)后我们将其解聚并集成到(dao)客户的数据(ju)中(zhong)心,无论他们喜欢什么方式。但我们知道它将如何表现,我们知道瓶颈在哪里,我们知道我们需要在哪里与他们一起优化,我们知道我们需要帮(bang)助他们改进他们的基础设(she)施,以实现最佳(jia)性能。

这种对整(zheng)个数据(ju)中(zhong)心规模的深(shen)刻、亲密的了解,基本上就是今天让我们与众不同的原因(yin)。您知道,我们从头开始构建每一个芯片。我们确切地知道整(zheng)个系(xi)统中(zhong)的处理方式,所以我们知道它将如何表现,以及如何利(li)用每一代产品获得最佳(jia)效果。所以我很感激(ji)您提出(chu)的这三个观点(dian)。

独(du)立投(tou)资银行(xing)咨询Evercore分(fen)析师(shi)Marco Pacas:

在过去,您曾说过,通用计算生态(tai)系(xi)统通常主导了每个计算时代。我相(xiang)信论点(dian)是它们可以适(shi)应不同的工作负载(zai),获得更高的利(li)用率,推动(dong)计算周(zhou)期下(xia)降。这是您推动(dong)通用GPU计算生态(tai)系(xi)统加速计算的动(dong)机(ji)。如果我误解了您的观察,请告(gao)诉我。

所以问题是,鉴于推动(dong)您解决方案需求的工作负载(zai)是由(you)神经网络训练和(he)推理驱动(dong)的,表面(mian)上看,这似乎是一个有(you)限的工作负载(zai)数量,那么它们也可能倾向于定制解决方案。那么问题是,通用计算框架是否变得更加有(you)风险(xian)?或者是否有(you)足够的变化性或这些工作流程的快(kuai)速演变,支持那个历史性的通用框架。谢谢。

黄仁勋:

是的,这些加速计算是多功能的,但我不会称(cheng)之(zhi)为(wei)通用。比如,我们不会很擅长运行(xing)电子表格,您知道,这是为(wei)通用计算而(er)设(she)计的。而(er)且,控制操作系(xi)统代码的循(xun)环(huan)可能对通用计算不是很好,对我们的,对我们的,对我们的加速计算不是很好。

所以我会说我会说我们是多功能的,这通常是我描述(shu)它的方式。多年来,我们能够加速的应用程序(xu)领(ling)域非常丰富,但它们都有(you)很多的共(gong)同点(dian)。您知道,可能有(you)一些深(shen)刻的差异,但有(you)共(gong)同点(dian),它们都是可以并行(xing)运行(xing)的。它们都是高度线程化的。5%的代码代表了99%的运行(xing)时间,

例如。这些都是加速计算的属性。我们平台的多功能性和(he)我们设(she)计整(zheng)个系(xi)统的事(shi)实是,在过去的10年左(zuo)右,你们在这些电话会议中(zhong)问我的初创公司(si)的数量相(xiang)当大。而(er)且每一个,因(yin)为(wei)它们的架构非常脆弱,当生成性AI出(chu)现时,在扩散模型出(chu)现时,当下(xia)一个模型出(chu)现时,现在下(xia)一批模型即将出(chu)现。

然(ran)后突然(ran)之(zhi)间,看看这些具有(you)记(ji)忆的大型语言模型。因(yin)为(wei)大型语言模型需要有(you)记(ji)忆,这样它们才能与您进行(xing)对话,理解上下(xia)文。突然(ran)之(zhi)间,Grace内存(cun)的多功能性变得非常重要。所以每一个这些生成性AI的进步,以及AI的进步,真的需要的不是为(wei)一个模型设(she)计的一个小(xiao)部(bu)件,而(er)是有(you)一些对这个整(zheng)个领(ling)域真正(zheng)很好的部(bu)件。

但遵(zun)循(xun)软件的首要原则(ze),软件将继续发展,软件将继续变得更好更大。我们相(xiang)信这些模型的扩展。有(you)很多原因(yin),我们将在未来几年内轻松(song)地扩展一百倍(bei),我们期待着它,我们为(wei)此做好了准备。所以平台的多功能性真的是关键。而(er)且,如果您太脆弱、太具体了,您可能只是建一个FPGA或者建一个ASIC或者类似的东西,但那几乎不是一台计算机(ji)。

Raymond James分(fen)析师(shi)Serena Pajuri:

实际(ji)上,我想(xiang)澄清一下(xia)你刚(gang)才说的关于GB200系(xi)统的内容。看起来对系(xi)统的需求非常强劲。历史上,我认为(wei)你们卖出(chu)了很多AGX板卡和(he)一些GPU,而(er)系(xi)统业(ye)务相(xiang)对较小(xiao)。所以我很好奇,为(wei)什么现在你们看到(dao)对系(xi)统有(you)这么强的需求?这是因(yin)为(wei)TCO(总体拥有(you)成本)吗?还是其他什么原因(yin)?或者是因(yin)为(wei)架构?

黄仁勋:

谢谢你的提问。实际(ji)上,我们销售(shou)GB200的方式是一样的。我们分(fen)解所有(you)有(you)意义的组(zu)件,并将它们集成到(dao)计算机(ji)制造商中(zhong)。今年我们有(you)100种不同的计算机(ji)SIS配置(zhi)即将推出(chu)用于Blackwell,而(er)这超出(chu)了预期。

坦白说,Hopper只有(you)一半的数量。而(er)这是其巅峰,最初甚至远少于此。你会看到(dao)液冷(leng)版本、风冷(leng)版本、x86版本、Grace版本等等。很多系(xi)统正(zheng)在设(she)计中(zhong),并由(you)我们所有(you)的优秀合作伙伴提供。基本没有(you)什么变化。

当然(ran),Blackwell平台极(ji)大地扩展了我们的产品供应。CPU的集成和(he)更高密度的计算能力,液冷(leng)技(ji)术将为(wei)数据(ju)中(zhong)心节省大量的资金和(he)电力供应,不仅更节能,而(er)且是一个更好的解决方案。它更昂贵,意味着我们为(wei)数据(ju)中(zhong)心提供了更多的组(zu)件,每个人都会受(shou)益。

数据(ju)中(zhong)心将从高性能网络、网络交换机(ji)中(zhong)获得更高的性能。当然(ran),还有(you)以太网。这样我们就可以将Nvidia AI大规模地带给那些只操作或只熟悉以太网的客户,因(yin)为(wei)他们的生态(tai)系(xi)统就是如此。因(yin)此,Blackwell更加昂贵,我们这一代有(you)更多的产品提供给我们的客户。”

Truest Securities分(fen)析师(shi)William Stein:

“很好。谢谢你回答我的问题,Jensen。在某个时刻,Nvidia决定,虽然(ran)有(you)一些相(xiang)当不错的CPU可用于数据(ju)中(zhong)心操作,但你们的基于ARM的Grace CPU提供了一些真正(zheng)的优势,使得这种技(ji)术值得交付(fu)给客户,这可能与成本或功耗或Grace与Hopper、Grace与Blackwell之(zhi)间的技(ji)术协同有(you)关。

你能否谈谈是否在客户端也可能出(chu)现类似的动(dong)态(tai)情况?尽管有(you)非常好的解决方案,比如你提到(dao)的Intel和(he)AMD是非常好的合作伙伴,并且提供了出(chu)色的x86产品,但在新兴的AI工作负载(zai)中(zhong),Nvidia可能提供一些其他人难以实现的优势。”

黄仁勋:

您提到(dao)了一些非常好的理由(you)。对于许多应用程序(xu),我们与x 86合作伙伴的合作确实非常好,我们共(gong)同构建了出(chu)色的系(xi)统。 但是Grace使我们能够做一些在今天的系(xi)统配置(zhi)中(zhong)不可能的事(shi)情。Grace和(he)Hopper之(zhi)间的内存(cun)系(xi)统是连贯且连接(jie)的。这两个芯片之(zhi)间的互连,你知道,把它们称(cheng)为(wei)两个芯片几乎很奇怪,因(yin)为(wei)它们就像一个超级芯片。它们通过这种每秒数TB的接(jie)口连接(jie)在一起。是的,这太棒了。而(er)且,Grace使用的内存(cun)是lpddr。这是第(di)一个数据(ju)中(zhong)心级低功耗内存(cun)。所以我们在每个节点(dian)上都节省了很多电力。

最后,由(you)于架构,因(yin)为(wei)我们可以用整(zheng)个系(xi)统创建自己的架构,现在我们可以创建一个真正(zheng)大的MV Link域,这对于下(xia)一代大型语言模型进行(xing)推理至关重要。所以你看到(dao)GB 200有(you)一个72节点(dian)MV Link域。这就像72个Blackwells连接(jie)在一起,形成一个巨大的GPU。所以我们需要Grace Blackwells才能做到(dao)这一点(dian)。所以我,如果有(you)像那样的机(ji)会,你知道,我们会探索它。而(er)且,正(zheng)如你在昨(zuo)天的构建中(zhong)看到(dao)的那样,我认为(wei)非常棒。

正(zheng)如Satya宣布的下(xia)一代PC是Copilot plus PC,它在Nvidia的RTX GPU上运行(xing)得非常好,这些GPU正(zheng)在笔记(ji)本电脑上发货。但它也支持ARM,非常出(chu)色。所以它为(wei)系(xi)统创新打开了机(ji)会,即使是PC。

Kendra Fitzgerald分(fen)析师(shi)CJ Muse:

我想(xiang)问Jensen一个稍(shao)微长远的问题。我知道Blackwell甚至还没有(you)发布,但显然(ran)投(tou)资者是前瞻(zhan)性的,而(er)且在潜(qian)在的GPU和(he)客户的竞争不断增(zeng)加的情况下(xia),您如何看待Nvidia在创新方面(mian)的步伐,过去十年的百万倍(bei)扩展以及在精密度、Grace、连贯连接(jie)方面(mian)取得的真正(zheng)令(ling)人印象深(shen)刻的进展。展望未来,未来十年需要解决哪些摩擦?我想(xiang)更重要的是,您今天愿意与我们分(fen)享什么?

嗯,我可以宣布,在Blackwell之(zhi)后,还会有(you)另(ling)一款芯片,我们将以一年为(wei)周(zhou)期进行(xing)更新。因(yin)此,你们也可以指望我们以非常快(kuai)的速度推出(chu)新的网络技(ji)术。

我们正(zheng)在发布以太网的Spectrum X,但我们完(wan)全投(tou)入以太网,我们有(you)一个非常令(ling)人兴奋的以太网路线图。我们拥有(you)丰富的合作伙伴生态(tai)系(xi)统。戴尔宣布他们将Spectrum X推向市场。我们有(you)丰富的合作伙伴和(he)客户,他们将宣布将我们整(zheng)个人工智能工厂(chang)架构推向市场。

因(yin)此,对于那些希望获得最终性能的公司(si),我们有(you)无限带宽计算结(jie)构。Infiniband是一种计算结(jie)构,以太网和(he)网络。多年来,Infiniband起初是一种计算结(jie)构,逐(zhu)渐变成了一种越来越好的网络。以太网是一个网络。通过Spectrum X,我们将使其成为(wei)一个更好的计算结(jie)构。我们致力于所有(you)3个链接(jie),从Envy链接(jie),通勤(qin)计算结(jie)构到(dao)无限带宽计算结(jie)构,再(zai)到(dao)以太网网络计算结(jie)构。

因(yin)此,我们将以非常快(kuai)的速度推进所有(you)这三个方面(mian)。您将看到(dao)新的交换机(ji)、新的下(xia)一步、新的功能、运行(xing)在所有(you)这三个方面(mian)的新软件堆栈。新的CPU、新的GPU、新的网络、下(xia)一步新的交换机(ji)、新的芯片数量以及所有(you)这一切美好的事(shi)情都是运行(xing)在Kuda上,都运行(xing)我们的整(zheng)个软件堆栈。

因(yin)此,如果您今天投(tou)资我们的软件堆栈,而(er)不需要做任何事(shi)情,它只会变得越来越快(kuai)。如果您今天投(tou)资我们的架构,而(er)不需要做任何事(shi)情,它将变得越来越多的云和(he)越来越多的数据(ju)中(zhong)心,一切都会变得更好。因(yin)此,我认为(wei)我们正(zheng)在带来的创新速度将一方面(mian)提高能力,另(ling)一方面(mian)降低TCO。因(yin)此,我们应该能够通过Nvidia架构为(wei)这个新时代的计算扩展,并开始这个新的工业(ye)革命,在那里我们不再(zai)只是制造软件,而(er)是制造人工智能代币,我们将以规模实现这一目标(biao)。谢谢。

发布于:上海市
版权号:18172771662813
 
    以上就是本篇文章的全部内容了,欢迎阅览 !
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 移动站 , 查看更多   
sitemapsitemap1sitemap2sitemap3sitemap4sitemap5sitemap6sitemap7