2021年4月12日

NVIDIA GTC 2021主题演讲,首席执行官黄仁勋4月12日

NVIDIA GTC 2021主题演讲,首席执行官黄仁勋4月12日
牧师;博客;成绩单;NVIDIA GTC 2021主题演讲,首席执行官黄仁勋4月12日

NVIDIA首席执行官黄仁勋于2021年4月12日主持了GTC 2021主题活动。点击此处阅读活动演讲全文。

抄写你自己的内容

试着牧师并且节省了抄录、配字幕和字幕的时间。

黄延森:(15:57
有强大的力量塑造着世界的产业。我们开创的加速计算在为计算机行业提供前进道路的同时,也加速了科学发现。特别是人工智能,已经取得了令人难以置信的进步。使用NVIDIA gpu,计算机可以学习,软件可以编写人类无法完成的软件。人工智能软件作为服务从云端交付,以光速执行自动化。软件现在由微服务组成,这些微服务可以扩展到整个数据中心,将数据中心视为单个计算单元。人工智能和5G是启动第四次工业革命的要素,自动化和机器人可以部署到世界的遥远边缘。我们还需要一个奇迹,元宇宙。一个虚拟世界是我们的数字双胞胎。欢迎来到GTC 2021。 We’re going to talk about these dynamics and more.

黄延森:(17:09
让我给你们讲讲我演讲的架构。它被组织成四个堆栈。这就是我们的工作方式。作为一家全栈计算平台公司,这种流动也反映了人工智能的浪潮,以及我们如何扩大平台的覆盖范围,以解决新问题并进入新市场。首先是全宇宙,它是在NVIDIA的基础上建立起来的。它是一个创建和模拟虚拟世界的平台。我们将介绍Omniverse的许多应用,如设计协作、模拟和未来的机器人工厂。第二个堆栈是DGX和高性能数据中心,官方的BlueField,新的DGX,新的芯片,以及我们在人工智能、药物发现和量子计算方面正在做的新工作。在这里,我们还将讨论Arm和新的Arm合作伙伴关系。第三个堆栈是我们最重要的新平台之一,NVIDIA EGX与空中5G。 Now, enterprises and industries can do AI and deploy AI on 5G. We’ll talk about NVIDIA AI and pre-trained models like Jarvis, conversational AI. And finally, our work with the auto industry to revolutionize the future of transportation, NVIDIA Drive. We’ll talk about new chips, new platforms and software, and lots of new customers.

黄延森:(18:33
让我们开始吧。科学家、研究人员、开发人员和创造者正在使用NVIDIA做令人惊叹的事情。凭借超过10亿的CUDA GPU出货量和250 ExaFLOPS的GPU云计算能力,您的话语得到全球传播。250万开发人员和7500家初创公司正在为加速计算开发数以千计的应用程序。我们为我们共同构建的生态系统的发展感到兴奋,我们将继续全心全意地推动它的发展。我们的目的是为我们这个时代的达芬奇创造工具。这样做,我们也有助于创造未来。使高性能计算机大众化是NVIDIA对科学的最大贡献之一。有了GeForce,每个学生都可以拥有一台超级计算机。这就是Alex Krichevsky, Ilya和Hinton训练AlexNet的方式,AlexNet引起了全世界对深度学习的关注。 And with GPUs in supercomputers, we gave scientists a time machine. A scientist once told me that because of invidious work, he could do his life’s work in his lifetime. I can’t think of a greater purpose.

黄延森:(19:44
让我强调一下去年取得的一些成就。NVIDIA正在不断优化整个堆栈。有了这些芯片,你的软件每年都会运行得更快,如果你升级的话会更快。在我们的重要科学代码的黄金套件中,我们在过去五年中将性能提高了13倍。有些公司的业绩每年都翻一番。例如,NAMD分子动力学模拟器被重新架构,现在可以跨多个gpu运行。由加州大学圣地亚哥分校Rommie Amaro博士领导的研究人员,使用在橡树岭峰会超级计算机上运行的多gpu NAMD,在20,000个NVIDIA gpu上进行了有史以来最大的原子模拟,3.05亿个原子。这项工作对于更好地了解COVID-19病毒并加速疫苗的研制至关重要。阿马洛博士和她的合作者因这项重要工作获得了戈登·贝尔奖。我非常荣幸地欢迎Amaro博士和超过10万的观众参加今年的GTC,这是我们有史以来规模最大的一次。

黄延森:(20:48
我们有一些我们这个时代最伟大的计算机科学家和研究人员在这里发言,3位图灵奖得主,12位戈登·贝尔奖得主,9位Kaggle特级大师,甚至还有10位奥斯卡奖得主。我们也很高兴邀请到业界最聪明的人分享他们的发现,他们是各个领域的领导者,医疗保健、汽车、金融、零售、能源、互联网服务,以及每一家大型企业IT公司。他们将为您带来他们在COVID研究、数据科学网络安全、计算机图形学新方法以及人工智能和机器人技术的最新进展方面的最新成果。总共有1600个演讲,讲述了我们这个时代最重要的技术,这些技术都来自于塑造我们世界的领域的领导者。欢迎来到GTC。

黄延森:(21:34
让我们从NVIDIA的起点说起,计算机图形。计算机图形学是我们技术的驱动力。每年有数以亿计的游戏玩家和创造者寻求NVIDIA所提供的最佳产品。计算机图形学的核心是模拟,使用数学和计算机科学来模拟光和材料的相互作用,物体、粒子和波的物理,现在,在动画中模拟智能。我们致力于实现自然母亲物理的科学、工程和艺术已经取得了令人难以置信的进步,并允许我们的技术做出贡献,推动基础科学、艺术和工业。

黄延森:(22:15
去年,我们推出了第二代RTX,这是一种新的渲染方法,将栅格化和可编程着色与人工智能中的硬件加速光线追踪融合在一起。这是10年研究的成果。RTX重新设置了计算机图形,为开发人员提供了一个强大的新工具,就像栅格化停滞不前一样。让我向你们展示一些正在开发中的游戏的精彩片段。技术和艺术都是惊人的。我们为全球十亿玩家提供了升级游戏的绝佳理由。

黄延森:(24:39
(沉默)RTX是计算机图形的复位。它使我们能够建立Omniverse,一个将3D世界连接到共享虚拟世界的平台。这与科幻小说中的“元宇宙”(Metaverse)没有什么不同,尼尔·斯蒂芬森(Neal Stephenson)在他20世纪90年代早期的小说《冰雪崩塌》(Snow Crash)中首次描述了这个概念。在小说中,“元宇宙”是共享的3D空间和虚拟增强的物理空间的集合,它们是互联网的延伸。早期的元宇宙愿景已经出现,比如《堡垒之夜》(Fortnite)等大型在线社交游戏或《我的世界》(Minecraft)等用户创建的虚拟世界。

黄延森:(25:15
让我从两种应用的角度,设计协作和数字双胞胎的角度来告诉你Omniverse。这个平台有几个主要部分。首先是Omniverse Nucleus,这是一个连接用户并支持3D资产和场景描述交换的数据库引擎。一旦连接,进行建模、布局、着色、动画、灯光、特效或渲染的设计师就可以协作创建一个场景。Omniverse Nucleus使用开放标准USD进行描述,Universal Scene Description,这是一个由Pixar发明的极好的交换框架。多个用户可以连接到nucleus,以美元片段的形式发送和接收他们的世界的变化。第二部分是Omniverse的组成,渲染和动画引擎,虚拟世界的模拟。全宇宙是一个以物理为基础的平台。它是完全路径跟踪,物理是用NVDIA PhysX模拟的,材料是用NVIDIA MDL模拟的,Omniverse与NVIDIA AI完全集成。Omniverse是云原生的,多gpu可扩展,可在任何RTX平台上运行,并远程传输到任何设备。 The third part is NVIDIA CloudXR, a stargate, if you will. You can teleport into Omniverse with VR, and AIs can teleport out of Omniverse with AR. Omniverse was released open beta in December. Let me show you what talented creators are doing.

黄延森:(26:46
(沉默)

黄延森:(27:16
创造者们正在用全宇宙做着惊人的事情。在福斯特建筑事务所,来自全球17个地点的设计师在他们的“全宇宙”共享虚拟空间中共同设计建筑。工业光魔正在测试Omniverse,为多个工作室整合内部和外部工具管道。全宇宙减少协作,实时渲染最终镜头,并创建像全息甲板这样的大规模虚拟场景。爱立信正在使用Omniverse进行具有许多多径干扰的实时5G波传播模拟。Twin Earth正在创建一个地球的数字双胞胎,将运行在2万个NVIDIA gpu上。动视正在使用Omniverse将他们超过10万的3D资产组织成一个共享和可搜索的世界。

黄延森:(28:02
进入一个共享的、可搜索的世界宾利是世界领先的基础设施工程软件公司,所有的建设,道路和桥梁,铁路和交通系统,机场和海港,约占世界GDP的3%或每年3.5万亿美元。宾利的软件用于设计、建模和模拟世界上最大的基础设施项目。全球排名前250的工程公司中,90%都使用宾利。他们有一个名为iTwin的新平台,这是一个令人兴奋的策略,在建造完成后使用3D模型,在整个生命周期中监控和优化性能。

黄延森:(28:50
我们非常高兴能与宾利合作,在Omniverse中创建基础设施数字双胞胎。宾利是第一家在Omniverse平台上开发一套应用程序的第三方公司。这是对全宇宙的一种极好的使用。宾利是数字双胞胎的一个很好的例子,是完美的搭档。世界上最大的广告公司WPP的佩里·南丁格尔将告诉你他们在做什么。

佩里·南丁格尔:(29:18
WPP是世界上最大的营销服务机构,正因为如此,我们也是世界上最大的制作公司之一。对我们来说,这是一个主要的碳热点。我们与NVIDIA合作,通过Omniverse在工作室中虚拟捕捉位置并将其带入生活。在宇宙中,超过100亿个点变成了一个巨大的网格。这是第一次,我们可以虚拟地拍摄和实际地点一样真实的地点。Omniverse也改变了我们的工作方式,一个协作平台,这意味着多个艺术家,在流水线上的多个点,在世界多个地方可以在一个场景上协作。实时CGI,可持续的工作室,与Omniverse的合作,是WPP电影的未来。

黄延森:(30:07
全宇宙最重要的特征之一就是它遵守物理定律。万能宇宙可以模拟粒子、流体、材料、弹簧和电缆。这是机器人的基本能力。一旦训练完毕,人工智能和软件就可以从Omniverse下载。在这个视频中,您将看到Omniverse的物理模拟刚体和软体,流体和有限元建模等等。享受。

黄延森:(32:17
全宇宙是一个基于物理的虚拟世界,在那里机器人可以学习成为机器人。他们将有各种大小和形状,箱子搬运工,挑选和放置武器,叉车,汽车,卡车。在未来,工厂将是一个机器人,里面有很多机器人,制造出机器人本身的汽车。

黄延森:(32:35
我们可以使用Omniverse来创建虚拟工厂,训练和模拟工厂及其内部的机器人工人。运行虚拟工厂的人工智能和软件与实际工厂完全相同。虚拟和物理工厂及其机器人将在一个循环中运行。它们是数字双胞胎,连接到ERP系统,模拟工厂的吞吐量,模拟新的工厂布局,成为操作员的仪表盘,甚至连接到机器人进行远程操作。

黄延森:(33:09
宝马很可能是世界上最大的定制制造公司。宝马每年生产超过两百万辆汽车,在他们最先进的工厂,一分钟就能生产。每辆车都不一样。我们正在与宝马公司合作,创建一个未来的工厂,完全数字化设计,从头到尾都在全宇宙中模拟,创建一个数字双胞胎,并运营一个机器人和人类一起工作的工厂。让我们来看看宝马工厂。

Milan Nedeljkovic博士:(33:41
欢迎来到宝马生产部,詹森。我很高兴向你们展示为什么宝马为创新和灵活性设定标准。我们与NVIDIA Omniverse和NVIDIA AI的合作引领我们进入汽车生产数字化的新时代。

黄延森:(33:58
很高兴和你在一起,米兰。我很高兴能和你一起参观虚拟工厂。

Milan Nedeljkovic博士:(34:04
我们是在宝马装配系统的数字双胞胎中,由Omniverse提供动力。这是我们第一次能够模拟整个工厂。全球团队可以使用不同的软件包(如Rabbit、KETIA或Point Clouds)进行协作,以实时3D方式设计和规划工厂。在完美的模拟中运行的能力彻底改变了宝马的规划流程。

4号发言人:(34:35
这些垫片还在正确的位置上吗?

5号发言人:(34:37
是的。

Milan Nedeljkovic博士:(34:38
是的。宝马会定期对工厂进行调整,以适应新车型的推出。在这里,我们看到两位位于世界不同地方的规划专家,正在测试全宇宙设计的新线路。其中一名专家用动作捕捉服钻进一个装配模拟装置,记录任务动作,而另一名专家则实时调整生产线设计。他们一起工作来优化生产线,以及工人的人体工程学和安全。

4号发言人:(35:10
你能告诉我要弯多远吗?

5号发言人:(35:11
靠墙的地方,我给你找个高点的,但那里(相声00:35:14)。

4号发言人:(35:14
是的,很完美。

Milan Nedeljkovic博士:(35:15
希望能够在模拟中大规模地做到这一点。

黄延森:(35:20
这正是NVIDIA推出数字人体进行模拟的原因。数字人类接受来自真实伙伴的数据训练。然后,您可以在模拟中使用数字人来测试工人工效学和效率的新工作流程。现在你们的工厂雇佣了57,000名员工,他们与许多机器人共享工作空间,这些机器人旨在使他们的工作更容易。让我们来谈谈它们。

Milan Nedeljkovic博士:(35:42
你说得对,詹森,机器人对现代生产系统至关重要。借助NVIDIA Isaac Robotics平台,宝马正在部署智能物流机器人车队,以改善我们生产中的物料流动。这种灵活性是必要的,因为我们每年生产250万辆汽车,其中99%是定制的。

黄延森:(36:07
Isaac中可用的合成数据生成和域随机化是引导机器学习的关键。Isaac SIM生成了数以百万计的合成图像,并改变环境来教机器人。域随机化可以生成逼真的对象、纹理、方向和光照条件的无限排列。无论是用于检测、分割还是深度感知,它都是生成地面真相的理想选择。

黄延森:(36:38
让我给你举个例子,看看我们如何把这些结合起来来经营你的工厂。借助NVIDIA的舰队指挥系统,您的助手可以安全地在工厂中为任务控制编排机器人和其他设备。他们可以实时监控复杂的制造单元,通过空中更新软件,启动机器人任务和远程操作。当机器人需要帮助时,警报可以发送到任务控制中心,您的一位同事可以控制帮助机器人。我们在你们其中一家工厂的数字双胞胎里,但你们还有30家工厂分布在15个国家。米兰,宝马的生产规模令人印象深刻。

Milan Nedeljkovic博士:(37:21
事实上,延森,我们生产网络的规模和复杂性要求宝马不断创新。我为我们两家公司的紧密合作感到高兴。NVIDIA Omnivorous和NVIDIA AI让我们有机会模拟我们生产网络中的所有31家工厂。这些新的创新将减少规划时间,提高灵活性和准确性,最终使规划过程效率提高30%。

黄延森:(37:53
米兰,我为我们的合作为未来的工厂带来的创新感到无比自豪。感谢您邀请我虚拟参观您的宝马生产的数字双胞胎。这是一件艺术品。

黄延森:(38:13
生态系统对全宇宙很感兴趣。这个开放平台使用USD Universal 3D Interchange,将他们连接到一个庞大的用户网络。我们已经有12个主要设计工具的连接器,另有40个正在飞行中。Omniverse连接器SDK现已提供下载。您可以看到,最重要的设计工具已经注册。我们的Lighthouse合作伙伴来自世界上一些最大的行业,包括媒体和娱乐、游戏、建筑、工程、建筑、制造、电信、基础设施和汽车。世界各地的电脑制造商都在为Omniverse优化nvidia认证的工作站、笔记本电脑和服务器,从今年夏天开始,Omniverse将提供企业许可证。Omniverse是NVIDIA用于创建和模拟共享虚拟世界的平台。

黄延森:(39:08
数据中心是新的计算单元。云计算和人工智能正在推动数据中心架构的根本变化。传统上,企业数据中心运行单一的软件包。虚拟化开始向软件定义的数据中心发展,允许应用程序移动,并让IT从单一的窗格中进行管理。通过虚拟化,计算、网络、存储和安全功能在软件中模拟,运行在CPU上。虽然易于管理,但增加的CPU负载降低了数据中心运行应用程序的能力,而这正是它的主要目的。

黄延森:(39:47
这张图在堆栈的金色部分显示了添加的CPU负载。云计算重新构建了数据中心,现在为数十亿消费者提供服务,整体应用程序被分解成更小的微服务,可以利用任何空闲资源。同样重要的是,多个工程团队可以同时使用CICD方法工作。数据中心网络被东西方分散的微服务产生的流量淹没。csp用Mellanox的高速、低延迟网络解决了这个问题。然后,深度学习出现了。神奇的互联网服务推出了,吸引了更多的客户,用户参与度也比以往任何时候都高。

黄延森:(40:32
深度学习是计算密集型的,这推动了gpu的采用。几乎在一夜之间,消费者AI服务成为GPU超级计算技术的最大用户。现在,添加零信任安全举措使软件处理基础设施成为数据中心中最大的工作负载之一。答案是一种新型芯片,用于数据中心和基础设施处理,如NVIDIA的BlueField DPU。让我以我们自己的云游戏服务GeForce Now为例。GeForce Now是NVIDA云服务中的GeForce。GeForce现在为70个国家的1000万会员提供服务,增长令人难以置信。GeForce Now是一个非常难交付的消费者服务,一切都很重要,光速、视觉质量、帧率、响应、流畅性、启动时间、服务器成本,以及最重要的安全。

黄延森:(41:33
我们正在将GeForce Now过渡到BlueField。使用BlueField,我们可以将基础设施与游戏实例隔离,并卸载和加速网络、存储和安全。GeForce Now基础设施是昂贵的,使用BlueField我们将同时提高我们的服务质量和并发用户。BlueField的投资回报率非常高。我很激动地宣布我们的第一个数据中心基础设施SDK。DOCA 1.0今天可用。DOCA是我们编程BlueField的STK。里面有各种很棒的技术,深层数据包检测、安全引导、TLS加密卸载、正则表达式加速,还有一个非常令人兴奋的功能,一个基于硬件的实时时钟,可用于同步数据中心、5G和视频广播。我们有很好的合作伙伴与我们一起优化BlueField的领先平台、基础设施、软件提供商、边缘和CDM提供商、网络安全解决方案和存储提供商。基本上是世界领先的数据中心基础设施公司。

黄延森:(42:37
尽管BlueField-2刚刚开始,今天我们宣布BlueField-3, 220亿个晶体管,第一个每秒400g,网络芯片,16臂cpu运行整个虚拟化软件堆栈,例如,运行VMware ESX。BlueField-3将安全性提升到一个全新的水平,完全卸载加速IPsec和TLS加密、密钥管理和正则表达式处理。我们每18个月就会推出新一代BlueField。BlueField-3的处理能力将达到每秒400千兆比特,是BlueField-2的10倍,BlueField-4的处理能力将达到每秒800千兆比特,并添加NVIDIA的人工智能计算技术,以获得10倍的提升,三年内达到100倍,所有这些都是需要的。

黄延森:(43:31
考虑这个问题的一个简单方法是,每年发货的大约3000万台数据中心服务器中,有三分之一用于运行软件定义的数据中心堆栈。工作量的增长速度比摩尔定律快得多。因此,除非我们减轻并加速这种工作负载,否则数据中心用于运行应用程序的cpu将越来越少。BlueField的时代已经到来。

黄延森:(43:55
在现代人工智能的大爆炸之初,我们认识到需要为开发软件的新方式创造一种新型计算机。软件将由软件编写,运行在人工智能计算机上。这种新型计算机将需要新的芯片、新的系统架构、新的网络方式、新的软件以及新的方法和工具。我们已经在这方面投入了数十亿美元,事实证明这对整个行业都很有帮助。这一切都被称为DGX,人工智能计算机。我们提供DGX作为一个完全集成的系统,并为行业提供组件,以创建差异化的选择。我很高兴看到如此多的人工智能研究得益于DGX、顶尖大学、研究医院、电信公司、银行、消费品公司、汽车制造商和航空航天公司。

黄延森:(44:49
DGX帮助他们的人工智能研究人员,他们的专业知识是罕见的,稀缺的,他们的工作是战略性的。必须确保他们拥有正确的工具。简单地说,如果软件是由计算机编写的,那么拥有最好软件工程师的公司也将需要最好的计算机。我们提供多种配置,所有软件兼容。DGX A100是一个包含5千万亿次浮点运算、超快速存储和网络的构件。DGX站是一个盒子里的AI数据中心,专为工作组设计,插入正常插座。DGX SuperPOD是一个完全集成、完全网络优化的人工智能数据中心产品。SuperPOD用于密集的人工智能研究和开发。

黄延森:(45:36
英伟达自己的新型超级计算机Selene由4个superpod组成。是世界500强中速度第五快的超级计算机和最快的工业超级计算机。我们有一个新的DGX站,320G。DGX工作站可以训练大型模型,320g超快HBM2e,连接4个A100 gpu,每秒超过8tb的内存带宽。一秒钟传输8tb。需要40个CPU服务器才能达到这个内存带宽。DGX站插在一个普通的壁式插座上,就像一个大型游戏机,消耗1500瓦,液体冷却到无声的37分贝。看看我们的工程师和创意团队制作的电影吧。今天,一个具有这种性能的CPU集群将花费大约100万美元。DGX Station售价14.9万美元,是每个AI研究人员的理想AI编程伴侣。 Today, we’re also announcing a new DGX SuperPOD, three major upgrades, the new 80GB A100, which brings the SuperPOD to 90 terabytes of HBM2 memory, with aggregate bandwidth of 2.2 exabytes per second. It would take 11,000 CPU servers to achieve this bandwidth. About a 250 rack data center, 15 times bigger than the SuperPOD. Second, SuperPOD has been upgraded with NVIDIA BlueField-2. SuperPOD is now the world’s first Cloud-native supercomputer, multi-tenant shareable, with full isolation and bare-metal performance. Third we’re offering Base Command, the DGX management and orchestration tool used within NVIDIA. We use Base Command to support 1,000s of engineers, over 200 teams, consuming a million plus GPU hours a week. DGX SuperPOD starts at $7 million and scales to $60 million for a full system.

黄延森:(48:49
让我强调一下DGX的三个重要用途。变形金刚在自然语言处理方面取得了重大突破,如RNN和LSTM,变形金刚被设计用于对顺序数据进行推理。然而,变压器,比看起来的更像,不是按顺序训练的,而是使用一种叫做注意力的机制,这样变压器就可以并行训练。这一突破减少了训练时间,更重要的是能够训练具有相应海量数据的庞大模型。无监督学习现在可以获得很好的结果,但模型是巨大的。谷歌的变压器是6500万个参数,OpenAI的GPT-3是1750亿个参数。在短短三年内,这个数字增长了3000倍。GPT-3的应用程序真的令人难以置信,生成文档摘要,电子邮件短语完成。GPT-3甚至可以从简单的英语中生成JavaScript和HTML,本质上是告诉AI根据你想做的事情来编写代码。

黄延森:(49:58
模特的尺寸正以每两个半月翻一番的速度呈指数级增长。我们预计到明年将会有数万亿个参数模型,到2023年将会有超过100万亿个参数模型。作为一个非常粗略的比较,人类大脑大约有125万亿个突触。这些变压器模型越来越大。训练如此大规模的模型是不可思议的计算机科学。今天,我们宣布NVIDIA威震天用于训练变压器。威震天火车,巨型变压器模型。它对模型进行了划分和分配,以实现最佳的多gpu和多节点并行。威震天可以快速数据加载,微标记,调度和同步,内核融合,并推动每一个NVIDIA发明的限制,NCCL, NVLink, InfiniBand, Tensor Cores。即使使用威震天,在Selene上训练一个万亿参数模型也需要三到四个月的时间,因此世界各地都需要大量的DGX superpod。

黄延森:(51:06
推断巨大的变压器模型也是一个巨大的计算机科学挑战。GPT-3是如此之大,具有如此多的浮点运算,以至于双CPU服务器需要一分钟以上才能响应一个128字的查询。GPT-3太大了,不适合GPU内存,所以它必须分布式。多gpu、多节点推理从未实现过。今天,我们宣布威震Triton推理服务器,一个带有威震Triton的DGX将在一秒钟内响应,而不是一分钟,一秒钟,同时对16个查询。DGX的速度快了1000倍,并开辟了许多新的用例,如呼叫中心支持,一分钟的响应实际上无法使用。Naver是韩国排名第一的搜索引擎。他们安装了DGX SuperPOD,正在运行人工智能平台CLOVA,训练韩国语的语言模型。我希望世界上许多领先的服务提供商也能这样做,使用DGX开发和运营针对特定地区、特定行业的语言服务。NVIDIA Clara Discovery是我们为计算药物发现而创建的加速库套件,从成像到量子化学,到基因变异调用,再到使用NLP了解遗传学,以及使用AI生成新的药物化合物。 Today, we’re announcing four new models available in Clara Discovery.

黄延森:(52:45
MegaMolBart是一个生成生物分子化合物的模型。这种方法最近在硅酮药物领域取得了成功,利用人工智能在不到两年的时间里找到了一种新药。NVIDIA ATAC-Seq,罕见和单细胞表观基因组的去噪算法,正在帮助了解单个细胞的基因表达。AlphaFold1是一个模型,可以从氨基酸序列预测蛋白质的3D结构。Gator Tron是世界上最大的临床语言模型,可以阅读和理解医生的笔记。Gator Tron是在佛罗里达大学(University of Florida)开发的,使用威震天(Megatron),并在Chris Malachowsky(他与Curtis和我一起创立了NVIDIA)赠送给他母校的DGX SuperPOD上进行训练。牛津纳米孔是第三代基因组测序技术,具有超高通量和数字化生物学的能力。全球数据库中五分之一的SARS COV-2病毒基因组是在牛津纳米孔上生成的。去年,牛津纳米孔公司开发了一种名为LamPORE的COVID-19诊断测试,由NHS使用。牛津纳米孔是gpu加速。 DNA samples pass through nanopores, and the current signal is fed into an AI model, like speech recognition, but trained to recognize genetic code. Another model called, Medaka, reads the code and detects genetic variance. Both models were trained on DGX SuperPOD. These new deep learning algorithms achieved 99.9% detection accuracy of single nucleotide variants, this is a gold standard of human sequencing.

黄延森:(54:24
制药业是一个价值1.3万亿美元的行业,在这个行业中,一种新药可能需要10年以上的时间,而且90%的时间都是失败的。薛定谔是药物发现和材料科学领域领先的基于物理和机器学习的计算平台。薛定谔已经是NVIDIA GPU的重度用户,最近签署了一项协议,将在谷歌云上使用上亿小时的NVIDIA GPU。

黄延森:(54:51
一些客户不能使用云。因此,今天我们宣布与NVIDIA Clare discovery Libraries和NVIDIA DGX合作,加速薛定谔的药物发现工作流程。世界上排名前20的制药公司今天都在使用薛定谔,他们的研究人员将会看到生产力的巨大提升。

黄延森:(55:11
递归是一家生物技术公司,利用尖端的计算机科学来解码生物,实现药物研发的工业化。递归操作系统构建在NVIDIA DGX SuperPOD上,用于生成、分析和获取大量生物和化学数据集。他们称他们的超级pod为BioHive-1。它是当今所有制药公司中功能最强大的计算机。利用DGX的深度学习,Recursion正在对暴露于小分子药物后的细胞反应进行分类。量子计算是物理学的一个领域,研究使用自然量子行为、叠加、纠缠和干涉来构建计算机。计算是通过量子电路来完成的,量子电路作用于被称为量子位的量子比特。量子位可以是0或1

黄延森:(56:03
量子竞标叫做腕尺。腕尺可以是0或1,就像经典的计算位一样,但也可以是叠加的,这意味着它们同时存在于两种状态中,腕尺可以纠缠在一个人的行为可以影响或控制其他人的行为的地方。增加和纠缠更多腕尺可以让量子计算机计算出指数级的更多信息。世界上有一个很大的社区在研究量子计算机和算法。工业界、学术界和国家实验室的50多个团队正在研究这一领域。我们正在与他们中的许多人合作。

黄延森:(56:35
量子计算咨询了指数级复杂度问题,比如为密码学分解大数,为药物研发模拟原子和分子,寻找最短路径优化,比如旅行推销员问题。量子计算中的限制因素是退相干(decoherence),即由最微小的背景噪声引起的脱离量子态。所以纠错是必不可少的。据估计,要解决有意义的问题,将需要几百万物理腕尺进行充分的空气校正。研究界正在快速进步,每年物理腕尺翻一番,所以很可能在2035年到2040年达到里程碑,这完全在我的职业生涯范围内。

黄延森:(57:20
与此同时,我们的使命是帮助社区用当今最快的计算机研究未来的计算机。今天我们宣布Cuquantum,一个模拟量子电路的加速库,用于张量网络求解器和状态向量求解器。它经过优化,可扩展到大GPU内存、多个GPU和多个DGX节点。Cuquantum在DGX上的速度非常快。运行Cuquantum基准测试,状态向量模拟在双CPU服务器上需要10天,而在DGX A100上只需2小时。DGX上的Cuquantum可以有效地模拟数十腕尺。在加州理工学院,使用[听不清00:58:08]在创纪录的时间内模拟了深度20的梧桐量子电路,在令人反感的盐水超级计算机上使用Cuquantum。

黄延森:(58:16
在cpu上需要数年才能完成的任务,现在在Cuquantum和DGX上只需几天就能完成。Cuquantum将加速量子电路模拟器,因此研究人员可以设计更好的量子计算机并验证结果,构建混合量子经典系统,并发现更多的量子最优算法,如Shores和Grover的算法。DGX上的Cuquantum将给量子界带来巨大的推动。我希望Cuquantum能像[听不清00:58:48]在深度学习领域所做的那样,为量子计算做出贡献。

黄延森:(58:50
现代数据中心承载不同的应用程序,这些应用程序需要不同的系统架构。企业服务器经过优化,以平衡强大的单线程性能和标称核数。针对微服务容器优化的超大规模服务器具有高内核数量、低成本和高能效。存储服务器针对大量内核和高IO吞吐量进行了优化。深度学习训练服务器就像超级计算机一样,拥有最多的快速CPU内核、最快的内存、最快的IO,以及连接gpu的高速链路。

黄延森:(59:27
深度学习推理服务器针对能源效率和并发处理大量模型的最佳能力进行了优化。x86服务器架构的天才之处在于能够很好地使用不同配置的CPU、内存、PCI Express和外围设备来服务于所有这些应用程序,但对当今的计算机系统来说,处理大量数据仍然是一个挑战。对于变形金刚和推荐系统等人工智能模型来说尤其如此。

黄延森:(59:59
让我用DGX的一半来说明瓶颈。每个GPU都连接到80g的超快内存,运行速度为每秒2tb。这四个[听不清01:00:14]以每秒8tb的速度处理320g字节。相比之下,CPU内存有1tb大,但每秒只有0.2 tb。CPU内存是GPU的3倍,但速度是GPU的40倍。

黄延森:(01:00:33
我们很想利用这个节点的全部1320 gb内存来训练AI模型。为什么不是这样呢?使CPU内存更快,连接四个通道到CPU,一个专用通道给这些每个GPU。即使可以制作一个包,PCI Express现在也是瓶颈。我们当然可以用它MV链接。MV链路足够快,但是没有x86 CPU有MV链路,更不用说四个MV链路了。

黄延森:(01:01:03
今天,我们宣布我们的第一个数据中心CPU, Project Grace。格蕾丝·霍珀是一位计算机科学家,也是美国海军少将,她在50年代开创了计算机编程的先驱者。Grace基于arm,专为大量数据的加速计算应用(如AI)而设计。Grace突出了ARM的美丽。他们的IP模型允许我们为这个应用程序创建最佳的CPU,这已经实现了x因素的速度。Grace中的ARM核心是下一代现成的服务器IP。每个CPU将提供300个规格int,总共超过2400个规格和率CPU性能为8 GPU DGX。相比之下,当今世界上性能最高的DGX计算机的规格和速率为450。Grace的2400规格和速率与现在的450规格和速率相比。再看一下这个。 Before, after, before, after. Amazing increase in system and memory bandwidth. Today, we’re introducing a new kind of computer, the basic building block of the modern data center. Here it is.

黄延森:(01:02:42
我将向您展示最新的GPU加速计算、Mellanox高性能网络和一些全新的东西。最后一块拼图。世界上第一个用于tb级加速计算的CPU。她的秘密代号,格蕾丝。这种强大的基于arm的CPU为我们提供了计算的第三种基础技术,并能够为人工智能重新构建数据中心的各个方面。

黄延森:(01:03:20
我们很激动地宣布瑞士国家超级计算中心。我们将建立一个由Grace和下一代GPU驱动的超级计算机。这台名为ALPS的新型超级计算机将为人工智能提供20 X Exaflops的运算速度,比当今世界上最快的超级计算机快10倍。ALPS将用于整个地球尺度的天气和气候模拟、量子化学和大型强子对撞机的量子物理。ALPS由惠普企业公司建造,将于2023年上线。

黄延森:(01:03:54
我们对超级计算社区的热情感到兴奋,欢迎我们使ARM成为一流的科学计算平台。我们的数据中心路线图现在是一个由三个芯片组成的节奏:CPU、GPU和DPU。每个芯片架构都有一个两年的节奏,中间可能有一个计时器。有一年将专注于x86平台。有一年将专注于ARM平台。每年,我们都会看到令人兴奋的新产品。

黄延森:(01:04:27
NVIDIA架构和平台将支持x86和ARM,无论客户和市场喜欢什么。三个芯片,一年一次的飞跃,一个架构。ARM是世界上最受欢迎的CPU是有原因的。它非常节能。它的开放授权模式激发了世界各地的创新者围绕它创造产品。ARM目前广泛应用于移动和嵌入式领域。对于云、企业和边缘数据中心、超级计算和个人电脑等其他市场,ARM才刚刚起步,有巨大的增长机会。每个市场都有不同的应用程序,有独特的系统、软件、外围设备和生态系统。

黄延森:(01:05:15
对于我们所服务的市场,我们可以加速ARM的采用。让我们从大的开始,云。AWS是最早为数据中心设计ARM cpu的公司之一。它的引力处理器非常令人印象深刻。今天,我们宣布NVIDIA和AWS合作,将Graviton II和NVIDIA gpu结合在一起。

黄延森:(01:05:38
这次合作将ARM带入最苛刻的云工作负载、人工智能和云游戏领域。手机游戏发展迅速,是某些市场的主要游戏形式。使用AWS设计的Graviton II,用户可以直接从AWS传输基于arm的应用程序和Android游戏。预计将于今年晚些时候发布。我们宣布与Ampere Computing建立合作伙伴关系,以创建科学和云计算SDK和参考系统。安培计算公司的超CPU非常出色。80核,17个285规格,与x86的最高性能不相上下。

黄延森:(01:06:20
我们看到世界各地的超级计算中心和Android云游戏服务都有很好的接收效果。我们还宣布与Marvell合作,创建边缘和企业计算SDK和参考系统。Marvell [Octian 01:06:36]在IO存储和5G处理方面表现出色。该系统是超融合边缘服务器的理想选择。我们宣布与Media Tech合作,为ChromoS和Lenox pc创建一个参考系统和SDK。Media Tech是全球最大的SOC制造商。将NVIDIA的gpu和媒体技术soc结合起来,将创造出优秀的个人电脑和笔记本电脑。

黄延森:(01:07:02
AI,计算机自动化智能是我们这个时代最强大的技术力量。我们看到人工智能分为四波。第一波浪潮是为这种新的软件开发方式重新发明计算。我们都参与其中,并且已经推动了近10年。最早采用人工智能技术的是互联网公司。他们拥有优秀的计算机科学家,大型计算基础设施,以及收集大量训练数据的能力。我们现在正处于下一波浪潮的开始。下一波浪潮是企业和工业优势,人工智能可以彻底改变世界上最大的行业,从制造业、物流、农业、医疗保健、金融服务到交通运输。有许多挑战需要克服。其中之一是连接,5G将解决这个问题。 And then, autonomous systems.

黄延森:(01:07:56
自动驾驶汽车就是一个很好的例子,但所有移动的东西最终都将是自动的。自主系统的工业优势是最具挑战性的,但也是人工智能产生影响的最大机会。万亿美元规模的产业很快就能应用人工智能来提高生产率,发明新产品、服务和商业模式。我们必须让人工智能更容易使用。将人工智能从计算机科学转变为计算机产品。我们正在为这种全新的软件方法构建新的计算平台。人工智能时代的计算机。

黄延森:(01:08:33
人工智能不仅仅是一个算法。构建可操作的人工智能是软件各个方面的根本性变化。Andre Carpathy正确地称之为软件2.0。最高层次的机器学习是一个持续学习系统,从数据科学家开发数据策略和工程预测特征开始。这些数据就是一个公司的数字化生活体验。培训包括发明或调整一个人工智能模型,学习做出预期的预测。模拟和验证测试AI应用程序的准确性、泛化性和潜在偏差。最后,组织一个计算机舰队。无论是在数据中心还是在仓库的边缘,arm都是无线基站。

黄延森:(01:09:22
NVIDIA创造了端到端机器学习所需的芯片、系统和库。例如,像张量核心GPU、NV link、DGX、[听不清01:09:33]Rapids、Nickel、GPU Direct、[Doka 01:09:36]等等技术。我们称这个平台为NVIDIA AI。NVIDIA AI库加速了从数据处理到车队编排的每一步。NVIDIA AI集成到所有业界流行的工具和工作流程中。NVIDIA AI出现在世界上最大的公司和全球超过7500家AI初创公司使用的每一个云中。NVIDIA AI可以在任何包含NVIDIA gpu的系统上运行。从个人电脑和笔记本电脑到工作站,再到任何云计算中的超级计算机,再到我们99美元的Jetson Robot电脑,我们还没有服务过的一个计算机领域是企业计算。全球70%的企业都在运行VMware,就像我们NVIDIA一样。

黄延森:(01:10:23
创建VMware是为了在一台虚拟机上运行许多应用程序。另一方面,人工智能在多个gpu和多个节点上运行单一作业,裸金属。所有NVIDIA针对计算和数据传输的优化现在都可以通过VMware堆栈进行探测。因此,AI工作负载可以分配到多个系统,并实现裸机性能。VMware堆栈也在NVIDIA Bluefield上卸载和加速。NVIDIA AI现在在VMware上运行,这意味着所有由NVIDIA AI加速的东西现在都在VMware上运行得很好。AI应用程序可以通过运行在VMware Tansu上的Kubernetes进行部署和编排。我们称之为NVIDIA EGX企业级平台。企业IT生态系统激动不已。最后,30万VMware企业客户可以轻松构建人工智能计算基础设施,无缝集成到现有环境中。

黄延森:(01:11:26
来自全球顶级服务器制造商的50多台服务器将获得NVIDIA EGX企业版认证。Bluefield可以卸载和加速VMware堆栈,并为分布式计算进行网络连接。企业可以选择大gpu或小gpu。对于繁重的计算或图形工作负载,如全能,或混合和匹配,所有NVIDIA AI。企业公司构成了世界上最大的行业,它们在边缘运营。

黄延森:(01:11:54
在远离数据中心的医院、工厂、工厂、仓库、商店、农场、城市和道路上,缺失的一环是5G。消费者5G很棒,但私人5G是革命性的。今天,我们宣布推出A100。将5G和人工智能结合在一起,形成一种为边缘设计的新型计算平台。Aerial A100将安培GPU和Bluefield DPU集成在一张卡上。这是迄今为止最先进的PCI Express卡。因此,Aerial A100和EGX系统将成为一个完整的5G基站并不奇怪。空中A100提供高达20千兆位每秒,并可以处理高达9个100兆赫,大规模MIMO, 64T-64R,或64发射和64接收和10个阵列。

黄延森:(01:12:52
最先进的功能。Aerial A100是软件定义的,具有加速功能,如fi、虚拟网络功能、网络加速、包起搏和线路速率加密。我们的合作伙伴爱立信(Ericsson)、富士通(Fujitsu)、Navenir([听不清01:13:11])和Radisys将在Aerial库的基础上构建他们的整个5G解决方案。

黄延森:(01:13:17
NVIDIA EGX服务器与Aerial A100是第一个5G基站,也是一个云原生、安全的AI边缘数据中心。我们已经将云的力量带到5G边缘。Aerial还将5G的功能扩展到云端。今天,我们激动地宣布谷歌将在GCP云中支持NVIDIA Aerial。我有一个重要的新平台要告诉你们。基于微服务的应用程序和混合云的兴起使数据中心中数十亿的连接暴露在潜在的攻击之下。

黄延森:(01:13:54
现代零信任安全模型假设入侵者已经在内部,并且即使在节点内,也应该检查所有容器到容器的通信。这在今天是不可能的。监控每条流量的CPU负载实在是太大了。今天,我们发布NVIDIA Morpheus,这是一款实时、全包检测的数据中心安全平台。Morpheus是基于NVIDIA AI、NVIDIA Bluefield、Net Q网络遥测软件和EGX构建的。我们正在努力与数据中心安全领域的行业领导者一起创建解决方案。[听不清01:14:33],Red Hat, Cloud Flair, Splunk, F5和Area Cybersecurity。早期客户,博思艾伦,百思买。当然,还有我们NVIDIA的团队。让我来展示一下NVIDIA是如何使用Morpheus的。

6号发言人:(01:14:52
这要从网络开始。在这里,我们看到一个网络的表示,其中点是服务器,线,边缘,是在这些服务器之间流动的数据包。除了在这个网络中,墨菲斯被部署。这使得AI可以在整个网络中推理,包括东西交通。这里使用的特定模型经过训练,可以识别敏感信息、AWS凭据、GitHub凭据、私钥和密码。如果在数据包中观察到,这些将显示为红线。但我们什么都没看到。

6号发言人:(01:15:22
哦,发生什么事了?已将更新的配置部署到此服务器上的关键业务应用程序。此更新不小心删除了加密。现在,所有与该应用程序通信的东西都清晰地发送和接收敏感凭证。这可能会迅速影响其他服务器。这意味着在网络上的持续曝光。《Morpheus》中的AI模型会在每个数据包中搜索这些凭据,并在遇到此类数据时不断进行标记。而不是使用模式匹配,这是通过一个深度神经网络来完成的,训练它来概括和识别静态规则集之外的模式。

6号发言人:(01:16:01
注意所有单独的线条。很容易看出,人类很快就会被涌入的大量数据所淹没。浏览原始数据,可以感受到其中涉及的庞大规模和复杂性。在《Morpheus》中,我们可以立即看到代表泄露的敏感信息的线条。通过将鼠标悬停在其中一条红线上,我们可以显示关于他们的证书的完整信息,使其易于分类和补救。但是当这种补救是必要的时会发生什么呢?Morpheus使网络应用程序能够集成和收集信息,用于自动化事件管理和行动优先级。原始服务器、目标服务器、实际公开的凭据,甚至原始数据都是可用的。这加快了恢复速度,并告知哪些密钥被破坏,需要旋转。有了墨菲斯,混乱变得可控了。

黄延森:(01:16:56
IT生态系统一直渴望一个为企业和边缘做好准备的AI计算平台。NVIDIA AI在EGX上与Aerial 5G是IT生态系统一直在等待的基础。我们得到了整个IT行业领导者的支持,从系统、基础设施软件、存储和安全、数据分析、工业边缘解决方案、制造、设计和自动化到5G基础设施。

黄延森:(01:17:27
为了完善我们的企业产品,我们现在有NVIDIA AI企业软件,因此企业可以从NVIDIA获得直接的在线支持。NVIDIA AI Enterprise针对VMware进行了优化和认证,可为关键任务企业提供所需的服务和支持。毫无疑问,深度学习已经彻底改变了计算。研究人员继续以光速创新新模型和新变种。我们正在创建新系统,将人工智能扩展到ARM、企业或5G边缘等新领域。我们还利用这些系统进行人工智能的基础研究,并构建新的人工智能产品和服务。

黄延森:(01:18:07
让我向你展示我们在人工智能、基础和应用研究方面的一些工作。DLSS,深度学习超级抽样。StyleGAN, AI高分辨率图像生成器。GaNcraft,一个神经渲染引擎,把Minecraft变成现实的3D。GaNverse3D将照片转换为可动画的3D模型。Face Vid2Vid,一款会说话的头部渲染引擎,可以在头部和眼睛休息的同时将流媒体带宽减少10倍。Sim2Real,全宇宙训练的四足动物。人工智能可以在真正的机器人上运行。数字双胞胎。

黄延森:(01:18:47
SimNet,一个物理神经网络求解器,可以模拟大规模的多物理。生物强子,有史以来最大的生物医学语言模型。3DGT,全宇宙,合成数据生成。还有OrbNet,一个量子化学的机器学习量子求解器。这只是我们在NVIDIA所做的人工智能工作的一小部分。我们正在开发用于我们产品和平台的人工智能。我们还将这些模型打包,以便轻松集成到应用程序中。

黄延森:(01:19:18
这些本质上是不需要编码的、可以修改的开源应用程序。现在,我们提供了NGC预训练模型,您可以将其插入这些应用程序或您开发的应用程序中。这些预训练的模型具有生产质量,由专家训练,并将继续受益于改进。有新的凭证可以告诉您关于模型开发、测试和使用的信息。每个都附带一个参考应用程序示例代码。NVIDIA预训练模型是最先进的,经过精心训练,但应用程序领域、环境和专业有无限的多样性。没有人拥有所有的数据。有时很罕见。有时会有商业秘密。

黄延森:(01:19:59
因此,我们为您创造了一种技术,可以针对您的应用程序微调和调整NVIDIA预训练模型。Tao在您的数据上应用迁移学习,用您的数据微调我们的模型。Tao拥有一个优秀的联邦学习系统,可以让多方共同训练一个共享模型,同时保护数据隐私。

黄延森:(01:20:19
NVIDIA联合学习是一件大事。不同医院的研究人员可以在一个人工智能模型上合作,同时保持他们的数据独立,以保护患者的隐私。Tao使用NVIDIA的大张量RT来优化目标gpu系统的模型。有了NVIDIA预训练模型和Tao,以前对许多人来说不可能的事情现在可以在几个小时内完成。

黄延森:(01:20:42
舰队指挥是一个云原生平台,用于在分布式计算机舰队上安全地操作和协调AI。它是专门为在边缘操作人工智能而设计的。在认证的EGX系统上运行的舰队司令部将具有安全引导,[听不清01:21:04],上行链路和到机密飞地的下行链路。从任何云或预置,您都可以监视您的舰队的运行状况。让我们来看看一个客户是如何使用NGC预训练模型和Tao来找到两个模型,并在我们的大都会智能城市应用程序中运行的,该应用程序由舰队司令部协调。

7号发言人:(01:21:25
没有两个工业环境是相同的,而且条件经常变化。在独特的特定站点的边缘适应、管理和操作支持AI的应用程序可能具有难以置信的挑战性,需要大量的数据和时间进行模型训练。在这里,我们正在为一个需要解决多个问题的工厂构建应用程序。了解工厂地板空间是如何随着时间的推移而被使用的。通过不断发展的机械和风险因素确保工人安全。检查生产线上的产品,因为生产线上的操作经常变化。我们从运行三个来自NGC的预训练模型的metropolis应用程序开始。

7号发言人:(01:21:59
几分钟后我们就可以开始工作了。但由于环境在视觉上与用于训练该模型的数据有很大不同,因此特定地点的视频分析精度并不高。人员没有被准确地识别和跟踪,缺陷被遗漏了。现在,让我们使用NVIDIA Tao来解决这个问题。通过这个简单的UI,我们可以使用来自我们部署的特定环境的标记数据重新训练和调整预训练的模型。

7号发言人:(01:22:22
我们选择数据集。每个都是几百张图像,而如果我们从头开始训练,则需要数百万张带标签的图像。使用NVIDIA Tao,我们的准确率从65%提高到90%以上。通过修剪和量化,计算复杂度降低了2倍,精度不降低,保持了实时性能。

7号发言人:(01:22:43
在这个例子中,结果是为我们的工厂专门训练的三个模型,所有这些都在几分钟内完成。只需点击一下,我们就可以将这些优化的模型从云端无缝安全地更新和部署到NVIDIA认证的服务器上。从安全启动到我们的机密AI飞地和gpu,应用程序数据和关键知识产权仍然安全。AI精度系统性能和健康状况可以远程监控。这为持续的应用程序增强建立了一个反馈循环。工厂现在有一个端到端的框架,可以经常轻松地适应不断变化的条件。使用NVIDIA Tao,我们可以轻松地调整和优化NGC预训练模型,并使用Fleet Command部署和编排应用程序。

黄延森:(01:23:30
我们有各种各样的计算机视觉、语音、语言和机器人模型,还有更多的模型一直在出现。有些是我们的遗传学和医学成像团队的作品。例如,这个模型可以从x光和电子健康记录中预测补充氧气的需求。这是由5大洲8个国家的20家医院为COVID-19开展的合作。联邦学习和NVIDIA Tao是实现这一目标的关键。世界需要最先进的对话AI,可以在任何地方定制和处理。

黄延森:(01:24:03
可以在任何地方定制和处理的对话式人工智能今天,我们宣布推出NVIDIA Jarvis,这是一款最先进的深度学习AI,可用于语音识别、语言理解、翻译和语音。端到端GPU加速,Jarvis在大约100毫秒内进行交互,倾听、理解和响应速度比人眼眨眼还快。我们训练Jarvis在超过十亿页的文本和6万小时的不同语言、口音、环境和语言的演讲上花费数百万个GPU小时。

黄延森:(01:24:41
开箱使用,Jarvis的识别准确率达到了世界级的90%。通过使用NVIDIA TAO对自己的数据进行优化,您可以为应用程序提供更好的服务。Jarvis目前支持五种语言。英语,日语,西班牙语,德语,法语和俄语。贾维斯翻译得很好。在双语评价替角基准中,Jarvis的英语转日语成绩为40分,英语转西班牙语成绩为50分,40分为高质量和最先进水平,50分为翻译流利。Jarvis可以针对领域术语进行定制。我们对贾维斯进行了技术和医疗场景培训。用TAO很简单。现在贾维斯说话的表情和情绪都是可以控制的,不再是机械的谈话。

黄延森:(01:25:33
最后,这是一个大问题。Jarvis可以部署在云端、EGX和您的数据中心,也可以部署在商店、仓库或工厂的Edge上,在EGX Aerial上运行,也可以部署在Jetson计算机上运行的送货机器人内部。贾维斯早期访问计划始于去年5月。我们的对话人工智能软件已经被下载了45000次。早期用户包括美国电信巨头T-Mobile。他们使用Jarvis提供卓越的客户服务,满足实时语音识别所需的高质量和低延迟的需求。

黄延森:(01:26:12
我们宣布与Mozilla Common Voice(世界上最大的多语言语音数据集之一)合作。而且它对所有人都是开放的。NVIDIA使用我们的DGS处理和训练Jarvis。拥有15万名使用者和65种语言的数据集,并将Jarvis免费提供给社区。所以,去Mozilla Common Voice做一些录音。让我们让通用翻译成为可能,帮助世界各地的人们相互理解。

黄延森:(01:26:43
现在,让我给你看贾维斯。贾维斯的第一部分是语音识别。贾维斯的准确率超过90%这是世界级的。您仍然可以使用TAO使其更适合您的应用程序,例如针对医疗保健术语进行定制。胸片显示左心后不透明。这可能是由于肺不张,误吸或早期肺炎。我不知道我说了什么,但贾维斯完全认出来了。

黄延森:(01:27:11
Jarvis翻译现在支持五种语言。我们学日语吧。打扰一下,我在找著名的正格拉拉面店。应该就在附近,但我在地图上没看到。你能告诉我怎么走吗?我很饿。太好了。我认为非常准确。瞬时响应。你可以学习德语、法语和俄语,还会学习更多的语言。 Jarvis also speaks with feelings. Let’s try this. The more you buy, the more you save.

贾维斯:(01:27:48
买的越多,省的就越多。

黄延森:(01:27:52
我认为我们需要更多的热情。

贾维斯:(01:27:59
买的越多,省的就越多。

黄延森:(01:28:03
NVIDA Jarvis,最先进的,深度学习,对话式AI。交互反应。五种语言。TAO定制。从云端部署到边缘,部署到自主系统。推荐系统是当今世界上最重要的机器学习管道。它是搜索引擎,广告,网上购物,音乐,书籍,电影,用户生成的内容,新闻。推荐系统可以从你过去的互动中预测你的需求和偏好。您的明确偏好和学习偏好,使用称为协作和内容过滤的方法。

黄延森:(01:28:42
数以万亿计的商品将被推荐给数十亿人。问题空间相当大。我们希望将最先进的推荐系统产品化,以便所有公司都能从这一人工智能的变革能力中受益。我们构建了一个名为Merlin的开源推荐系统框架,它简化了从ETL到训练,到验证,到推断的端到端工作流程。它的架构可以随着数据集的增长而扩展。如果你已经有了大量的数据,它是有史以来最快的推荐系统。

黄延森:(01:29:16
在我们的基准测试中,我们为ETL实现了10到50倍的加速。2到10倍的训练。推理需要3到100次,取决于具体的设置。《梅林》现已在国家地理频道播出。我们对玛克辛的愿景是最终成为你在全宇宙创建的虚拟世界中的化身,以实现虚拟存在。虚拟在场技术可以使今天的视频会议受益。亚历克斯会告诉你一切。

亚历克斯:01:29:47
你好,每个人。我是Alex,是NVIDIA的产品经理Maxine。现在我们花了很多时间在视频会议上,难道你不想要更好的视频交流体验吗?今天,我非常激动地与你们分享NVIDIA Maxine。人工智能技术的转换,可以改善每个人的视频会议体验。当与NVIDIA Jarvis相结合时,Maxine提供了最准确的语音到文本。看,它现在正在转录我说的每句话,都是实时的。此外,在贾维斯的帮助下,玛克辛还可以把我说的话翻译成多种语言,使国际会议变得更加容易。我想和你们分享的另一个很棒的功能是玛克辛的眼神交流功能。通常情况下,当我做演讲的时候,我不看镜头。 When I turn on Maxine’s eye contact feature, it corrects the position of my eyes so that I’m looking back into the camera again. Now, I can make eye contact with everyone else. The meeting experience just gets so much more engaging.

亚历克斯:01:30:53
最后,但绝对不是最不重要的,当带宽不够时,Maxine甚至可以提高视频质量。现在,让我们来看看当带宽下降到50 kbps时我的视频质量。绝对不太好。Maxine的AI人脸编解码器可以提高我的视频质量,即使带宽低至50 kbps。Maxine最强大的部分是,所有这些惊人的AI功能都可以同时运行,并且都是实时的。或者你可以随便选一个领域,这很灵活。在我走之前,让我关掉玛克辛的所有特征,这样你就能看到没有玛克辛的帮助我是什么样子了。不是最理想的。现在,让我们回过头来看看Maxine的所有特性。看,这样好多了。 Thanks to NVIDIA Maxine.

黄延森:(01:31:50
国家地理中心有预先训练好的模型。TAO允许您根据应用程序调整模型。舰队司令部部署和编排您的模型。最后一部分是推理服务器。从进入EGX服务器或云实例的连续数据流中推断洞察。Triton是我们的推理服务器。Triton是一个模型调度和调度引擎,可以处理几乎任何你扔给它的东西。任何运行在QDNN上的AI模型,基本上是每个AI模型。从任何框架,TensorFlow, PyTorch, ONNX, OpenVINO, TensorRT或自定义c++ Python后端。Triton调度在多代NVIDIA gpu和x86 cpu上。 Triton maximizes the CPU and GPU utilization. Triton scales with Kubernetes and handles live updates.

黄延森:(01:32:45
从图像识别到语音识别,Triton在所有方面都很出色。从推荐人到语言理解。但让我给你们看一些非常困难的东西,为药物研发生成生物分子。在药物研发中,一切都归结于找到正确的分子,正确的形状,与蛋白质的正确相互作用,正确的药代动力学特性。NVIDIA的研究人员与阿斯利康的科学家合作,训练了一个语言模型来理解微笑,这是化学结构的语言。我们用MEGATRON开发了一个模型,并在SuperPOD上训练它,然后创建了一个生成模型,读取成功的化学药物化合物的结构,然后生成潜在有效的新化合物。

黄延森:(01:33:34
现在我们可以使用人工智能来生成坦率的化合物,然后通过基于物理的模拟进一步完善,比如对接或薛定谔的FEP+。用CPU生成很慢,生成一个分子几乎需要8秒。在一架搭载Triton的A100飞机上,只需0.3秒,速度快了32倍。使用Triton推理服务器,我们可以将其扩展到超级pod,每秒生成数千个分子。人工智能和模拟技术将彻底改变药物研发。

黄延森:(01:34:14
我们为全球数百万开发人员的生态系统提供这些人工智能功能。成千上万的公司正在NVIDIA AI上构建他们最重要的服务。百思买正在使用Morpheus作为其网络中基于AI的异常检测的基础。GE医疗建立了一个超声心动图,使用TensorRT快速识别心脏壁运动的不同视图,并选择最佳视图进行分析。Spotify拥有超过40亿个播放列表。他们正在使用RAPIDS来更有效地分析模型,这可以让他们更频繁地刷新个性化播放列表。这使他们的内容与最新的趋势保持新鲜。微信正在使用TensorRT来实现8毫秒的延迟,即使在使用最先进的自然语言理解模型(如BERT)时也是如此。这使他们在保持实时响应时获得了更高的准确性和相关结果。很高兴看到NVIDIA AI被用于构建这些令人惊叹的AI服务。

黄延森:(01:35:10
NVIDIA AI在EGX上与Aerial 5G。面向企业和边缘的AI计算平台,AI的下一波浪潮。DRIVE AV是我们的AV平台和服务,AV是最激烈的机器学习和机器人挑战。这是最艰难但也是最大的影响之一。我们正在构建一个端到端的自动驾驶平台,从自动驾驶芯片和计算机、传感器架构、数据处理、测绘、开发驾驶软件、创建模拟器和数字双胞胎、舰队指挥操作,到道路测试。所有这些都符合最高的功能安全和网络安全标准。这些东西都不是公开可用的,所以我们构建它们。

黄延森:(01:35:55
我们构建模块,因此我们的客户和合作伙伴在价值10万亿美元的运输行业中可以利用他们所需的部件。与此同时,我们与梅赛德斯合作建立端到端AV服务。AV计算需求正在暴涨。欧林可比泽维尔强多了。开发人员对AV了解得越多,算法就越先进,计算需求也就越大。更大的计算能力可以让团队更快地迭代和推向市场。因此有人将TOPS称为新马力。许多人意识到,今天的储备计算能力是明天提供新服务的机会。

黄延森:(01:36:36
NVIDIA DRIVE是全球AI工程师都很熟悉的开放可编程平台。新的AI技术在NVIDIA AI上不断被发明出来。这些发明将成为未来的新服务。Orin是一个惊人的AV计算机。今天,我们宣布奥林也被设计成汽车的中央计算机。Orin将在一台中央计算机中处理集群、信息娱乐、乘客交互人工智能,以及非常重要的信心视图或感知世界模型。信心视图是汽车实际感知到的周围环境,并将其构建成一个3D环绕模型。这就是自动驾驶AI的想法。重要的是,汽车向我们展示了它的周围感知是准确的,这样我们就对它的驾驶有信心。

黄延森:(01:37:27
随着时间的推移,后视镜将被环绕3D感知所取代。未来是一台中央计算机,四个领域,虚拟化和隔离,架构功能安全和保障,软件定义和升级的汽车寿命。还有超级智能的AI和漂亮的图像。许多汽车公司已经采用了Orin。这将极大地帮助他们利用我们完整的AV开发平台。今天,我们宣布NVIDIA的第八代Hyperion汽车平台,包括参考传感器、AV和中央计算机、3D地面实况数据记录仪、网络和所有必要的软件。Hyperion 8兼容NVIDIA DRIVE AV堆栈。因此,很容易采用和集成我们的堆栈的元素。

黄延森:(01:38:19
Hyperion 8是一个功能齐全、即将投入生产的开放式AV平台,适用于价值数万亿美元的交通生态系统。Orin将于2022年投产。与此同时,我们的下一代已经全速前进,将是又一个巨大的飞跃。今天,我们宣布NVIDIA DRIVE Atlan。DRIVE Atlan将在一艘船上安装1000个TOPS。比现在大多数五级机器人出租车的总计算量还要多。为了在更多条件下实现更高的自主性,传感器分辨率将继续提高。他们还会更多。人工智能模型将变得更加复杂。将会有更多的冗余和安全功能。 We’re going to need all of the computing we can get.

黄延森:(01:39:09
亚特兰蒂斯是一个技术奇迹。融合NVIDIA在人工智能、汽车、机器人、安全和BlueField安全数据中心技术方面的所有技术。AV和软件必须作为几代人的投资来规划。你今天投资了数十亿美元的软件,必须延续到整个舰队和后代。DRIVE Atlan,下一个级别。一个架构。

黄延森:(01:39:40
汽车工业已经成为一个技术产业。未来的汽车将是完全可编程的计算机,商业模式将是软件驱动的。汽车公司将为汽车的生命周期提供软件服务。在新的科技思维模式下,汽车不仅仅是一种可供观赏的产品,而是一个数千万或数亿人的安装基础,可以创造数十亿美元的服务机会。世界大品牌面临着巨大的机遇。第一步是使用电动汽车。现在,大品牌正在使他们的新车队自动化和可编程。Orin将为许多下一代电动汽车提供动力。与梅赛德斯合作,我们正在构建端到端系统。世界每年移动10万亿英里。 If only a fraction of these miles were served by robo-taxis, the opportunity is giant.

黄延森:(01:40:33
我们预计机器人出租车将在未来几年开始蓬勃发展。这些服务也将成为各种新服务的平台。就像最后一英里的递送。互联网移动电子。卡车运送原子。电子商务的兴起给这个系统带来了巨大的压力。只需点击一下鼠标,一台新电视就会出现在你的家里。再点一下,一个芝士汉堡就出现了。这种趋势只会继续上升。到2023年,美国将缺少10万名卡车司机。 The E.U. is short 150,000 truckers already. China is short four million drivers. Do, ideas like driverless trucks from hub to hub, or driverless trucks inside a port or warehouse campus, are excellent near term ways to augment with automation.

黄延森:(01:41:25
我们一开始讲的是《全宇宙》,最后也讲《全宇宙》。你可以看到这对我们的工作,对机器人技术,对任何构建人工智能的人来说,有一个基于物理的模拟器或数字双胞胎是多么重要。在以撒的例子中,数字双胞胎是全宇宙的工厂。在DRIVE的例子中,数字双胞胎是在全宇宙捕获的舰队的集体记忆。DRIVE数字双胞胎在整个开发过程中都被使用,它被用于高清地图重建,合成数据生成,因此我们可以引导训练新模型,新场景模拟,[听不清01:42:02]模拟,发布验证。用于回放汽车所经历的陌生场景,或远程操作员连接到汽车进行远程驾驶。

黄延森:(01:42:13
Omniverse中的DRIVE数字双胞胎是一个虚拟世界,车队中的每辆车都与之相连。今天,我们宣布DRIVE数字孪生引擎DriveSim将于今年夏天面向社区。让我向你展示一下DRIVE AV和DriveSim可以做什么。这是一座技术的大山。享受。(沉默)真是个GTC。很难想象在过去的一年里我们做了多少事情。我讲了几件事。NVIDIA是一个全栈计算平台。我们正在与NVIDIA Omniverse一起构建虚拟世界,这是一个神奇的平台,将有助于为机器人和自动驾驶汽车构建下一波人工智能。 We announce new DGX systems and new software, MEGATRON for giant transformers, Clara for drug discovery and Quantum for quantum computing. NVIDA is now a three chip company. With the addition of gray CPU, designed for a specialized segment of computing focused on giant scale AI and HPC. And for data center infrastructure processing, we announced BlueField 3 and Doka 1.

黄延森:(01:45:59
英伟达正在扩大人工智能的影响力。我们宣布了一个重要的新平台。NVIDIA EGX与Aerial 5G,让所有公司和行业都能使用人工智能。IT、VMware、计算机制造商、基础设施软件、存储和安全提供商的领导者也加入了我们的行列。为了降低人工智能的最高水平,我们提供了预先训练过的模型,如Jarvis对话式人工智能、Merlin推荐系统、Maxine虚拟会议和Morpheus人工智能安全。所有这些都是在NVIDIA AI Enterprise上优化的。借助NVIDIA TAO、Fleet Command和Triton等新工具,您可以轻松地在EGX上进行自定义和部署。

黄延森:(01:46:49
还有DRIVE,我们为价值10万亿美元的交通运输业提供的端到端平台,这个行业正在成为世界上最大的科技产业之一。从首批1,000 TOPS SoC Orin和Atlan,到全面运营的参考自动驾驶汽车平台Hyperion 8,再到DriveSim,再到DRIVE AV。我们正在与业界的各个层面展开合作。20年前,这一切都是科幻小说。十年前,这是一个梦想。今天,我们生活在其中。我要感谢你们所有人,开发者和合作伙伴,尤其要感谢NVIDIA的所有员工。我们的目的是提高我们的技艺,这样你们,这个时代的达芬奇,也能提高你们的技艺。归根结底,NVIDIA是一种仪器,一种让您完成毕生工作的仪器。祝你有一个伟大的GTC。

抄写你自己的内容

试着牧师并且节省了抄录、配字幕和字幕的时间。