服务于全球各领域电子制造客户
公司新闻 行业动态 产品知识
一款名叫Gaudi2的AI芯片，2022年及2023年英特尔都为其开了一场发布会，为何？
有两个方面的缘故原由，一个于当前国际形势下的合规之举，另外一个于天生式AI热潮下亮出的入场券。
这里的入场券有两层寄义，一层寄义是对于正于四处寻觅适合芯片的AI年夜模子算法公司来讲，英特尔的Gaudi2可以或许成为这些公司成长营业的算力基石，充足的算力年夜模子竞赛的入场券。
另外一层寄义是对于在英特尔来讲，拿出的能及英伟达开始进的H100 GPU比拼的产物，是其于AI年夜市场里披荆棘的入场券，也是一个“年夜杀器”。
站于AI的厘革时刻，手握AI时代入场券的公司，怎样才能成为AI时代的带领者？
英特尔有一个十分清楚的线路图，2025年将会推出更合适AI需求的芯片，新的产物将交融Gaudi及GPU。
Gaudi2再次发布的2个缘故原由
2022年的英特尔On财产峰会上，英特尔发布了新一代高机能深度进修AI练习处置惩罚器Habana Gaudi2，那时的Gaudi2练习BERT模子的机能比拟英伟达A100就有2倍的机能上风，广受存眷。
2023年7月，英特尔于北京又进行了一次Gaudi2的发布会，缘故原由有两个。
“已往5个月年夜模子的演进很是快，去年发布audi2以后，咱们做了年夜量软件模子的优化事情，可为年夜范围的多模态及语言模子提供精彩的推理机能。”英特尔公司履行副总裁，数据中央与人工智能事业部总司理Sandra Rivera说，“此次咱们不只是带来了一颗芯片，还有带来了基在Gaudi2可以年夜范围部署练习以和推理年夜模子的总体解决方案。”
为了市场需求再次发布是一个缘故原由，另外一个缘故原由是由于政策。
“此次于中国发布的Gaudi2，是中国定制版产物，对于在出口或者撑持中国的客户没有任何问题。”Sandra分享。
中国版Gaudi2及国际版最年夜的区分是网口的数目，国际版集成以太网端口数目是24个，中国版削减到了21个，这一变化会降低中国版Gadudi2收集速率，对于总体的机能影响不年夜。
这实在是于满意互联总线带宽不克不及跨越400GB/s的美国出口法例限定。雷峰网相识到，于法例的限定下，下一代Gaudi3于中国市场发卖的版本也会及国际版有所差别。
用性价比及英伟达掰手段
英特尔发布中国版Gaudi2并踊跃宣传的目的很是明确——从英伟达手上分一杯羹。
天生式AI火热以后，英伟达次新的A100及最新及H100 GPU于全世界都成了紧俏商品。于中国这类环境越发严峻，而且由于有美法律王法公法规的限定，A100及H100其实不能直接向中国市场出售，只能发卖互联带宽更低的A800及H800。
这给包括英特尔于内的所有高机能AI加快芯片的提供者一个绝佳的时机，能从英伟达手里分一杯羹，就象征着捉住了AI这个将来十年甚至更永劫间的年夜市场。
Gaudi2很是智慧地从性价比的角度与当下最强盛的H100及A100竞争，这类智慧更直白的说就是捉住了用户最孔殷的需求。
“A100的订价比拟此前的产物已经经偏贵，到H100时订价已经经贵的有些夸张，加之供货紧缺带来的价格上涨，H100让年夜量公司都对于替换产物更有兴致。”多位AI行业从业者都对于雷峰网暗示，“只要其它AI芯片的机能及体验到达英伟达的80%，价格是英伟达的一半，就必然有客户愿意买单。”
性价比可以借用数据直不雅表现。最受接待的AI开源模子提供商Hugging Face分享机能成果显示，Gaudi2于多种练习及推理基准测试中体现出的跨越英伟达 A100 GPU的机能。于练习计较机视觉模子时，Gaudi2的每一瓦机能是A100的2倍，对于在1760亿参数的BLOOMZ推理，Gaudi2的每一瓦机能是A100的60%，有全方位的能效比上风。
再看AI范畴权势巨子的基准测试MLPerf于六月发布的最新成果。
Gaudi2及英伟达H100是唯二提交GPT-3模子练习成果的半导体解决方案。成果显示，Gaudi2于384个加快器上练习GPT-3的时间为311分钟，英伟达于512个H100 GPU上的练习时间则为64分钟。
“这象征着，基在GPT-3模子，每一个H100的机能领先在Gaudi2 3.6倍。”Habana Labs首席运营官Eitan Medina直言，“性价比是影响H100及Gaudi2相对于价值的一个主要考量因素。Gaudi2办事器的成本要比H100低患上多，以是Gaudi2的价格上风可以或许年夜年夜缩小了与H100的性价比差距。”
谈性价比，不克不及绕开软件，也就是利用体验。
几分钟就能迁徙代码，Gaudi2高度适配年夜模子
芯片的利用体验，对于在有开发经验的工程师来讲是迁徙的，对于在没有代码的工程师来讲是上手的难度。
Hugging Face 的首席传教者Julien Simon分享他利用Gaudi的履历，“于我第一次利用时，只花了10分钟，此中还有包括浏览文档。于运行了我的加快剧本后，它当即就能够事情。我必需说这是我见过的最简朴的开发体验之一，假如你有现成的代码，可以于几分钟内举行迁徙。”
几分钟就能迁徙原有模子的开发体验来历在英特尔针对于Gaudi平台深度进修练习及推理优化的SynapseAI软件套件。这一软件套件集成PyTorch、TensorFlow、DeepSpeed框架，也撑持Kubernetes编排，定制编译器。
同时，SynapseAI软件套件也有强盛的互助伙伴生态体系，包括Hugging Face、PyTorch Lightning、RedHat。此中，跨越5万个模子于Hugging Face平台上利用Optimum Habana软件库举行了优化。
这让Gaudi2对于年夜模子开发者很是友爱，从github上也能看到Optimum Habana对于年夜量年夜模子撑持的环境。像是对于Stable Diffusion（一个用在从文本天生图象的开始进天生式AI模子之一）练习，Gaudi2可以或许实现从1张卡至64张卡近线性99%的扩大性。
跟着软件优化的连续深切，开发者可以或许拥有更好的开发体验。而与Hugging Face的互助，也闪开发者不消思量英伟达的CUDA软件生态。
“确凿许多人于用CUDA举行人工智能运算，可是年夜模子的开发者，年夜部门不会做那末底层的开发的，他们是于一个比力高的框架，好比PyTorch、TensorFlow上面做立异。”Sandra十分有决定信念，“咱们及Hugging Face做了一些对于策及互助，一些现有模子只花几十秒的时间就能够调通，可以或许运行于Gaudi上。”
“Gaudi2以前已经经有一代产物，咱们做了好几年堆集，底层软件库都已经经开发好。”Eitan增补，“咱们但愿闪开发者可以或许于最上层的20%做他的开发，这里的开发及CUDA没有那末直接的联系关系。”
今朝，海潮信息已经经发售基在Gaudi2深度进修加快器的海潮信息AI办事器NF5698G7，这款办事器集成为了8颗Gaudi2加快卡HL-225B，还有包罗双路第四代英特尔至强可扩大处置惩罚器。
英特尔也会打造基在Gaudi2的年夜范围集群，作为英特尔开发者云的一部门向中国客户提供。
2025年有更整合的GPU
Gaudi2是英特尔于年夜模子热潮里拿出的算力兵器，但对于在天生式AI的需求显然还有不充足。
“来岁咱们会发布下一代产物Gaudi 3。”Sandra还有吐露，“2025年时，咱们会把Gaudi的AI芯片与GPU线路图合二为一，推出一个更整合的GPU的产物。”
混淆DSA（范畴专用架构）是AI芯片范畴明确的趋向，将Gaudi及GPU整合，既能阐扬DSA的机能及能效上风，又能拥有GPU的通用性，这是高机能AI芯片公司都于努力的标的目的，但软件是一个挑战。
“从开发者的角度，他们更注重的是可连续的软件生态。”Sandra很是清晰，“于迭代产物的同时，咱们要对于开发者做最佳的软件撑持，让他们投入软件的一些代码可以或许于迭代的时辰可以更好复用。”
固然，除了了朝混淆DSA的标的目的努力，英特尔还有有富厚的AI产物组合的上风，包括CPU、GPU、FPGA及DSA。
Sandra对于雷峰网(公家号：雷峰网)暗示，“许多数据中央的客户有成百上千个至强，他们可以很利便的于现有的数据中央上用至强做一些简朴的推理事情。对于在千亿级参数的模子练习，需要像Gaudi如许于机能、性价比或者者是于供电上都是有均衡考量的产物。GPU Max于科学计较范畴可以提供更高的机能及性价比。”
baidu智能云办事器高级司理何永占就分享了其利用至强的经验，集成英特尔AMX加快引擎的第四代英特尔至强可扩大处置惩罚器为ERNIE-Tiny模子带来了多倍的机能优化。
显然，英特尔于天生式AI热潮里已经经交出了不错的答卷，接下来就要看其能于AI年夜市场里俘获几多客户的心。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
下一篇【产品推荐】超小型高频同轴连接器u.fl系列
www@
Maggie
微信咨询
黎小姐