网站首页

半岛彩票产品中心

半岛智能终端处理器 半岛智能云服务器 半岛软件开发环境

半岛彩票新闻中心

关于我们半岛彩票

公司概况 核心优势 核心团队 发展历程

联系我们半岛彩票·(中国)官方网站

官方微信 官方微博
半岛彩票·(中国)官方网站 > 半岛彩票新闻中心

头部芯片公司大模型竞争“全栈化”拼完算力拼网络 百模大战半岛彩票

发布时间:2023-08-07 17:32浏览次数: 来源于:网络

  半岛彩票头部芯片厂商在大模型领域竞争正进入软硬件、算力、网络的“全栈式”比拼态势——英伟达拔得AI生态头筹之下,英特尔、AMD等厂商不愿落于人后,在应用场景中除了数据中心也瞄准边缘用途,芯片算力之外还看重网络能力。

  参数是通用AI大模型最重要的指标之一。2022年4月公布的PaLM大模型训练参数高达5400亿,而2021年发布的LaMDA参数为1370亿,ChatGPT背后的GPT-3.5模型参数为1750亿。

  近日,英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti对界面新闻表示,在云端训练大模型,单个服务器已无法承载,对网络需求的高要求前所未有,“我们训练一个大模型就需要5-20万台服务器,需要通过网络来把这些服务器连接起来然后进行训练,这个量是非常大的。”

  AI计算大致分为两个层面,首先是对模型进行训练(training),整个过程可能耗时数天或数周;之后是训练出的模型做出推理(inference)。

  在训练大模型的过程中,网络的重要性已成业界共识。根据中国移动通信研究院发布的《面向AI大模型的智算中心网络演进白皮书》测算,以1750亿参数规模的GPT-3模型训练为例,从理论估算模型分析,当动态时延从10us提升至1000us时,GPU有效计算时间占比将降低接近10%;当网络丢包率为千分之一时,GPU有效计算时间占比将下降13%;当网络丢包率达到1%时,GPU有效计算时间占比将低于5%。“如何降低计算通信时延、提升网络吞吐是AI大模型智算中心能够充分释放算力的核心问题。”白皮书指出。

  对此,英特尔中国区网络与边缘事业部首席技术官张宇解释称,在训练大模型时,模型参数存储于加速器(如GPU显卡)的片外缓存中,随着训练进程对模型参数进行不断更新迭代。同时,不同加速器之间需要进行频繁且大量的数据交换,且只有在数据交换完成之后,才能够去算下一步的训练结果。

  “但如果数据交换更新没有结束,训练也不会计算。”张宇说,“所以从中我们可以看到算力和网络能力,对大模型整体性能是两个关键要素。”

  从推理端来看,张宇提及,AI模型的部署大部分在边缘场景,算力、功耗、成本往往都有限,不像数据中心可以无限增加设备。因此,如何在一个资源受限的情况下去部署大模型,是基础设施厂商需要考虑的重要问题,网络端的考虑点同样不少。

  “如网络模型压缩问题,如果你把大模型原封不动的放在边缘的话对算力要求太高,很多设备是无法承受的。”张宇表示,对于大模型在推理端的应用,需要根据行业特定要求进行优化,使得简化后的模型既满足特定行业对准确度、功能的要求,所需的算力又能够被边缘设备所承载。

  对于大模型在边缘的应用上,英特尔除了提供CPU、独立显卡等芯片,满足人工智能模型训练、推理对算力的要求外,还有针对网络的IPU(Infrastructure Processing Unit)产品。张宇称,IPU给用户提供一个可靠的数据传输环境,可满足大模型训练对网络可靠性、丢包率的严格要求,以及对网络速度的要求。

  “在大模型这一块,和一些友商相比,英特尔的产品实际上涵盖了计算、通讯等各个领域,给用户提供了一个相对来说比较全面的方案。”张宇称。

  在更考验计算力的AI训练领域,英伟达的优势在于牢牢占据大模型训练的主流市场。此外,英伟达持续推进GPU(图形处理器)、CPU和DPU(数据处理器)的“三芯”策略。其中DPU用于处理海量数据,可以做一些数据的处理和预处理,由DPU将任务分发给CPU、GPU和FPGA等进行计算,定位与英特尔的IPU一致。

  伴随AI市场的驱动,英特尔的大客户也在加入竞争。2016年,谷歌专门为深度学习打造了TPU(张量处理器),部署在谷歌云平台中,以服务的形式售卖。亚马逊云计算部门也有自研Arm芯片架构服务器CPU,结合用于训练和推理的AI芯片、自研网络芯片等,构成了云计算环境下的芯片布局,可用于大模型计算。

  张宇强调,除了硬件端,软件也很重要,如英特尔的OpenVINO、OneAPI等软件和组件,可以供开发者方便使用,“用户使用CPU,是因为现有软件能够充分支持,即便这达不到最佳性能。”他称在大模型领域,凭借前期投资和生态搭建,英伟达基于GPU的CUDA软件生态,已经成为开发者用于大模型乃至AI开发的首要选择。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  日本曝光中国军力详细数据:6050辆坦克720艘舰艇,歼20新增90架

  反腐风暴来袭,医药代表“人心惶惶”!有业内人士:一上午所有相关微信群全被解散!2500亿药企再回应:没有网传情形,经营管理正常

  瑞典女足戏剧性晋级!制胜点球过线!荷兰女足晋级八强,南非门将低级失误,悍将重伤后拄拐

  苹果新科技:Siri借AirPods运动传感器,“读取”唇语,提升体验

  AMD Radeon RX 7900 GRE在德国上架,但只能买整机或者套装

下一篇:揭秘:美国芯片在加强俄罗斯武器库半岛彩票
上一篇:半岛彩票芯片是什么东西?

咨询我们

输入您的疑问及需求发送邮箱给我们