星空体育官网平台7月30日,英伟达股价下跌7%,这是该公司3个月来*跌幅,市值一夜蒸发1934亿美元,下滑至2.55万亿美元。
7月10日~30日,英伟达股价崩跌23%,从每股134.91美元跌至103.73美元。此前,该公司不停歇的上涨势头,似乎让投资人忽视了风险。
在过去两周,投资人从英伟达这类大型科技股撤出资金,因为他们越来越担心大企业的AI支出难以获得回报。
7月29日,苹果在一份技术论文中表示,其人工智能(AI)系统Apple Intelligence的两个模型是在谷歌设计的云端芯片上进行训练的,苹果详细介绍了用于训练的张量处理器(TPU)。另外,苹果还发布了适用于部分设备的Apple Intelligence预览版。
苹果在其47页的论文中没有提到谷歌或英伟达,但指出其苹果基金会模型 (AFM) 和 AFM 服务器是在云端TPU群集上训练的。该论文表示,该系统使苹果能够有效地、可扩展地训练AFM模型,包括AFM-on-device、AFM-server和更大的模型。
苹果表示,AFM-on-device是在 2048个TPU v5p芯片的单一切片上进行训练的,这是*进的TPU,于2023年12月推出。AFM-server是在8192 TPU v4芯片上进行训练的,这些芯片被配置为通过数据中心网络作为8个切片一起工作。
谷歌很早就在数据中心内大量部署TPU了,用于加速AI模型训练和推理,而且,不仅自家使用,谷歌还把TPU当作云计算服务提供给第三方使用,将它变成产品销售星空体育官网。
谷歌最新的TPU每小时的成本不到2美元,芯片需要提前3年预订才能使用。谷歌于2015年首次推出了用于内部工作负载的TPU,并于2017年向公众开放。现在,它们是为人工智能设计的最成熟的定制化芯片。
不过,谷歌仍然是英伟达的*客户之一,并在其云平台上出售英伟达技术的使用权。
苹果先前表示,推理,即采用预先训练的人工智能模型并运行它来产生内容或做出预测,将部分在苹果自家数据中心的芯片上完成。
苹果在6月WWDC 2024期间发布相关技术文件显示,工程师除了在Apple Intelligence采用苹果自有处理器等硬件,搭配自有软件框架之外,还用自家GPU结合谷歌 TPU进行人工智能模型加速训练。
英伟达面临的竞争压力越来越大,以谷歌为例,这家科技巨头通过自研AI芯片不断壮大其市场份额。来自TechInsights的数据显示,在2023年的数据中心加速器市场,谷歌 TPU的出货量达到200万台,虽然略逊于英伟达的380万台,但已稳居行业第三,且增长势头强劲,对英伟达构成了挑战。与此同时,微软等科技巨头也在逐步减少对英伟达的依赖,转而采用其他竞争品牌的芯片。
有报告显示,配备英伟达下一代Blackwell GPU的AI服务器,每台要价高达200-300万美元。
英伟达推出了两套基于Blackwell架构的参考设计,其中,NVL36搭载了36块B200 GPU加速卡,预计要价200万美元,之前预计180万美元,现在又涨价了。NVL72规模翻番,搭载72块B200加速卡,预计起步价就要300万美元。
英伟达预计,2025年,B200服务器的出货量有望达到6-7万台,总价达到1200亿~2100亿美元。
目前,AWS、戴尔、谷歌、Meta、微软等都有意采购B200服务器,规模超预期。
AI服务器主要由CPU、GPU、FPGA等处理器组成,用于处理大量的计算任务,相比传统服务器,AI服务器通常需要更高性能的硬件,以满足对于大规模数据处理和复杂计算的需求。由于这些硬件的价格较高,它们在AI服务器的成本中占比*。这其中,GPU是各种处理器中成本占比*的。
在AI训练和推理过程中,GPU通常是最昂贵的硬件,这是因为GPU具有较强的计算能力和并行处理能力,可以加速AI模型的训练和推理过程。大多数AI服务器都配备了多个GPU,以满足高性能计算的需求。
由于GPU具有强大的计算能力,其功耗也较高。为了满足AI模型的计算需求,通常需要配置多个GPU,这将导致服务器的功耗进一步增加。高功耗意味着服务器在运行时需要更大的电力供应,并产生更高的电费支出。
与CPU相比,GPU具有更复杂的体系结构和更多的组件,这意味着GPU的维护工作更为繁琐和复杂,需要更专业的技术人员进行维护和管理。而且,由于GPU的高功耗,其散热需求也更高,需要额外的散热设备和维护成本。
随着AI技术的快速发展星空体育官网,GPU的性能也在不断提升。为了保持竞争力,许多公司需要频繁购买新版GPU,这将增加服务器的成本。
随着AI应用的推广,越来越多的企业开始使用AI服务器,这导致了对GPU的需求不断增加,供不应求的情况下,GPU的价格也会上涨。
7月30日,AMD发布了2024年第二季度财报,净利润同比激增881%,数据中心业务收入翻番,抢了英伟达不少生意。
AMD本季度总营收达到58.35亿美元,不仅超出了此前预期的57.2亿美元,还实现了9%的同比增长和7%的环比增长。净利润达到了2.65亿美元,同比增长幅度高达881%,环比增长115%。
数据中心用GPU芯片MI300在单季度内的销售额超过了10亿美元,推动数据中心部门收入大幅增长。
MI300系列是AMD于2023年底发布的AI GPU星空体育官网,包括MI300X,以及集成CPU内核和GPU加速器MI300A,其中,MI300X对标英伟达的H100。据AMD介绍,MI300X用于AI训练时的性能与英伟达H100持平,推理方面,其性能超出竞品。以8个GPU组成的单台服务器为例,运行1760亿参数的BLOOM模型和700亿参数的Llama2模型时,MI300X平台性能是H100平台的1.4~1.6倍。
AMD首席执行官苏姿丰表示,公司AI芯片的销售额“高于预期”,微软对MI300芯片的使用量正在增加,以作为GPT-4 Turbo的算力支撑,并支撑微软的word、teams等多个Copilot服务。Hugging Face则是首批采用新的微软云Azure的客户之一,使企业和AI客户能通过一次点击,便在MI300上部署数十万个模型。
今年6月,AMD公布了迭代路线图,计划今年第四季度推出MI325X,并在明、后两年陆续推出MI350系列和MI400系列,其中,M1300X、MI325X将采用CDNA3架构,M1350将采用CDNA4结构,MI400将采用下一代CDNA架构。AMD后续每年都会推出新的产品系列。在业内看来,这一速度与英伟达发布的计划看齐。
此外,苏姿丰表示,AI推理的需求将比训练更大。AI PC是PC类别中很重要的一部分,PC市场对AMD业务来说是很好的收入增长机会。
今年,AMD在通过投资加速布局AI。7月,该公司出资6.65亿美元收购了欧洲*的人工智能实验室Silo AI,该公司提供端到端AI驱动的解决方案,此次收购被认为是AMD追赶英伟达的重要一步。
苏姿丰表示,除了收购Silo AI星空体育官网,AMD在过去12个月中还向十几家人工智能公司投资超过1.25亿美元,以扩大AMD生态系统并维持AMD计算平台的*地位。她表示,AMD将继续投资软件,这是投资Silo AI的原因之一。
基于优质的GPU硬件,发展软件和生态系统,AMD正在以英伟达的成功方式与之竞争。
要与英伟达竞争,扬长避短是上策,也就是说,发挥自己的优势,去攻击英伟达的短板。
虽然GPU并行处理能力非常强,这也是其擅长AI训练的根本原因。但是,当数据来回移动时,GPU的处理速度就不快了。AI大模型运行时,往往需要大量GPU和大量内存芯片,它们相互连接在一起,数据在GPU和内存间移动越快,性能越好。当训练大型AI模型时,一些GPU内核会闲置,几乎一半时间都在等待数据。
如果能将大量处理器内核和海量内存组合在一起,形成存内计算,则可大大降低多芯片间的连接复杂性星空体育官网,可大幅提升数据的传输速度。大量处理器内核在芯片内连接在一起,其运行速度比独立GPU组合快上百倍。目前,有几家创业公司正在做这样的事情,发展情况值得关注。
另外,必须在软硬件生态方面有打持久战的准备,才能与英伟达周旋,在这方面,需要有强大的资源背景,才能有命去争。AMD和英特尔正在做这样的事。
再有,除了芯片本身,可以在芯片与芯片互联方面多下功夫,英伟达在这方面并不是老大,博通是。
博通解决的是芯片与芯片之间的互联问题,并非与英伟达GPU直接竞争。虽然英伟达也有自家的芯片间互联技术,但从整个行业来看,博通的技术和产品更胜一筹,在全球8大AI服务器系统当中,有7个都部署了由博通技术支持的以太网基础设施,预计到2025年,所有超大规模AI服务器系统都将由以太网提供支持。
博通最善于解决通信带宽问题,在全球50GB/s的SerDes市场中,博通占据了76%的份额,其SerDes接口通过将低速并行数据转换为高速串行数据,然后在接收端转换回并行数据。通过这样的操作,数据可以从一个TPU高速转移到另一个TPU,大大提升了传输效率。
同样受益于AI增长,博通的网通产品营收正以40%的同比增速增长。该公司财报显示,截至今年5月的第二财季,AI营收同比增长280%,达到31亿美元,预计这一数字将在本财年结束前突破110亿美元。
一众竞争对手都在给英伟达施压,是该公司股价下跌的重要原因,然而,市场变化速度之快,让人反应不及。
7月31日晚间,英伟达股价突然大涨,涨幅一度超过14%,单日市值增加3269亿美元。
英伟达成为了首只单日市值增量超过3000亿美元的股票。目前,在美股单日市值增量排行榜上,英伟达占据了前三位,今年2月22日、5月23日,英伟达单日市值分别增长了2766亿美元、2177亿美元。
摩根士丹利发表研究报告指出,考虑到英伟达近期遭到市场抛售,虽然具体原因未明,但相信可为有兴趣的投资者带来良好的入市机会,因此,重新将其列为*股,盈利预测及目标价未变,评级为“增持”,目标价为144美元。
短短两天内,英伟达股价大落后又大起,或许与Blackwell供应吃紧,难以全部按时交付有关。
大摩表示,Blackwell产品在市场上引起了强烈的兴趣,尤其是其推理性能的显著提升,进一步驱动了客户的购买欲望。
不过,业界传出消息,Blackwell GPU芯片可能延迟,或者是搭配该芯片的服务器产品可能延迟。
虽然诸多竞争对手的技术和产品表现越来越好,给英伟达带来了压力,但在目前和未来中短期内,该公司的GPU产品依然是AI服务器市场主力,总体供不应求。而在众多客户期待的Blackwell GPU即将出货之际,传出交付会延期的消息,肯定会吊足市场胃口,有利于股价上涨。