网站首页

半岛彩票产品中心

半岛智能终端处理器 半岛智能云服务器 半岛软件开发环境

半岛彩票新闻中心

关于我们半岛彩票

公司概况 核心优势 核心团队 发展历程

联系我们半岛彩票·(中国)官方网站

官方微信 官方微博
半岛彩票·(中国)官方网站 > 半岛彩票产品中心 > 半岛智能终端处理器

人工智能领域存储器解决方案成最大方半岛彩票向

发布时间:2023-12-02 13:43浏览次数: 来源于:网络

  半岛彩票SK海力士预测在人工智能(AI)领域,存储器解决方案的比重将进一步增加,可以通过类似AiMX的解决方案部分替代图形处理单元。在首尔江南区科技会议中心举行的“ETRI Conference 2023”上,SK海力士副社长表示,对于像BERT这样的模型,内存密集型功能仅占约5%,而在GPT2中,内存功能约占45%。在175B GPT3中,内存密集型功能已经达到92%。

  内存密集型函数是GEMV,即矩阵和向量相乘的运算,是大型语言模型(LLM)的核心。“现在LLM的GEMV内存密集比例已达到92%”,并解释说,“92%是通过Accelerator in Memory(AiM)处理的,其余8%是通过AiM Control处理的Hub。SK海力士计划将AiM控制器改为AiMX专用SoC,而不是FPGA。

  AiMX是SK海力士去年发布的基于内存的加速器,专为内存密集型函数计算进行优化,配备有16个1GB GDDR6-AiM和2个可编程半导体(FPGA)。“设计AiM控制中枢的成本太高,首先使用FPGA创建了一个加速器。当创建自己的片上系统时,将添加更多的GDDR6-AiM,以制造64GB或更大的产品。”

  在LLM中,AiMX的延迟比GPU快13倍,功耗降低17%,与GPU相比,LLM具有更优越的性能。“主要供应AiM芯片并提供参考设计来帮助超大规模客户,”并表示SK海力士将支持创建加速器系统。由于公司最大的客户之一是GPU公司,因此在推广AiMX时需要谨慎,以确保其利益与客户的利益部分重叠。

下一篇:半岛彩票人工智能评曼联队史前五中场:贝克汉姆、吉格斯在列
上一篇:半岛彩票人工智能研究迎来新突破

咨询我们

输入您的疑问及需求发送邮箱给我们