半岛彩票SK海力士预测在人工智能(AI)领域,存储器解决方案的比重将进一步增加,可以通过类似AiMX的解决方案部分替代图形处理单元。在首尔江南区科技会议中心举行的“ETRI Conference 2023”上,SK海力士副社长表示,对于像BERT这样的模型,内存密集型功能仅占约5%,而在GPT2中,内存功能约占45%。在175B GPT3中,内存密集型功能已经达到92%。
内存密集型函数是GEMV,即矩阵和向量相乘的运算,是大型语言模型(LLM)的核心。“现在LLM的GEMV内存密集比例已达到92%”,并解释说,“92%是通过Accelerator in Memory(AiM)处理的,其余8%是通过AiM Control处理的Hub。SK海力士计划将AiM控制器改为AiMX专用SoC,而不是FPGA。
AiMX是SK海力士去年发布的基于内存的加速器,专为内存密集型函数计算进行优化,配备有16个1GB GDDR6-AiM和2个可编程半导体(FPGA)。“设计AiM控制中枢的成本太高,首先使用FPGA创建了一个加速器。当创建自己的片上系统时,将添加更多的GDDR6-AiM,以制造64GB或更大的产品。”
在LLM中,AiMX的延迟比GPU快13倍,功耗降低17%,与GPU相比,LLM具有更优越的性能。“主要供应AiM芯片并提供参考设计来帮助超大规模客户,”并表示SK海力士将支持创建加速器系统。由于公司最大的客户之一是GPU公司,因此在推广AiMX时需要谨慎,以确保其利益与客户的利益部分重叠。