新型 AI 算法亮相：功率降至常规配置 1/50，显存占用降至 1/10

图片地址：https://img.ithome.com/newsuploadfiles/2024/6/bd360ab0-8927-4150-9411-b7420e270c5d.jpg?x-bce-process=image/format,f_auto

IT之家 6 月 27 日消息，美国加州大学圣克鲁兹分校的研究团队研究出新的方法，只需要 13W 的功率（相当于一个现代 LED 灯泡的功率），就能运行 10 亿参数规模的大语言模型。而作为对比，用于大语言模型任务的数据中心级 GPU 需要约 700W。AI 浪潮下很多公司、机构的研究主方向是应用、推理方面，很少考虑效率等指标。该研究人员为缓解这种状况，淘汰了矩阵乘法的密集型技术，提出了“三元数”方案，只有负一、零或正一三个数值。团队还使用一种名为现场可编程门阵列（FPGA）的高度定制电路创建了定制硬件，让他们能够最大限度地利用神经网络中的所有节能功能。在定制硬件上运行时，可以达到与 Meta 的 Llama 等顶级模型相同的性能，但神经网络功率是常规配置的五十分之一。该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行，测试结果显示，与基于矩阵乘法的神经网络相比，显存占用仅为十分之一。IT之家附上参考地址Resea