英伟达推出 Tensor RT-LLM，使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍

图片地址：https://img.ithome.com/newsuploadfiles/2023/10/bd6994fc-30cf-4da6-8241-a8f7339f2602.jpg?x-bce-process=image/format,f_auto

IT之家 10 月 18 日消息，英伟达是硬件领域的生成型人工智能之王，该公司的 GPU 为微软、OpenAI 等公司的数据中心提供动力，运行着 Bing Chat、ChatGPT 等人工智能服务。今天，英伟达宣布了一款新的软件工具，旨在提升大型语言模型（LLM）在本地 Windows PC 上的性能。在一篇博客文章中，英伟达宣布了其 TensorRT-LLM 开源库，这个库之前是为数据中心发布的，现在也可以用于 Windows PC。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。英伟达在文章中介绍了 TensorRT-LLM 对开发者和终端用户的好处：在更大的批量大小下，这种加速可显著改善更复杂的 LLM 使用体验，如写作和编码助手，可同时输出多个唯一的自动完成结果，从而加速性能