性能与成本双赢：实测戴尔AI工作站支撑企业大模型的本地部署与训练

图片地址：https://images.tmtpost.com/uploads/images/2024/10/12/2614184592b2f753c0734957c6d0a21e_1728700980.jpeg

文｜AI大模型工场，编辑｜星奈谈到大模型私有化部署，很多人会首先想到数据中心，以为动辄就得使用很多台服务来支撑。一些中小企业或者应用部门，主要做知识库和智能体方向的应用，模型大小基本在70B以内。只要搭配合理，用本地的专业工作站同样可以训练推理，算得上极具性价比的方案了。随着OpenAI o1-preview的发布，大模型已经越发成熟，距离走入企业生产应用已经很近了。但OpenAI提供访问的次数非常有限，这给企业用户的AI应用普及带来了一定的费用焦虑和困扰。为了应对日益增长的访问频率需求，越来越多的企业用户倾向于大模型的本地化部署。大模型本地部署可以极大地降低数据泄漏的风险，而且系统响应速度和实时性更强，在一些需要快速反馈的场景里优势非常明显，同时也能应对企业个性化需求。通过在传统数据中心上进行本地大模型部署的方法，会对IT设施带来比较大的挑战，因为从计算资源来说，很多企业的数据中心计算资源很紧张，而且扩展成本比较高，甚至有些中