对话蜜度CTO刘益东：价格战、MoE......中国AI大模型下一步“卷”什么？｜直击WAIC 2024

图片地址：https://images.tmtpost.com/uploads/images/2024/07/20240705120448745.jpg

7月4日-6日，2024世界人工智能大会暨人工智能全球治理高级别会议（WAIC 2024）在上海召开。作为国内在政务领域开展 AI 大模型的公司，蜜度科技股份有限公司（MIDU，以下简称“蜜度”）今年在WAIC期间发布自研的蜜巢3.0大模型，支持MoE（专家混合）架构，在预训练、微调与RLHF阶段分别新增200亿、10万、1万高质量语料数据，并且从训练到推理全流程融入国产化软硬件生态，为客户提供安全可控的落地解决方案。会前独家对话时，蜜度首席技术官（CTO）、蜜度蜜巢总裁刘益东对钛媒体App表示，基于去年政务垂类的蜜巢2.0模型，今年3.0模型更加注重落地场景的针对性训练，利用MoE架构实现细分场景的业务应用，用更泛化的系统解决20多个场景的实际问题。他指出，从整体来看，蜜巢3.0 MoE模型的性能提升10%左右，而更大的效果提升将体现在基于高质量数据集、多任务架构和全流程国产化的新模型所广泛应用的落地场