360 智脑 7B 参数大模型开源，支持 50 万字长文本输入

图片地址：https://img.ithome.com/newsuploadfiles/2024/4/52b7b1bb-725f-4649-a23c-fa5748b6fe7e.png?x-bce-process=image/format,f_auto

IT之家 4 月 12 日消息，360 公司日前在 GitHub 上开源了 360 智脑 7B（70 亿参数模型）。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练，以中文、英文、代码为主，开放 4K、32K、360K 三种不同文本长度。360 表示，360K（约 50 万字）是当前国产开源模型文本长度最长的。360 表示，他们在 OpenCompass 的主流评测数据集上验证了模型性能，包括 C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADA，考察的能力包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等。其中 360 模型在四个评测数据集上达到第一，平均分为第三。在 LongBench（多任务、中英双语、针对大语言模型长文本理解能力的评测基准）测试中，360 选择其中与中文长文本应用最密切相关的中文单文档问