国产 1400 亿参数知未智能 KDF 大模型发布，聚焦金融和商业垂直领域

图片地址：https://img.ithome.com/newsuploadfiles/2023/7/d1332ca8-e6d6-4071-9816-00bcd95c65c1.jpg?x-bce-process=image/format,f_auto

IT之家 7 月 25 日消息，近来诸多国产大模型异军突起，助力相关行业产业发展。北京知未智能科技有限公司日前在上海发布了知未智能 KDF 大模型 ，以及基于该模型研发的一系列产品，包括“ KDF 智讯”、“KDF 绝未”、“KDF 中书”等金融行业工具。IT之家经过查询得知，知未智能 KDF 大模型的训练数据以中文为主，并包含大量的金融数据，以提升模型在商业和金融领域的问题处理能力。此外，训练数据中还融合了部分英文与代码数据，以适应模型的通用能力。在训练过程中，知未智能 KDF 大模型将单个汉字视为独立的 Token 进行处理。模型参数量达 1400 亿，训练 Token 数达到 4000 亿。从代码量角度看，数据处理部分约 5000 行，模型实验部分约 2000 行，模型训练部分约 500 行。在具体训练过程中，知未智能 KDF 大模型采用了基于 PyTorch 优化的 GELU 非线性激活函数。GELU 作为非线性激活函数