月之暗面 Kimi 开放平台“上下文缓存”开启公测：首 Token 延迟降低 83%、适用于文本重复引用场景

图片地址：https://img.ithome.com/newsuploadfiles/2024/7/2b9cd65e-ba31-4147-a305-01085d72b827.jpg?x-bce-process=image/format,f_auto

IT之家 7 月 1 日消息，月之暗面今日官宣 Kimi 开放平台上下文缓存（Context Caching）功能开启公测。官方表示，该技术在 API 价格不变的前提下，可为开发者降低最高 90% 的长文本旗舰大模型使用成本，并提升模型响应速度。IT之家附 Kimi 开放平台上下文缓存功能公测详情如下：技术简介据介绍，上下文缓存是一种数据管理技术，允许系统预先存储会被频繁请求的大量数据或信息。当用户请求相同信息时，系统可以直接从缓存中提供，无需重新计算或从原始数据源中检索。适用场景上下文缓存适用于频繁请求，重复引用大量初始上下文场景，可降低长文本模型费用，提高效率。官方表示费用最高降低 90 %，首 Token 延迟降低 83%。适用业务场景如下：提供大量预设内容的 QA Bot，例如 Kimi API 小助手针对固定的文档集合的频繁查询，例如上市公司信息披露问答工具对静态代码库或知识库的周期性分析，例如各类 Copi