微软亚洲研究院与上海市精神卫生中心展开联合研究，借助多模态大模型为认知障碍患者带来全新训练方法

图片地址：https://img.ithome.com/newsuploadfiles/2024/9/222b9c2f-f586-4690-9a9c-c69060169fa0.jpg?x-bce-process=image/format,f_auto

IT之家 9 月 22 日消息，据微软亚洲研究院官方披露，该研究院与上海市精神卫生中心携手展开联合研究，基于微软 Azure OpenAI 服务中的多模态大模型，开发了利用多种模态数据（如语音、文字、图片、音乐等信息）的个性化认知训练框架，为认知障碍患者的认知训练带来了新的可能。▲ 图源微软亚洲研究院公众号IT之家从微软亚洲研究院获悉，综合上海市精神卫生中心专家的建议与患者的需求，微软亚洲研究院的研究员们从易用性、界面友好性、功能专业性和入门难易度等多个维度出发，开发了个性化认知训练框架“忆我”（ReMe）。该工具以微软 Azure OpenAI 服务为基础模型，具备即时交互响应功能，支持文字、图像、语音等多种模态的输入输出，以对话机器人的形式为用户提供全新的认知训练体验。从使用流程和功能来看，个性化认知训练框架“忆我”首先通过手机或可穿戴设备上传个人记忆内容，随后采用更贴近生活的方式，进行个体化的情景记忆或世界知识的开放性记忆