长上下文并不等于长期记忆:AI 应用的记忆分层与遗忘机制
解析上下文窗口、会话摘要、用户偏好和外部知识的差异,设计可控且保护隐私的记忆系统。
把所有历史塞入窗口会越来越差
长上下文可以容纳更多文本,但注意力会被无关信息稀释,令牌成本和延迟也持续上升。历史内容还可能包含已经失效的要求。应用应区分当前任务状态、短期会话、长期偏好和外部知识,每类信息使用不同的保存期限与读取策略。
短期记忆服务于当前任务
当前目标、已完成步骤、约束和待确认事项应以结构化状态保存,而不是依赖模型从整段聊天中重新推断。会话过长时生成摘要,但摘要需保留决定、例外和未完成事项,并能追溯原始消息。重要操作前应重新核对最新状态,避免摘要错误被连续放大。
长期记忆必须经过选择
用户明确表达且长期稳定的偏好可以保存,临时情绪、敏感信息和模型推断不应默认写入。记忆条目需记录来源、时间、置信度和适用范围,支持查看、修改与删除。多个偏好冲突时优先使用最新且明确的指令,而不是静默选择。
检索与遗忘同样重要
记忆读取应依据当前任务相关性、时效和权限,而不是全量注入。设置过期、衰减和合并机制,定期清理重复或不再适用的信息。企业场景还要继承组织权限,员工调岗或文档撤权后,相关记忆不能继续被调用。
评测连续任务
测试应跨多个会话验证偏好保持、任务恢复、冲突处理和删除生效,并监控错误记忆引用率。真正有用的 AI 记忆不是记住一切,而是在正确时间使用必要信息,并让用户始终拥有控制权。
文章回复
0 条公开回复