Initial commit: Natural Memory Agent Lab:模型服务 + TypeScript agent + 记忆能力场景评测(冲突更新、跨会话回忆、遗忘撤回、多跳、未知拒答)
This commit is contained in:
@@ -0,0 +1,28 @@
|
||||
{
|
||||
"id": "forget_retraction",
|
||||
"description": "写入事实后明确要求遗忘;跨会话再问时必须不再使用该事实(撤回/覆盖语义),且不得把已忘内容当现状。",
|
||||
"sessions": [
|
||||
{
|
||||
"id": "s1",
|
||||
"turns": [
|
||||
"记一下:我的紧急联系人是 王工,电话分机 7781。"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "s2",
|
||||
"turns": [
|
||||
"请遗忘我的紧急联系人信息,不要再保留和使用它。"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "s3",
|
||||
"turns": [
|
||||
"我的紧急联系人分机是多少?如果已经不保留这条信息,就直接说明。"
|
||||
]
|
||||
}
|
||||
],
|
||||
"assertions": [
|
||||
{ "type": "answer_not_contains", "session": "s3", "turn": 0, "any": ["7781"] },
|
||||
{ "type": "answer_contains", "session": "s3", "turn": 0, "any": ["没有", "不知道", "已", "无法确认", "未保留"] }
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user