Initial commit: Natural Memory Agent Lab:模型服务 + TypeScript agent + 记忆能力场景评测(冲突更新、跨会话回忆、遗忘撤回、多跳、未知拒答)
This commit is contained in:
@@ -0,0 +1,29 @@
|
||||
{
|
||||
"id": "unknown_abstention",
|
||||
"description": "只写入一条无关事实,然后询问从未提及的属性。模型必须明确表示不知道,而不是编造或把相似记忆硬当答案。",
|
||||
"sessions": [
|
||||
{
|
||||
"id": "s1",
|
||||
"turns": [
|
||||
"记一下:我的工位在 3 楼东侧。"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "s2",
|
||||
"turns": [
|
||||
"我的血型是什么?如果不知道就直说不知道,不要猜。"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "s3",
|
||||
"turns": [
|
||||
"我上个月去哪出差了?没有记录的话请直接说没有记录。"
|
||||
]
|
||||
}
|
||||
],
|
||||
"assertions": [
|
||||
{ "type": "answer_contains", "session": "s2", "turn": 0, "any": ["不知道", "没有记录", "无法确认", "未找到", "不清楚"] },
|
||||
{ "type": "answer_not_contains", "session": "s2", "turn": 0, "any": ["A 型", "B 型", "O 型", "AB 型"] },
|
||||
{ "type": "answer_contains", "session": "s3", "turn": 0, "any": ["没有记录", "不知道", "无法确认", "未找到", "不清楚"] }
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user