yao/agent/test/TODO_V2.md

Agent Test Framework V2 - TODO

详细实施计划见 UPGRADE_PLAN.md

Format Rules

Context	Format	Example
-i flag (CLI)	Prefix required	agents:workers.test.gen, scripts:tests.gen
JSONL assertion use	Prefix required	"use": "agents:workers.test.validator"
JSONL simulator.use	No prefix (agent only)	"use": "workers.test.user-simulator"
--simulator flag	No prefix (agent only)	--simulator workers.test.user-simulator
t.assert.Agent()	No prefix (method-bound)	t.assert.Agent(resp, "workers.test.val")
JSONL before/after	No prefix (in src/)	"before": "env_test.Before"
--before/--after	No prefix (in src/)	--before env_test.BeforeAll

Phase 1: Before/After Scripts ✅

新增文件: script_hooks.go

• types.go: 添加 Before, After 字段到 Case
• types.go: 添加 BeforeAll, AfterAll 字段到 Options
• script_hooks.go: 实现 HookExecutor
• script_hooks.go: 通过 V8 直接执行 *_test.ts 脚本
• runner.go: 集成 before/after 到 runSingleTest
• runner.go: 集成 beforeAll/afterAll 到 RunTests
• cmd/agent/test.go: 添加 --before, --after flags
• test/utils.go: 添加 LoadAgentTestScripts() 通用函数
• 创建示例脚本 assistants/tests/hooks-test/src/env_test.ts
• 创建单元测试 script_hooks_test.go (黑盒测试)

Phase 2: Agent-Driven Assertions ✅

修改文件: assert.go, script_assert.go

• types.go: 添加 Use, Options 字段到 Assertion
• assert.go: 实现 assertAgent 方法
• assert.go: 在 evaluateAssertion 添加 agent 类型
• assert.go: 使用 goutext.ExtractJSON 容错解析 LLM 响应
• script_assert.go: 添加 assertAgentMethod 到 newAssertObject
• 创建示例 validator agent (assistants/tests/validator-agent)
• 创建单元测试 assert_agent_test.go (JSONL 断言 + JSAPI 断言)

Phase 3: Agent-Driven Input ✅

新增文件: input_source.go

用 Agent 生成测试用例，生成后使用标准模式执行。相对简单。

准备工作:

• 创建 generator agent (yao-dev-app/assistants/tests/generator-agent)
• 编写 generator agent 的 prompts.yml

实现:

• input_source.go: 实现 ParseInputSource
• input_source.go: 实现 GenerateTestCases
• loader.go: 添加 LoadFromAgent 方法
• loader.go: 添加 LoadFromScript 方法
• runner.go: 在 RunTests 支持不同输入源
• cmd/agent/test.go: 添加 --dry-run flag

测试:

• 创建单元测试 input_source_test.go

Phase 4: Dynamic Mode (Simulator + Checkpoints) ✅

新增文件: dynamic_runner.go, dynamic_types.go

运行时使用 Simulator Agent 动态生成对话，需要多轮循环和 checkpoint 匹配。依赖 Phase 3 的 Agent 调用经验。

准备工作:

• 创建 simulator agent (yao-dev-app/assistants/tests/simulator-agent)
• 编写 simulator agent 的 prompts.yml (模拟用户行为)

实现:

• types.go: 添加 Simulator, Checkpoints 字段到 Case
• dynamic_types.go: 定义 Checkpoint, DynamicResult 等类型
• dynamic_runner.go: 实现 DynamicRunner
• dynamic_runner.go: 实现 checkpoint 匹配逻辑
• dynamic_runner.go: 实现终止条件判断
• runner.go: 在 runSingleTest 判断并调用动态模式

测试:

• 创建单元测试 dynamic_runner_test.go

Phase 5: Console Output Optimization ✅

修改文件: output.go

• output.go: 添加 DynamicTestStart 方法
• output.go: 添加 DynamicTurn 方法
• output.go: 添加 DynamicCheckpoint 方法
• output.go: 添加 DynamicTestResult 方法
• 动态模式输出效果已验证

Already Implemented ✅

• Message history support (input as array)
• File attachments (file:// protocol)
• --parallel flag
• --fail-fast flag
• -v verbose mode
• Script testing (*_test.ts)
• Before/After hooks (Phase 1)
• Agent-driven assertions (Phase 2)
• Agent-driven input (Phase 3)
• --dry-run flag
• Dynamic mode (Phase 4)
• --simulator flag
• Console output optimization (Phase 5)

Open Questions

1. Message Generation: 是否提供 helper 从脚本生成 message history?
2. Snapshot Testing: 是否支持 "golden file" 对比?
3. Retry Logic: 测试失败是否支持自动重试?