Agent 评测

安装（本机实测 0.7.0）

python3 -m venv .venv && source .venv/bin/activate
pip install --no-user agentevalkit     # 锁 0.7.0：
# pip install agentevalkit==0.7.0
# 注：PyPI 0.7.0 内置 10 个 grader；GitHub 主干已到 11 个 + Trial/TrialResult 新版，
#     生产请锁版本，避免 API 漂移。

内置 10 个 grader

exact / contains / regex / tool-check / llm-judge / custom / json_schema / semantic / latency / cost。自定义签名 fn(case, result) -> GradeResult。compare 用 Welch t 检验标记 ▼ regressed；ci --min-pass-rate 0.9 接 CI 门禁。

真实测试用例配置（来源项目记忆，已嵌入）

# suite.yaml
name: demo-agent-tests
agent: my_agent:run
defaults:
  grader: contains
cases:
  - name: basic-math
    input: "What is 2 + 2?"
    expected: { output_contains: ["4"] }
    tags: [math, basic]
  - name: tool-usage
    input: "Search for weather in Beijing"
    expected: { tools_called: ["web_search"] }
    grader: tool-check
    tags: [tool]
  - name: custom-validation
    input: "Generate a JSON object"
    grader: custom
    grader_config: { function: my_agent:validate_json }
  - name: cost-check
    input: "What is 2 + 2?"
    grader: cost
    grader_config: { max_usd: 0.001 }
  - name: latency-check
    input: "What is 2 + 2?"
    grader: latency

本机实测结果（真实）

Total: 5  Passed: 5  Failed: 0  Pass rate: 100%
Cost: $0.0005  Avg latency: 0ms
# compare 用 Welch t 检验对比两次 run，标 ▼ regressed

8 个环境：OS / DB / Knowledge Graph / 卡牌游戏 / ALFWorld / WebShop / Mind2Web / 横向思考谜题。统一框架测"通用 Agent"在多样任务上的能力，强调部分可观测与多轮交互。

git clone https://github.com/THUDM/AgentBench.git
cd AgentBench && pip install -r requirements.txt
# 按各环境说明启动（部分需 Docker / 数据库 / 浏览器）

细粒度 progress rate 指标捕捉逐步进展，配套工具包做多维分析（grounding 准确率、难易样本拆解、长程交互、子技能表现、轨迹可视化）。数据来自 HuggingFace hkust-nlp/agentboard。

# 本地 conda 环境（python 3.8.13）+ setup.sh；WebArena 任务需额外装 dbus/Xvfb
git clone https://github.com/hkust-nlp/AgentBoard.git
cd AgentBoard/data && tar -zxvf data.tar.gz
python agentboard/eval_main.py --tasks alfworld --model gpt-4 --wandb

需在本地/云端拉起 4 个自托管网站（购物、Reddit 类论坛、地图、GitLab）与对应账号系统，任务成功率（task success rate）为主指标。同类还有 OSWorld（真实桌面 GUI 多模态）、τ-bench（OpenAI/Sierra，多轮工具调用 + 状态维护，客服/零售）、GAIA（Meta，真实世界多工具推理）、SWE-bench（代码仓库 issue 修复）、ToolBench/ToolEval（清华，大规模 API 工具调用）。

三组件：① Tool Emulators（GPT-4 模拟工具执行，std/adv 两种思想）；② Safety & Helpfulness Evaluators（量化风险严重度 + 有用性，捕捉安全/有用权衡）；③ Curated Benchmark（36 工具集、311 工具、144 测试案例）。研究发现即使最安全的 LM Agent 也有约 24% 案例出现风险。

git clone https://github.com/ryoungj/ToolEmu.git
git clone https://github.com/dhh1995/PromptCoder.git   # 依赖
cd PromptCoder && pip install -e .
cd ../ToolEmu && pip install -e .
# 跑全量基准（约 $170 总成本）
python scripts/run.py --agent-model gpt-4-0613 --agent-type naive \
  --simulator-type adv_thought --batch-size 5

① 提示词注入（Prompt Injection）

测 Agent 在不可信内容（邮件/网页/工具返回）注入指令时的鲁棒性。主指标 ASR（攻击成功率）。

② 工具沙箱安全（Tool Sandbox Security）

测 Agent 调用真实/模拟工具时是否造成危害（数据泄露、资损、破坏性操作）。

③ 记忆腐化安全（Memory Corruption）

测 Agent 长期记忆 / RAG 检索内容被污染后是否产生错误或被操控的行为（记忆投毒、上下文注入）。

④ 长程任务效果（Long-horizon）

测 Agent 在多步、多轮、需状态维护的真实任务上的完成率与过程质量。

⑤ 大模型一致性（Consistency）

测 Agent 在相同/等价输入下行为是否稳定一致（避免"同问题不同答案"、规划漂移）。

23 类红队测试场景（ taxonomy，已脱敏归类）

护栏分层

输入过滤 → 指令隔离（不可信数据包裹、system prompt 不可变）→ 工具二次确认 → 输出审查。CI 门禁对高危项"零容忍"。

OWASP LLM Top 10 映射（对抗测试框架）

提示注入、敏感信息泄露、供应链、数据投毒、不当输出、越权、训练数据投毒、过度依赖、模型窃取等——可作为红队覆盖度检查清单。