大模型 评测

安装（来自项目记忆本机实测）

npm install -g promptfoo            # 当前 0.121.x
# 若全局命令不在 PATH，建立软链：
ln -sf ~/.workbuddy/binaries/node/versions/22.22.2/bin/promptfoo /usr/local/bin/promptfoo
# 或每次用 npx：
npx promptfoo@latest
# 校验配置（不发请求）：
promptfoo validate --config /abs/path/to/config.yaml

多模型同 prompt 对比（YAML 片段）

# ⚠️ 变量语法是 {{ env.X }} 不是 ${X}；env 名须与配置 ${...} 完全一致
# 国产模型走 OpenAI 兼容：id: openai:chat:<模型> + apiBaseUrl + apiKey
prompts:
  - "中国的首都是哪里？"          # 示例问题（正确答案：北京）
providers:
  - openai:chat:gpt-4o
  - openai:chat:deepseek-chat:
      config:
        apiBaseUrl: https://api.deepseek.com/v1
        apiKey: "{{ env.DEEPSEEK_API_KEY }}"
  - openai:chat:glm-4:
      config:
        apiBaseUrl: https://open.bigmodel.cn/api/paas/v4
        apiKey: "{{ env.ZHIPU_API_KEY }}"   # 注意用 ZHIPU_ 而非 GLM_
tests:
  - vars: {}
    assert:
      - type: contains
        value: "北京"              # 断言正确答案

免费裁判模型（OpenRouter，本机实测可用）

# 在 config 里把 judge 指向 OpenRouter 免费模型
defaultTest:
  options:
    provider:
      id: openai:chat:nvidia/nemotron-3-super-120b-a12b:free
      config:
        apiBaseUrl: https://openrouter.ai/api/v1
        apiKey: "{{ env.OPENROUTER_API_KEY }}"
# 查当前免费模型：
curl https://openrouter.ai/api/v1/models | jq '.data[] | select(.pricing.prompt==0 and .pricing.completion==0)'

常用断言：equals / contains / llm-rubric / factuality / conversation-relevance / select-best。多轮用 _conversation + | dump 过滤器（JSON 转义，否则报 Bad control character）；多轮强制 concurrency=1 + config.delay 规避 429。

真实评测报告样例（来源项目记忆，已嵌入）

以下为来源目录中 Promptfoo 真实产出的报告（多模型对比 / 多轮对话），可直接打开查看打分与断言结果：

安装（本机踩坑结论）

# 用 uv 的 Python 3.11 建 venv；锁 ragas<0.2（0.2 API 改为类式 Faithfulness()）
unset PIP_USER
pip install --no-user "ragas<0.2" datasets
# 注：ragas 0.1.x 并不依赖 scikit-network；系统 Python 3.14 编译失败
#     纯属被 datasets 误带，换 3.11 即解。

四件套指标与诊断

本机实测（Ollama 离线裁判，真实结果）

# 离线跑裁判的 4 个要点（否则指标全 NaN）：
# ① base_url 用 127.0.0.1（Ollama 只监听 IPv4，localhost→::1 连不上）
# ② 先同步 invoke("ping") 预热再异步评测
# ③ keep_alive:-1 常驻 + RunConfig(timeout=300, max_workers=1, max_retries=3)
# ④ 运行前 unset HTTP_PROXY HTTPS_PROXY（本机死代理）
{'faithfulness': 0.7500, 'answer_relevancy': 0.8073,
 'context_precision': 1.0000, 'context_recall': 1.0000}

pip install deepeval
# test_rag.py
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import FaithfulnessMetric, AnswerRelevancyMetric
test_case = LLMTestCase(input="...", actual_output="...",
                        retrieval_context=["..."], expected_output="...")
assert_test(test_case, [FaithfulnessMetric(), AnswerRelevancyMetric()])
# 运行
deepeval test run test_rag.py      # 生成 dashboard 报告

常见指标：Faithfulness / Answer Relevancy / Contextual Recall-Precision / Hallucination / Toxicity / Bias / Summarization / G-Eval（LLM-as-Judge）。与 Confident AI 平台联动可做回归门禁。

pip install lm-eval
# 评测本地/API 模型
lm_eval --model hf --model_args pretrained=meta-llama/Llama-3-8B \
        --tasks gsm8k,mmlu --num_fewshot 5 --output_path out.json
# 列出全部任务
lm_eval --tasks list

支持 HuggingFace 本地模型、vLLM、OpenAI/Anthropic 兼容 API。下文「基础评测数据集」中的大部分基准都可通过 --tasks 直接调用。