📊 LLM 评测（Evaluation）

通用 Prompt 测试框架，支持自动化测试、回归测试、A/B 对比、LLM-as-Judge 打分。可用于任何 LLM 应用的评测。

安装

npm install -g promptfoo
# 或者使用 Docker
docker run -d -p 3000:3000 promptfoo/promptfoo

使用方法（配置文件驱动）

# promptfooconfig.yaml
prompts:
  - system: You are a helpful assistant.
    user: "{{message}}"
providers:
  - openai:gpt-4
  - anthropic:claude-3.5-sonnet
  - bedrock:anthropic.claude-3-haiku
tests:
  - assert:
      - type: contains
        value: "北京"
      - type: llm
        value: "Response should correctly address the user's question"
    vars:
      message: "中国的首都是哪里？"

# 运行测试
promptfoo eval -c promptfooconfig.yaml
promptfoo view # 打开结果面板

核心特性

• ✅ 多 Provider 并行测试，自动生成对比结果
• ✅ 多种 Assertion 类型：equals / contains / regex / llm / similarity
• ✅ 支持变量组合（fuzzing），覆盖更多测试场景
• ✅ CI/CD 集成，Prompt 变更可触发回归测试
• ✅ Web UI 可视化查看结果

专门针对 RAG（Retrieval Augmented Generation）系统的评测框架，提供忠实度、相关性、上下文精度等开箱即用的指标。

核心指标

使用示例

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
)
from datasets import Dataset

# 准备评测数据集
data = Dataset.from_dict({
    "question": ["中国首都是哪里？"],
    "answer": ["北京"],
    "contexts": [["北京是中国的首都。"]],
    "ground_truth": ["北京"],
})

# 运行评测
result = evaluate(
    data,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
)
print(result)

将 LLM 评测做成单元测试的形式，支持断言（assertion）、测试用例、执行回放。类似 pytest 的使用体验。

快速开始

from deepeval import evaluate
from deepeval.metrics import SummarizationMetric, AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

# 定义测试用例
test_case = LLMTestCase(
    input="请总结这段文章",
    actual_output="AI正在改变世界...",
    expected_output="AI对社会产生了深远影响",
    retrieval_context=["AI改变了医疗、教育等行业"],
)

# 定义指标
metric = AnswerRelevancyMetric(threshold=0.7)

# 执行评测
evaluate([test_case], [metric])

内置指标

• AnswerRelevancyMetric — 答案相关性
• SummarizationMetric — 摘要质量
• FaithfulnessMetric — 忠实度
• ToxicityMetric — 有毒性检测
• BiasMetric — 偏见检测
• HallucinationMetric — 幻觉检测