illegalCreed

中文

English

中文

English

Appearance

参考 ​

基于 Promptfoo / DeepEval / Garak 2026 官方文档编写。本页重点列断言、metric、probe 与工具对比。

三大工具速查 ​

工具厂商许可风格强项
Promptfoo社区 / 商业版 promptfoo.devMITCLI + YAML 配置红队 + CI 门禁 + 多 provider 对比
DeepEvalConfident AIApache-2.0pytest 插件50+ metric、Python 友好
GarakNVIDIAApache-2.0CLI 探测LLM 漏洞扫描（Nessus for LLMs）

Promptfoo 断言全表 ​

确定性断言（44 种） ​

断言评什么
equals / contains / icontains精确等 / 包含 / 大小写不敏感包含
contains-any / contains-all / icontains-any / icontains-all多值包含（任一/全部）
regex / starts-with正则 / 前缀
is-json / contains-json是合法 JSON / 含 JSON 片段
is-html / contains-html是 / 含 HTML
is-sql / contains-sql是 / 含 SQL
is-xml / contains-xml是 / 含 XML
is-refusal是模型拒绝
javascript / python / ruby自定义代码判定
webhook调外部 URL 判定
rouge-n / bleu / gleu / meteor文本重叠指标
levenshtein编辑距离
latency / cost延迟 / 成本
perplexity / perplexity-score困惑度
is-valid-function-call / is-valid-openai-function-call / is-valid-openai-tools-call合法函数/工具调用
trace-span-count / trace-span-duration / trace-error-spanstrace 维度断言
skill-used / trajectory:tool-used / trajectory:tool-args-match / trajectory:tool-sequence / trajectory:step-countAgent / trajectory 断言
guardrails护栏判定
assert-set分组断言

每个断言均可加 not- 前缀取反（如 not-equals、not-regex）。

模型评分断言（15 种） ​

断言评什么
similar语义相似度
classifier分类器判定
moderationOpenAI moderation API
llm-rubricLLM 按 rubric 评分
g-evalG-Eval 算法
answer-relevance答案相关性
context-faithfulness / context-recall / context-relevanceRAG 三件套
conversation-relevance多轮对话相关性
trajectory:goal-successAgent 目标达成
factuality事实正确性
model-graded-closedqa闭合问答评分
pi个人身份相关
select-best多输出选最优
max-score元断言：选最高分输出

Promptfoo 红队组件 ​

组件作用例子
plugins攻击 payload 生成器prompt-injection / jailbreak / pii / harmful:hate / excessive-agency
strategies攻击包装策略basic / jailbreak / encoding
purpose应用定位「客服助手，回答订单问题」
frameworks对齐框架NIST AI RMF / OWASP LLM Top 10
target discovery自动发现应用入口API / endpoint 自动探测
bundles相关 plugin 打包pii bundle 含所有 PII 类

DeepEval metric（节选，50+） ​

类别metric
RAGAnswerRelevancy / Faithfulness / ContextualPrecision / ContextualRecall / ContextualRelevance / GEval
对话ConversationalGEval / KnowledgeRetention
AgentToolCorrectness / TaskCompletion / TrajectoryEval
安全ToxicityMetric / BiasMetric / PromptInjection
通用HallucinationMetric / SummarizationMetric / Summac

Garak probe 类别 ​

类别扫什么
promptinject指令注入
jailbreak越狱（DAN 等）
leakage数据 / 系统提示泄露
hallucination幻觉
misinformation假信息
toxicity毒性
encoding编码绕过（base64 / rot13）
latentinjection隐蔽注入

工具能力矩阵 ​

能力PromptfooDeepEvalGarak
评测断言44 确定 + 15 模型（含 not-）50+ metric探测类
红队强项△强项
CI/CD 集成原生pytest 兼容CLI
多 provider 对比强项△多模型扫描
Python 友好JS/Py 都支持原生 pytest原生
本地运行默认本地本地本地
Agent / trajectory 断言✓✓-
漏洞报告对齐框架NIST AI RMF / OWASP-学术标准
商业云版promptfoo.devConfident AI-

CLI 速查 ​

Promptfoo ​

bash
promptfoo init                    # 初始化配置
promptfoo eval                    # 跑评测
promptfoo view                    # 看结果
promptfoo redteam init            # 生成红队配置
promptfoo redteam run             # 跑红队
promptfoo eval --no-cache         # CI 用，禁缓存

DeepEval ​

bash
pip install deepeval
deepeval login                    # 接 Confident AI（可选）
pytest test_xxx.py                # 直接用 pytest 跑
deepeval test run tests/          # 或用 deepeval 命令

Garak ​

bash
pip install garak
garak --model_type openai --model_name gpt-4o-mini
garak --probes promptinject,jailbreak,leakage ...

CI/CD 集成示例 ​

Promptfoo（GitHub Actions） ​

yaml
on: [pull_request]
jobs:
  llm-test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: npm install -g promptfoo
      - run: promptfoo eval --no-cache
      - run: promptfoo redteam run

DeepEval ​

yaml
on: [pull_request]
jobs:
  llm-test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
      - run: pip install deepeval
      - run: deepeval test run tests/

红队风险对照（OWASP LLM Top 10 思路） ​

风险工具映射
LLM01 Prompt InjectionPromptfoo prompt-injection plugin / Garak promptinject
LLM02 Insecure OutputPromptfoo is-json / is-sql 校验输出
LLM03 Training Data PoisoningGarak hallucination
LLM04 Model DoSPromptfoo latency 断言
LLM05 Supply ChainGarak 模型层扫描
LLM06 Sensitive DisclosurePromptfoo pii plugin / Garak leakage
LLM07 Insecure Plugin DesignPromptfoo excessive-agency
LLM08 Excessive AgencyPromptfoo excessive-agency / trajectory 断言
LLM09 OverrelianceDeepEval FaithfulnessMetric
LLM10 Model TheftGarak leakage

资源链接 ​