《智能体设计模式》中文版已发布, 点击阅读

Promptfoo

Promptfoo 是一个面向开发者的本地化 LLM 测试与红队工具,支持自动化评测、红队扫描与 CI 集成。

简介

Promptfoo 是一个开发者优先的本地化 LLM 评测与红队工具,帮助团队在本地或 CI 中自动化检测模型与提示词的表现与安全性。

主要特性

  • 自动化 prompt 与模型评测矩阵
  • 红队(Red Teaming)与漏洞扫描能力
  • 支持多种模型提供商与 CI 集成
  • 可视化报告与历史记录存档

使用场景

  • 在 CI/CD 中自动化模型/提示回归测试
  • 部署前的安全审计与红队检测
  • 团队共享评测配置与结果

技术特点

  • 开源、CLI 优先、可在本地运行,保护敏感提示词
  • 支持多模型比较(OpenAI, Anthropic, Ollama 等)
  • 与常用 CI(GitHub Actions 等)无缝集成

评论区

Promptfoo
资源信息
🌱 开源 📊 基准测试