简介
Promptfoo 是一个开发者优先的本地化 LLM 评测与红队工具,帮助团队在本地或 CI 中自动化检测模型与提示词的表现与安全性。
主要特性
- 自动化 prompt 与模型评测矩阵
- 红队(Red Teaming)与漏洞扫描能力
- 支持多种模型提供商与 CI 集成
- 可视化报告与历史记录存档
使用场景
- 在 CI/CD 中自动化模型/提示回归测试
- 部署前的安全审计与红队检测
- 团队共享评测配置与结果
技术特点
- 开源、CLI 优先、可在本地运行,保护敏感提示词
- 支持多模型比较(OpenAI, Anthropic, Ollama 等)
- 与常用 CI(GitHub Actions 等)无缝集成