在 MCP（模型上下文协议）服务中，通过嵌入相似度在毫秒级筛出最相关工具，显著减少上下文体积与调用成本。
详细介绍
MCP Tool Filter 是由 Portkey AI 开发的开源组件，提供超高速的语义过滤能力，能够在数千个工具中基于查询与工具描述的向量相似度，实时筛选出最相关的 10–20 个工具。该过滤器设计用于集成到 MCP（模型上下文协议，MCP）服务或智能体流水线中，以在保持功能覆盖的前提下极大压缩工具上下文，从而降低调用延迟与成本。
主要特性
- 嵌入相似度驱动的语义过滤，支持多种向量表示与索引后端。
- 极低延迟：优化的数据结构与查询路径，能够在数毫秒内完成筛选。
- 可配置阈值与候选数，便于在精度与覆盖率间权衡。
- 开源许可（MIT），便于在本地或私有环境中部署与审计。
使用场景
- MCP 服务器或智能体平台需要在大规模工具库中快速选择调用候选时。
- 面向成本与延迟敏感的在线服务，通过压缩工具上下文减少高成本模型调用频率。
- 需要将检索/召回与工具选择链路工程化并纳入可观测性与审计流程的场景。
技术特点
- 模块化适配：支持接入不同的嵌入模型与向量索引后端（内存、Faiss、Annoy 等）。
- 优化查询路径：采用预处理、压缩索引与并行评分减少端到端延迟。
- 可观测性：输出调用统计与过滤置信度，便于监控与策略调优。