简介
OmniParser 是微软开源的纯视觉 GUI Agent 屏幕解析工具，可将界面截图解析为结构化元素，显著提升大模型（如 GPT-4V）在桌面环境中的操作能力。
主要特性
- 支持将任意界面截图解析为可理解的结构化元素
- 结合 OmniTool 可实现多智能体编排与自动化
- 支持主流大模型（OpenAI、DeepSeek、Qwen、Anthropic 等）
- 提供 HuggingFace 模型与 Gradio 在线演示
使用场景
- 智能体自动化桌面操作
- 屏幕元素识别与交互区域检测
- 构建训练数据管道，助力 AI Agent 领域应用
技术特点
OmniParser 基于高性能视觉解析模型，支持插件扩展，易于集成到现有系统。模型权重覆盖多种授权（AGPL/MIT），开源代码便于二次开发。详细技术报告见 arXiv 。
- 项目主页： OmniParser Project Page
- 在线演示： HuggingFace Space Demo