新上线今天87 投票
Show HN：Agent-desktop —— 面向AI智能体的原生桌面自动化CLI工具
在过去几个月里，计算机使用智能体（computer-use agents）领域涌现出大量新工具，如 Codex、Claude Code、CUA 等。这些工具大多通过模拟键盘和鼠标操作或解析屏幕截图来与桌面交互，存在速度慢、可靠性低等问题。Agent-desktop 另辟蹊径，直接调用操作系统原生接口，为 AI 智能体提供一套高效的桌面自动化 CLI 工具。
核心思路：绕过视觉模拟，直达系统层
Agent-desktop 的核心理念是不依赖视觉识别。传统的计算机使用智能体通常需要“看”屏幕、定位元素、模拟点击，这一过程不仅耗时，而且容易因界面变化而失败。Agent-desktop 则直接通过命令行调用系统底层功能，例如：
- 窗口管理：获取窗口列表、切换焦点、调整大小
- 输入模拟：发送键盘快捷键、文本输入
- 文件操作：打开文件夹、运行程序
- 系统信息：获取进程状态、网络配置等
这种方式使得智能体能够以毫秒级速度完成操作，且不受 UI 布局变化的影响。
适用场景：为 AI 开发者提供“机械臂”
Agent-desktop 的目标用户是构建 AI 智能体的开发者。如果你正在开发一个需要操控桌面应用的 AI 助手（例如自动填写表单、跨应用数据搬运、软件测试自动化），Agent-desktop 可以作为底层执行模块。它目前已在 GitHub 上获得 122 颗星，作者表示项目已稳定运行一个月。
与同类工具的对比
| 特性 | Agent-desktop | 视觉模拟类工具 (如 CUA) |
|---|---|---|
| 交互方式 | 原生 API 调用 | 截图 + 坐标点击 |
| 速度 | 毫秒级 | 秒级（含截图与 OCR） |
| 可靠性 | 高（不受 UI 变化影响） | 中（依赖视觉识别精度） |
| 跨平台 | 需适配不同 OS API | 通用（基于屏幕） |
潜在局限与未来方向
目前 Agent-desktop 主要面向 Linux 和 macOS 环境，Windows 支持尚在规划中。此外，复杂 GUI 交互（如拖拽、右键菜单）可能仍需结合部分视觉信息。作者提到，未来计划加入动作序列录制和多智能体协作功能。
对于希望为 AI 智能体赋予“动手能力”的开发者而言，Agent-desktop 提供了一个轻量、高效且可嵌入的解决方案。它不试图取代视觉模型，而是作为底层执行力补充——当你知道要操作哪个窗口、执行什么命令时，直接调用 API 远比“看屏幕再点击”来得可靠。
