Overview
computer-user-vision
README / EN
Package documentation
Registry summary
dsh.pub verifies the pinned bundle contract, runtime facts, and distribution semantics. The complete README remains in the source repository.
Read the full README on GitHubLIMITATIONS
Known limitations
- `node --test` 单测 39/39 通过(工具注册、门禁、参数校验、output guard)。 - 实机安全窗口冒烟(一次性窗口 + cmd.exe,绝不碰用户应用):截图 PNG 正确;光标读/移 往返精确;`hello 中文 123!` 逐字回读一致;keypress Home/End 导航+插入验证 (`HEADzzzTAIL`);双击选词、单击取消、拖拽选区均通过控件状态断言。 - headless 集成:`dsh --profile headless` 真实会话中,模型成功调用 `computer_screenshot` 与 `computer_get_cursor_position`。 - headless 真实场景:模型在 `dsh --profile headless` 中自主完成 5 步任务 (screenshot → image_scan → type "hello" → screenshot → image_ocr),协调 picturereader 与 computer-user-vision 工具,OCR 确认输入文字出现在屏幕上。 - 滚轮**端到端验证通过**:滚动条位置变化 + MouseWheel 事件触发均正常。注意:鼠标若落在 搜狗输入法等置顶悬浮窗上,滚轮事件会被悬浮窗吸收——把光标移到空白处再滚(与任何基于 光标的输入同理)。 - EAC 兼容:与 picturereader 在同一宿主内可并存加载(视觉模式下不再依赖它);对全部内置 插件静态扫描,`computer_*` 工具名 / `computer-user-vision` 命名空间零冲突。 - 视觉直返实测:`deepseek-flash`(DeepSeek-V41-Flash)路由下 `computer_screenshot` 返回 图片块 + `screen_per_pixel`,模型可直接读屏并换算坐标;纯文本路由自动退回路径模式。
