概览
computer-user-vision
源码级技术说明Unofficial fork of computer-user by jing-hy: Codex-style Windows computer use for DeepSeek Harness. Clicks target live UI Automation element refs (ref/name) rather than pixels estimated off a downscaled screenshot, so they land exactly; screenshots ride the tool result as real images and carry an exact image-to-screen mapping.收起技术说明
README / ZH
插件文档
目录摘要
dsh.pub 核对固定版本的组合包契约、运行时事实与分发语义；完整 README 请查看源仓库。
在 GitHub 阅读完整 READMELIMITATIONS
已知限制
- `node --test` 单测 39/39 通过（工具注册、门禁、参数校验、output guard）。 - 实机安全窗口冒烟（一次性窗口 + cmd.exe，绝不碰用户应用）：截图 PNG 正确；光标读/移 往返精确；`hello 中文 123!` 逐字回读一致；keypress Home/End 导航+插入验证 （`HEADzzzTAIL`）；双击选词、单击取消、拖拽选区均通过控件状态断言。 - headless 集成：`dsh --profile headless` 真实会话中，模型成功调用 `computer_screenshot` 与 `computer_get_cursor_position`。 - headless 真实场景：模型在 `dsh --profile headless` 中自主完成 5 步任务 （screenshot → image_scan → type "hello" → screenshot → image_ocr），协调 picturereader 与 computer-user-vision 工具，OCR 确认输入文字出现在屏幕上。 - 滚轮**端到端验证通过**：滚动条位置变化 + MouseWheel 事件触发均正常。注意：鼠标若落在 搜狗输入法等置顶悬浮窗上，滚轮事件会被悬浮窗吸收——把光标移到空白处再滚（与任何基于 光标的输入同理）。 - EAC 兼容：与 picturereader 在同一宿主内可并存加载（视觉模式下不再依赖它）；对全部内置 插件静态扫描，`computer_*` 工具名 / `computer-user-vision` 命名空间零冲突。 - 视觉直返实测：`deepseek-flash`（DeepSeek-V41-Flash）路由下 `computer_screenshot` 返回 图片块 + `screen_per_pixel`，模型可直接读屏并换算坐标；纯文本路由自动退回路径模式。