YZOS 路线图
完整规格见 00-product-spec.md。
- 单 bundle 运行时:
yzos-desktop在同一进程内链接yzos-runtime、PostgreSQL 和 MCP/HTTP 端点。 - 屏幕采集:ScreenCaptureKit 分段与 activity session 关联索引。
- 实体引擎:面向人物、项目、任务的候选发现、清理和维护任务。
- OKF 结晶:知识和实体文档写入真实内容,而非占位模板。
- OCR 与 VLM:对关键帧做 Apple Vision OCR,对无可提取文本的区域生成 VLM 屏幕语义。
- AI 工具会话导入:Claude Code、Codex、Cursor、Continue、Aider 的会话历史。
- 权限覆盖:屏幕录制、辅助功能、麦克风的完整 TCC 授权流程。
规划中:UI State Engine
Section titled “规划中:UI State Engine”下一个重要能力升级,把行为识别从截图猜测推进到结构化状态比对:
- 每次观察都存储活动窗口和 AX tree 快照
- Layout region 检测(editor、terminal、sidebar、input、canvas)
- ROI OCR 裁剪到识别出的区域,保留 bbox 和置信度
- 由状态差异推导出的行为事件(edit、run_command、send_message 等),每个都带证据
规划中:App Adapters
Section titled “规划中:App Adapters”针对最常用应用的更深层、按来源定制的结构解析:
- 浏览器:URL、DOM、accessibility tree、标签页上下文
- 终端:命令缓冲区、prompt、工作目录、输出差异
- Cursor / VS Code:workspace、文件路径、编辑器选区
- Figma:canvas 对象、文件、页面元数据
- 聊天软件:发送人、会话线程、输入框、消息差异
规划中:超越桌面
Section titled “规划中:超越桌面”- 语音:活动检测、转写、说话人分离
- 聊天集成:覆盖更多聊天软件
- 多设备同步:用户自有的同步目标(iCloud、WebDAV、SSH、S3、Git)
- Review UI:完整的实体和活动审查界面