YZOS 功能概览

完整规格见 00-product-spec.md。

1. 功能分组

Observe：桌面活动、UI 状态、屏幕分段、AI 工具会话、剪贴板、聊天、语音
Crystallize：triage、实体信号抽取、OKF 写入、knowledge/memory
Index：PostgreSQL、全文搜索、pgvector、OKF 一致性核对
Supply：MCP HTTP、HTTP API、CLI、Skill
Maintain：定时任务、实体清理、重建索引、rollup
Review UI：活动、实体、设置、权限、模型

2. 桌面活动观察

项	内容
输入	app 切换、窗口聚焦、URL、屏幕分段、UI 状态
结构源	`NSWorkspace`、`CGWindowList`、`AXUIElement`、浏览器/app adapter
视觉源	ScreenCaptureKit mp4 分段、ROI OCR、VLM 标签
输出	activity sessions、UI snapshots、behavior events

桌面观察主要建立在 UI 结构和 layout region 之上。整屏截图只是证据层。

3. AI 工具会话

YZOS 从本地工具数据中导入编码 agent 的会话历史，覆盖 Claude Code、Codex、Cursor、Continue、Aider 以及 xAI Grok Code。每条导入的会话都被归一化为 ai_tool_sessions，并关联到对应的项目、任务和 activity session。

4. UI State Engine

活动窗口跟踪：bundle id、PID、title、bounds
AX tree 快照：role、label、value、focus、选区、bounds
Layout region 检测：editor、terminal、sidebar、input、canvas、modal
ROI OCR：对识别出的区域裁剪后做 OCR，保留 bbox
Temporal diff：比较连续的 UI 状态
Behavior events：edit、run_command、send_message 等事件类型

5. OCR / VLM 视觉补洞

Apple Vision OCR：系统 OCR，输出文本框
OCR 后处理：bbox 排序、低置信度过滤、边缘 chrome 过滤
屏幕语义：VLM 对无 OCR 文本或视觉重的区域生成简短描述
Scene router：判断某区域是否需要走 VLM
关键帧抽取：从 mp4 分段中抽出代表性帧

6. 剪贴板

项	内容
输入	文本剪贴板变化
处理	PII 脱敏、去重、时间线
输出	最近记录、搜索

7. 实体引擎

实体	自动信号
Person	发送人、姓名、账号、OCR、语音
Project	repo path、AI session、窗口标题
Task	triage、AI session、行为事件

实体引擎支持候选发现、匹配、合并、归档、OKF 写入和 PostgreSQL 索引。

8. Supply

MCP HTTP /mcp
HTTP /api/call
CLI yzos
Skill yzos-data
供 review UI 使用的前端 hooks

9. Maintain

任务	作用
entity_promote	候选晋升为确认实体
entity_archive	归档噪声或过期实体
entity_reconcile	保持 OKF 与 PostgreSQL 一致
entity_rollup	刷新实体摘要
entity_merge	建议合并重复实体
reindex	重建搜索索引