feat: add persistent document handling and protect note drafts

Add HTTP PaddleOCR-VL settings and shared document previews for chat and knowledge imports. Preserve attachment originals and parsed assets across drafts, messages and queues; support explicit image OCR, selecting document images into a conversation draft, and restoring queued input for editing.

Protect unsaved note bodies and titles during navigation and asynchronous updates. Match canvas analysis to source revisions, invalidate affected comments, preserve annotations during pagination, and provide a resizable record index with saved width preferences.

Existing OCR settings retain local behavior. Historical attachments without saved originals are not reconstructed. Advanced OCR options depend on the configured service; image sending depends on the effective model and Runtime.

Validation: full typecheck and lint passed; 477 focused tests passed across 12 files; staged whitespace checks passed. The full repository suite was not rerun for this commit.

Release note: Keep note drafts safe while switching workspaces, resize the record index, and revisit saved document attachments with OCR previews and selected images in chat.
This commit is contained in:
mesalogo
2026-09-19 16:51:10 +08:00
parent 17186b0c11
commit 935a8f56bf
95 changed files with 6232 additions and 553 deletions
@@ -24,6 +24,54 @@ Main。IPC 先验证可信 sender,再使用共享 `contextImportFilesSchema`
会话草稿;发送时通过已有 `contextIds` 和 `ContextManager.enrichRequest` 生成请求上下文。
本次变更不修改 Agent、远端协议或 Runtime 的附件消费实现。
## 2026-09-19 生产更新
HTTP 来源、文件资产、持久化草稿、显式图片 OCR、选图、历史预览和队列恢复已接入。
当前行为以[生产实现说明](./implementation.md)为准;本文件后续“纯图片现状与规划边界”
及“完整附件流程设计”保留 2026-09-18 的实施前分析,不能作为当前未实现清单。
历史 Electron 记录仍按原日期保留,本轮证据见[进度](./progress.md#2026-09-19-实现与验证)。
## 纯图片现状与规划边界
当前 `ContextManager` 将本地图片、粘贴图片和消息通道图片交给 `storeImage`,通过
`encodeBoundedJpeg` 转成 JPEG 暂存在内存;`enrichRequest` 将其放入 `images`,不调用
`DocumentParsingService`。`serializeForQueue` 保存上下文内容,`restoreFromQueue` 可恢复
队列图片,但这些机制未实现原始图片的独立文件保存。
图片能力由有效模型和 Runtime 决定。例如 `ModelRuntime` 在未启用图片输入时拒绝图片请求;
图片工具绑定路径还可能只保留工具引用并告知聊天模型无法看图,不能由附件已添加推断模型
已看到图片。现有路径没有统一的“提取图片文字或切换视觉模型”交互,本文不声称已经实现。
已确认的目标规则见 [纯图片路由需求](./prd.md#322-纯图片与文档的路由规划),原图与解析
文档分开保存的目录及生命周期见 [资源规划](./http-paddleocr-vl-technical-design.md#结果与资源)。
显式图片 OCR、原图保留、草稿引用保护和长期预览均待实现,以下历史验证不覆盖这些能力。
## 完整附件流程设计
本节为待实现范围,与下述既有验证记录分开。设置与预览的布局、交互及验收由
[UI 设计](./ui-design.md)维护,发送模式、幂等、限制及删除规则见
[选图与发送](./logic-design.md#选图与发送),进程契约和资源提交见
[HTTP 技术设计](./http-paddleocr-vl-technical-design.md#选图与附件请求)。
需要在现有聊天链路中补齐:
- `App.tsx` 的会话草稿附件增加读取持久化资源、逐附件解析状态、预览、重试和取消。
当前 `attachmentsByConversation` 与内存 contexts 不构成跨重启持久化。
- 共享附件契约保存资源引用、原始名称、来源和发送方式。图片 OCR 成功只改变该草稿的
发送方式与显示名,原图仍可打开;消息与队列保留接受时的文字/图片选择。
- 文档预览添加选图与普通导入汇入同一草稿和请求消费路径。选图采用整批提交及来源幂等,
不能直接套用新增文件按剩余位置截取的 UI 逻辑。父文档全文只送一次,图片分别计数。
- 数量及容量值统一读取已有附件规则;Main 对草稿、入队和实际执行分别核验能力及有效引用,
UI 不凭模型名称或图片工具引用推断已支持视觉。
- 草稿、发送和队列先保存会话资产与 DB 引用,再报告接受;从知识库复制的图片属于会话,
不依赖源库文档继续存在。移除父文档、图片、队列或会话各自只释放对应引用。
- `ContextFileSelectionProgress` 当前只有读取/解析阶段,需增加阶段、操作 ID 和取消接线;
首次批次失败仍回滚本批,新结果失败则保留旧附件。重启不自动恢复中断的 HTTP 推理。
新增图片发送路径仍需核对实际 Runtime 消费,包括远端 Agent;前文“本次变更不修改 Agent”
描述的是已完成文件粘贴工作,不是对本节未来实现范围的保证。生产实现需按仓库规则验证
受影响的远端路径,不能用历史 Windows 文件粘贴测试替代。
## PPTX 图片识别与 OCR 生命周期
产品策略与限制分别见 [PPTX 图片流程](./prd.md#75-pptx-图片流程)、
@@ -42,7 +90,7 @@ Bridge 用待完成请求计数判断队列是否空闲,正常完成后安排
不增加 IPC、持久化设置或模型安装状态。
解析与回收发生在 Desktop 的 Main/Renderer,`gbagent` 不运行此 OCR Worker。
远程 Runtime 消费的仍是 Desktop 已提取的附件文本,没有单独的 Agent 解析器或
对于 PDF、Office 文档,远程 Runtime 消费的仍是 Desktop 已提取的附件文本,没有单独的 Agent 解析器或
需要同步修改的远程 OCR 生命周期。
## Electron 验证