伊宝-电子手办

伊宝（YiBao）项目文档 一句话定位：伊宝不是一个只配在桌上看的精致手办，而是一个"能陪你、也能帮你"的电子手办 IP——接上电池就能独立工作，连上家里 Wi‑Fi 就能用自然语言控制你的 Mac/Windows，也能和云端或局域网大模型聊天。我们让手办走向智能，从"摆件"变成"桌面伙伴 + 生产力终端"。 项目代号：YiBao　｜　文档版本：项目文档 V1　｜　基础依据：产品开发文档 V4（2026-08-27） 一、项目背景 1.1 我们要解决什么 潮玩、手办市场越来越大，但大多数手办仍然是"死物"——买回家摆着，好看，却不能互动。与此同时，语音助手和陪伴型 AI 大量出现，但它们要么只能闲聊、播内容，要么被绑定在手机/音箱里，离"我的电脑"很远。 我们注意到两个明显的断层： 手办只会"看"，不会"动"：用户为形象和情感付费，却得不到任何实际能力。 语音助手只会"说"，很难"做"：想用语音打开一个应用、调一下音量、切一下窗口，传统助手要么听不懂，要么把控制请求当成了聊天，链路慢且不稳定。 1.2 我们的答案：电子手办 IP 伊宝把"手办的情感价值"和"语音控制电脑的实用价值"合二为一： 感情陪护：伊宝有形象、有语气、有陪伴感，是桌面上真正"在"的伙伴，而不只是另一个音箱。 智能控制：伊宝能听懂自然语言，去操作你的电脑——开应用、管窗口、调音量、切设备。 走向智能：它背后是可切换的云端/本地大模型，能对话、能执行、能离线，越用越聪明。 1.3 与传统方案的区别 维度 传统手办 普通语音助手 伊宝 YiBao 情感陪伴 静态摆件 无形象/弱陪伴 有形象、有语气、可互动 控制电脑 不支持 能力弱、依赖封闭生态 跨 Mac/Windows 自然语言控制 离线可用 — 多依赖云端 支持局域网本地模型 安全边界 — 模型易直接触达系统 本地安全策略，模型不直接操电脑 形态 纯装饰 音箱/手机 桌面电子手办，电池无线 二、目标用户 2.1 个人用户（办公 / 学习 / 日常创作） 使用 Mac 或 Windows，希望用语音快速打开应用、管理窗口、输入文字、调节系统设置。 双手忙碌时（做饭、整理、抱娃）也能"动口不动手"地操作电脑。 在自己家 Wi‑Fi 中使用，设备只控制自己的电脑。 2.2 开发者与内容创作者 编程时用语音打开 IDE、切换窗口、执行受控工作流。 录课、直播、会议中不方便频繁碰键盘鼠标。 有多台 Mac/Windows，需要语音快速切换控制目标。 2.3 隐私与离线用户 希望语音和模型服务运行在自己的电脑、NAS 或局域网服务器内。 公网不可用时，仍需要基本语音对话和电脑控制。 2.4 潮玩 / 陪伴向用户（IP 核心人群） 喜欢手办、潮玩，愿意为"有灵魂的桌面伙伴"付费。 独居、异地、需要轻量情感陪伴的人群。 看重"我的手办是独一无二的、能和我互动的"这一差异化体验。 三、技术栈 3.1 硬件终端（电子手办本体） 主控：ESP32-S3-BOX3（带屏幕、麦克风、扬声器、电池焊盘） 系统：ESP-IDF / FreeRTOS 音频：ESP-SR（AFE/AEC/NS/VAD/WakeNet）、libopus（Opus 编解码） 连接：Wi‑Fi（主链路）、USB（TinyUSB，备用链路与供电） 能力：麦克风拾音、按键说话/语音唤醒、LCD 状态显示、电池/电量管理 说明：ESP32-S3 本身不能运行通用大模型；离线智能运行在用户的电脑 / NAS / 局域网服务器上。 3.2 本地客户端（装在用户电脑上） 网关：FastAPI / Pydantic，负责 ASR/LLM/TTS 调度、会话管理与安全策略 控制 Agent：调用 Mac（NSWorkspace / CoreAudio / Accessibility）与 Windows（UIAutomation / Core Audio COM / User32）系统接口执行已授权动作 存储：SQLite（单机配置）/ PostgreSQL（正式数据） 消息：Mosquitto MQTT Broker（控制消息 QoS 1）+ UDP（实时 Opus 音频） 3.3 模型服务（云 / 本地 / 混合） ASR：云端流式 ASR；本地 FunASR / faster-whisper LLM：OpenAI-compatible 云服务（DeepSeek、智谱等）；本地 Ollama / vLLM TTS：云端 TTS；本地 Piper 切换：云端不可用时自动切本地 Provider，恢复后按策略决定是否切回 3.4 管理网站与前端 首版：FastAPI 提供 API + 静态页面（原生 HTML/CSS/JS） 后期：Vue 3 + TypeScript 完整 UI（复用同一套 API） 实时状态：WebSocket 推送在线 / 执行状态 安全：API Key 不回显、Host/Origin 校验、CSRF 防护、本地登录令牌 3.5 安全与通信底座（自研核心） 消息签名、过期、幂等、重放防护 动作白名单、参数校验、风险等级、二次确认 设备—网关、Agent—网关独立配对，用户/设备/电脑授权关系由网关持有 四、创新点 4.1 电子手办 IP × 电脑控制（核心差异） 把"手办的情感价值"和"语音控制电脑的实用价值"首次合体：用户买的是一个有陪伴感的桌面伙伴，顺带获得一个能真正操作电脑的生产力终端。不是"音箱加屏幕"，而是"会帮你的手办"。 4.2 感情陪护 + 实用控制双轮驱动 伊宝既做"解释一下 MQTT"这类对话陪伴，也做"打开微信""把办公室电脑音量调到 30%"这类实际控制。控制优先分流机制自动判断意图：操作类请求走电脑控制快路径，闲聊类走 AI 对话，避免把控制误当聊天、也避免把闲聊误发成电脑动作。 4.3 本地安全执行，模型不直接碰电脑 大模型只负责"理解和提出结构化动作提案"；真正的权限检查、动作白名单、参数校验、系统调用全部在用户自己的电脑里完成。即使云端模型被攻破，也无法越权操作用户电脑。高危动作（截图、静音、剪贴板等）还需限时二次确认。 4.4 云端 / 本地 / 离线三重模型模式 有网用云模型（更强），无公网切局域网本地模型（Ollama/FunASR/Piper 等），断网仍能对话和控制。隐私敏感用户可完全禁止公网 Provider。 4.5 用户隔离与隐私保护 每台设备、每台电脑、每个用户密钥独立；伪造 host_id 无法跨用户控制；默认不长期保存原始语音；日志不记录 API Key 与敏感内容。 4.6 电池无线 + Wi‑Fi/USB 双链路 接锂电池即可脱离电脑独立工作，仅通过 Wi‑Fi 控制电脑；Wi‑Fi 故障时可切 USB 备用链路，且切换过程不产生重复电脑动作。 五、团队分工（建议模板，按实际成员填写） 以下为基于技术栈给出的参考分工模板，请替换为真实姓名 / 角色。黑客松团队常见 3–5 人，可一人兼多责。 角色 核心职责 对应技术板块 嵌入式 / 固件 BOX3 固件、本板 BSP、音频前端（VAD/降噪）、Wi‑Fi 配网与安全配对、电池/低功耗 ESP-IDF、ESP-SR、libopus、TinyUSB 客户端 / 后端 本地网关、FastAPI 服务、Mac/Windows 控制 Agent、安全策略与确认服务 FastAPI、SQLite、Mosquitto、系统自动化接口 AI / 模型 ASR/LLM/TTS 集成、Provider 抽象、云/本地切换、意图分流 DeepSeek/智谱、Ollama/vLLM、FunASR、Piper 前端 / 产品 / IP 管理网站、交互与形象设计、电子手办 IP 人设与陪伴体验 HTML/JS、Vue3（后期）、IP 视觉与文案 测试 / 质量（可兼任） 安全验收、性能 Trace、核心场景演练（A–H） 签名/幂等/确认、P95 时延、续航实测 协作要点：硬件与安全底座（P0）先行冻结；控制闭环（P1 Mac）优先跑通再扩展 Windows 与多电脑；所有控制动作共用同一套 Policy/确认/校验管线，网站触发的测试动作与语音动作走完全相同的安全链路。 六、开发过程 按"先安全底座、再单平台闭环、后多平台与离线"的渐进路线推进，分六个阶段： P0 · 硬件和安全底座 实机确认主控、Flash、PSRAM、麦克风、引脚；建立本板 BSP（屏幕/按键/音频/Wi‑Fi/电池/USB）。 完善消息 Schema、签名、过期、幂等、统一错误码。 冻结 SoftAP 配网、安全配对、设备—主机授权模型。 完成条件：硬件独立测试通过、板级配置冻结、安全领域测试通过。 P1 · 电池 Wi‑Fi + Mac 闭环 + 简易网站 BOX3 电池供电、Wi‑Fi 配网、按键说话；本地客户端 + 简单管理网站 + 设备配对。 云端模型对话；Mac 打开应用 / 音量 / 窗口控制；TTS/LCD 反馈与 Trace。 完成条件：BOX3 不接 USB，经 Wi‑Fi 控制 Mac 并完成 AI 对话。 P2 · Windows 与多电脑 Windows Agent 与权限引导；多电脑注册、当前电脑切换、显式目标控制。 Mac/Windows 统一中立动作协议（Windows 11 为正式基线）。 完成条件：一台 BOX3 安全切换并控制一台 Mac 与一台 Windows。 P3 · 本地模型与离线闭环 本地 ASR/LLM/TTS Provider；云/本地健康检查与切换；CPU/内存/GPU 指标与过载降级。 完成跨系统/硬件档位的模型兼容矩阵、许可证与最低资源要求。 完成条件：断开公网后仍可对话并控制电脑。 P4 · 低功耗与双链路 电池曲线、背光、休眠、续航优化；USB 传输原型与 Mac/Windows 兼容测试。 Wi‑Fi/USB 主备仲裁、缓存与去重。 完成条件：达到实测续航目标，链路切换不产生重复电脑动作。 P5 · 产品化后台和发布 Vue 3 + TypeScript 完整 UI；安装包、开机启动、升级、日志导出与诊断。 PostgreSQL、审计、告警、备份、SBOM 与第三方许可证；固件签名 OTA、A/B 回滚、安全启动。 完成条件：安装、升级、72 小时稳定性与安全验收通过。 七、后续计划 7.1 工程侧（近期） 低功耗与 USB 双链路实测：把"待机/拾音/播放/重连功耗、实际续航"从目标变成实测数据；USB 主备切换完成跨平台验证后再对外承诺。 完整前端与发布：Vue 3 + TypeScript UI、一键安装包、固件 OTA 与安全启动。 模型兼容矩阵与许可合规：逐平台验证 ASR/LLM/TTS，明确许可证（如 Piper GPL-3.0 决策）、校验和与最低资源。 7.2 产品 / IP 侧（中期，差异化重点） 深化感情陪护：为伊宝建立稳定人设、记忆与多轮上下文，从"能对话"走向"懂你"的陪伴。 电子手办 IP 化：形象设计、表情/语气、可换装与周边，构建可识别、可运营的 IP。 社区与生态：用户自定义动作、语音包、手办性格，形成 UGC 与共创氛围。 7.3 商业 / 生态侧（长期） 面向办公、直播、无障碍（行动不便人群语音控电脑）等场景的垂直方案。 隐私优先的本地智能定位，作为"不想把数据上云"人群的首选桌面终端。 从单一手办扩展到"手办家族"，多设备协同、多角色分工的桌面智能生态。 附：核心验收场景 A 用户隔离：用户 A/B 各自配网，伪造 host_id 不能跨用户控制。 B 电池无线：BOX3 只接电池，同 Wi‑Fi 完成打开应用/调音量/窗口控制。 C 多电脑：一台 BOX3 配对 Mac+Windows，"切到 Windows"只发 Windows。 D 公网断开：自动切本地模型，仍完成一次对话 + 一次控制。 E 安全拒绝：模型生成任意命令/越界参数，网关与 Agent 均拒绝，无副作用。 F 重复与断线：同一 msg_id 重发 100 次只执行一次；断线不盲目重试。 G 链路切换：Wi‑Fi 故障切 USB 恢复会话，电脑动作不重复。 H 低功耗：空闲降背光与功耗，低电量触发保护策略。