模块 8 · 业务指标与交付艺术

模块 8 · 业务指标与交付艺术（第 12 周，最后一周）

💡 一句话总结：FDE 的真正杠杆不在技术指标，而在业务指标——技术跑通是基础，跑出客户能感知的业务价值才是终局。

🎯 本模块三大特点

📚 系统：模块 8 是 Residency 最后一周，业务指标 + 周报 + Playbook 沉淀——把 12 周的成果"打包"成可复用的资产
🔧 实战：本周产出 1 份业务方周报 + 1 个 Playbook + 1 张北极星指标看板
⚡ 不啰嗦：跳过所有理论，直接给模板

📖 学习导航

上一模块	本模块位置	下一阶段
模块 6 · 可观测性	模块 8 / 共 8 模块（第 12 周，最后一周）	阶段三 · 徽章认证

📅 一周时间表

时间	任务	产出
Day 1-2	定义北极星指标 + 业务指标看板	1 张业务指标看板
Day 3-4	写 1 份业务方周报	1 份周报
Day 5	沉淀 1 个可复用 Playbook	1 个 Playbook 文档

🚀 直接开始：3 个核心实战任务

任务 1：定义北极星指标

目标：从技术指标升级到业务指标
难度：⭐⭐
时间：2 天

典型错误：

❌ "我们 RAG 准确率做到了 90%" —— 业务方听不懂，也不关心

正确做法：把技术指标翻译成业务指标：

技术指标	业务指标
RAG 准确率 90%	客户业务问题首问命中率 90%（用户问一次就答对）
工具调用成功率 95%	95% 自动化任务无需人工干预
P95 响应 2s	用户等待时长 ≤2s（用户体验）
月成本 ¥30,000	单次客户咨询成本 ¥0.5（低于人工 ¥5）

北极星指标模板：

# 北极星指标定义 v1.0

## 1. 项目目标
[用一句话说明这个 AI 项目要帮客户达成什么]

## 2. 北极星指标（North Star Metric）
- **指标名称**：[如：客户问题首问命中率]
- **定义**：[精确描述]
- **当前值**：[如：90%]
- **目标值**：[如：≥95%]
- **衡量周期**：[如：周]

## 3. 关键支撑指标（Supporting Metrics）
| 指标 | 当前 | 目标 | 影响北极星 |
|---|---|---|---|
| 用户日活 | 200 | 500 | 强 |
| 一次解决率 | 88% | 95% | 强 |
| 用户满意度 | 4.2/5 | 4.5/5 | 中 |
| 单次成本 | ¥0.012 | ≤¥0.05 | 弱 |

## 4. 反指标（Counter Metrics，要监控但不要追求）
- 客服转人工率（不要过低，太低意味着 AI 在硬答）
- 平均会话时长（不要过长，说明在兜圈子）

## 5. 报告节奏
- 周报：业务方视角
- 月报：北极星指标趋势
- 季度：Playbook 更新

业务指标看板（给业务方看）：

┌────────────────────────────────────────┐
│  项目名称：XX 医院 AI 辅助诊断助手          │
│  数据周期：2026-10-07 至 2026-10-13         │
├────────────────────────────────────────┤
│                                          │
│  ⭐ 北极星指标：首问命中率                  │
│     本周：91%   上周：89%   目标：95%      │
│                                          │
│  📈 关键支撑指标                          │
│     用户日活：220（+10%）                  │
│     一次解决率：88%（+2%）                 │
│     用户满意度：4.3/5（+0.1）              │
│     单次成本：¥0.012（持平）              │
│                                          │
│  ⚠️ 需要关注                              │
│     - 罕见病问诊准确率偏低（73%）          │
│     - 周三服务降级 5 分钟（已恢复）         │
│                                          │
└────────────────────────────────────────┘

任务 2：写 1 份业务方周报

目标：用业务方看得懂的语言汇报本周进展
难度：⭐⭐
时间：2 天

反面教材（技术视角周报）：

# 周报

## 本周完成
- 优化了 RAG 分块策略
- 接入了 LangSmith 追踪
- 修复了 5 个 bug
- 加了 Guardrails

## 下周计划
- 继续优化 RAG
- 加更多评估用例

正面教材（业务视角周报）：

# 周报（第 12 周 / 共 12 周）

**项目**：XX 医院 AI 辅助诊断助手
**周期**：2026-10-07 至 2026-10-13
**FDE**：[姓名]

---

## 🎯 一句话总结
本周项目核心指标持续向好，首问命中率从 89% 提升到 91%；罕见病场景的准确率仍有较大优化空间，下周重点突破。

## 📊 北极星指标进展
- **首问命中率**：91%（上周 89%，目标 95%）📈
- 本周新增：常见病问诊量 +15%
- 待突破：罕见病问诊准确率仅 73%（低于均值 18%）

## 🚀 本周交付
1. **AI 助手覆盖新科室**：上线"心血管内科"问诊模块，已培训 30 位医生使用
2. **响应速度优化**：高峰时段响应时长从 3.2s 降到 1.8s（用户体验提升）
3. **安全防护加固**：通过红队测试 30 题，修复 5 个潜在风险点（合规要求）

## 🆘 本周问题与解决
- 问题：周三 14:00 服务降级 5 分钟（Postgres 故障）
- 影响：约 50 次问诊返回错误
- 修复：已切换主从部署，未来类似故障可在 1 分钟内自动恢复
- 预防：已加自动告警，下次故障会提前 5 分钟通知

## 💡 客户反馈
- 心内科主任反馈："AI 给出的鉴别诊断列表很有用，节省了我们 30% 的初步问诊时间"
- 建议：希望增加"用药提醒"功能（已加入 backlog）

## 📅 下周计划
1. 罕见病问诊准确率优化（目标 73% → 85%）
2. 用药提醒模块 POC
3. 完成项目最终交付物清单

## 📋 风险与请客户协助
- 需 IT 部门配合：周末凌晨 02:00-04:00 系统升级，请相关人员保持手机通畅
- 需业务部门配合：组织 1 次终端用户调研（已发邮件邀请）

任务 3：沉淀 1 个可复用的 Playbook

目标：把这个项目的成功经验沉淀成可被团队复用的文档
难度：⭐⭐⭐
时间：1 天

Playbook 模板：

# Playbook：[项目类型] AI 落地实战手册

> 这是我们做第 1 个 [项目类型] AI 项目时沉淀的最佳实践，
> 下次做类似项目，按这个手册走，能少踩 80% 的坑。

## 1. 项目类型识别
- 客户场景：[如：医院 AI 辅助诊断]
- 技术栈：[如：私有化 Qwen3 + Milvus + 自建 API]
- 关键约束：[如：数据不出域 + 等保三级]

## 2. 标准时间表（12 周）
| 周 | 关键交付 |
|---|---|
| 1-2 | 客户嵌入 + 业务画像 v1.0 |
| 3-4 | 解决方案设计 + ADR |
| 5-7 | LLM 系统开发 + 50 题评估 |
| 8 | 企业系统集成 |
| 9 | 私有化部署 |
| 10 | 安全审查 |
| 11 | 可观测性 + 混沌演练 |
| 12 | 业务指标 + 周报 + Playbook |

## 3. 关键技术决策
- 模型选型：Qwen3-72B（中文 + 私有化 + 性价比）
- 部署形态：完全私有化（满足等保三级）
- 评估方法：50 题 + Ragas 4 大指标
- 监控：LangSmith + Prometheus + Grafana

## 4. 常见坑与对策（Top 10）
| 坑 | 对策 |
|---|---|
| 决策人不配合 | 第 1 周就拉决策人开会 + 每周对齐 |
| 数据无法出域 | 提前确认 + 走私有化路径 |
| 业务方需求变更 | 第 1 周锁定范围 + 变更走 ADR |
| 评估指标不达标 | 第 7 周就要做评估，不要拖到第 12 周 |
| 上线后无人用 | 第 5 周开始拉业务方试用 + 收集反馈 |
| ... | ... |

## 5. 复用资产清单
- 客户业务画像模板
- ADR 模板（5 个标准决策）
- 50 题评估集构建方法
- 4 层防护 Guardrails 代码
- Helm Chart 模板
- 业务方周报模板
- 混沌演练脚本

## 6. 估算工时（人天）
- 客户沟通：10 人天
- 技术开发：25 人天
- 测试评估：10 人天
- 部署上线：5 人天
- 文档交付：5 人天
- **总计**：55 人天 / 12 周

## 7. 报价参考
- 项目报价：XX 万元（按 55 人天 × ¥X / 人天）
- 后续维护：每年 XX 万元

📚 系统学习：核心概念

概念 1：技术指标 vs 业务指标

维度	技术指标	业务指标
说话人	工程师	业务负责人 / 决策人
衡量什么	系统表现	用户 / 业务结果
例子	RAG 准确率、QPS	首问命中率、用户满意度、成本节约
谁来定	FDE + IT 部门	业务负责人

FDE 核心能力：把技术指标翻译成业务指标，让客户决策人看懂。

概念 2：业务方周报的 5 个原则

结论先行：第一段就讲"本周最关键的事是什么"
业务语言：把"准确率 90%"翻译成"90% 的问题用户问一次就答对"
可视化：能用图不用表，能用表不用文字
风险透明：主动暴露问题，不藏着掖着
请求协作：明确告诉客户"需要你做什么"

概念 3：什么是 Playbook

一句话解释：把 1 次成功的项目经验沉淀成"下次做类似项目照着抄"的标准化手册。

Playbook vs ADR vs 设计文档：

维度	Playbook	ADR	设计文档
粒度	项目级别	决策级别	系统级别
受众	团队 / 公司	团队	团队
时机	项目结束后	决策时	项目中
更新	持续优化	不更新	持续更新

FDE 实战建议：每个 Residency 项目结束都写 1 个 Playbook，积累 5 个就有"产品化"基础。

⚡ 避坑指南：常见错误

错误类型	错误做法	正确做法	为什么
只讲技术指标	"我们 RAG 准确率 90%"	翻译成业务指标	业务方看不懂 = 没价值
周报太技术化	复制粘贴 PR 列表	用业务语言重写	技术周报 = 客户读不下去
隐藏问题	"本周一切顺利"	主动暴露 + 给解决方案	信任崩塌始于隐瞒
不写 Playbook	项目做完就完事	强制沉淀	不沉淀 = 每个项目从零开始
业务方不参与	"开发完直接上线"	早期拉业务方试用	没人用 = 项目白做