Day 2 · 前沿模型与部署形态

💡 一句话总结：面对 10 个候选模型 + 3 种部署形态，30 分钟内拍板——用决策矩阵 + ADR（架构决策记录）。

🎯 本节三大特点

📚 系统：Day 2 在 4 天 Bootcamp 中的定位是 统一技术语言——把所有候选方案摆到同一张桌子上做对比
🔧 实战：本节只练一件事——用决策矩阵做选型，写出能说服 CTO 的 ADR
⚡ 不啰嗦：不展开每个模型的技术细节，直接给可用的选型框架

📖 学习导航

上一节	本节位置	下一节
Day 1 · 角色与高能动性	Day 2 / 共 4 天	Day 3 · Agent 构建实战

🚀 直接开始：3 个实战任务

任务 1：模型选型决策矩阵

目标：把 4 个候选模型 + 客户场景需求，做成一张可对比的矩阵
难度：⭐⭐
时间：20 分钟

情景：某制造业客户需要一个能读懂技术文档、做工艺问答的 AI 助手。

## 客户场景需求（来自 Day 1 业务画像）
- 中文为主 + 少量英文技术术语
- 文档量约 5 万 PDF，需做 RAG
- 私有化部署要求（数据不能出域）
- 月调用量约 100 万 token
- 客户有 4 张昇腾 910B 推理卡

## 决策矩阵（5 分制）

| 维度（权重）        | GPT-4o | Claude Sonnet 4.5 | Qwen3-72B | DeepSeek-V3 | Llama-3.1-405B |
|---------------------|:------:|:-----------------:|:---------:|:-----------:|:--------------:|
| 中文能力 (25%)      |   4    |        4          |     5     |      5      |       3        |
| 长文档理解 (20%)    |   4    |        5          |     4     |      4      |       4        |
| 私有化可行性 (20%)  |   1    |        1          |     5     |      5      |       5        |
| 推理成本 (15%)      |   2    |        2          |     5     |      5      |       3        |
| 国产化适配 (10%)    |   1    |        1          |     5     |      4      |       2        |
| 工具调用 (10%)      |   5    |        5          |     4     |      4      |       4        |
| **加权总分**         | **2.85**|      **2.95**     |  **4.80** |   **4.65**  |     **3.45**   |

## 结论
→ 选 **Qwen3-72B**（私有化 + 国产化双适配，中文能力强，性价比最优）

执行结果：

1 张决策矩阵
选型结论 + 1 句话理由

任务 2：写一份 ADR（架构决策记录）

目标：把任务 1 的选型结论，写成 1 份能说服 CTO 的 1 页文档
难度：⭐⭐⭐
时间：30 分钟

模板（Michael Nygard 经典 ADR 格式）：

# ADR-001：选用 Qwen3-72B 作为制造业文档问答系统的基础模型

## 状态
2026-10-14 提议中

## 背景
客户为某制造业企业，需在 4 张昇腾 910B 上私有化部署 AI 文档问答系统。
月调用量约 100 万 token，数据敏感不能出域。

## 决策
选用 **Qwen3-72B-Instruct** 作为基础模型，通过 vLLM 部署。

## 备选方案
1. Claude Sonnet 4.5（API 调用，效果最好但违反数据出域约束）
2. DeepSeek-V3（开源，中文能力略弱于 Qwen）
3. Llama-3.1-405B（英文场景强，中文偏弱）

## 后果
### 正面
- 完全私有化，满足合规
- 昇腾 NPU 已官方支持
- 推理成本约 ¥0.0008/千 token，远低于 API

### 负面
- 中文需求 80% 场景可覆盖，长尾场景需 fine-tune
- 需自建 MLOps 团队负责运维

## 验证方法
上线后用 50 个真实业务问题做回归测试，目标首问命中率 ≥85%。

任务 3：跑通一次"私有化 Qwen + vLLM"最小部署

目标：在本地把选中的 Qwen3-72B 跑起来，确认技术栈可行
难度：⭐⭐⭐
时间：45 分钟

# 1. 安装 vLLM
pip install vllm

# 2. 启动模型服务（支持昇腾 / CUDA）
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen3-72B-Instruct \
    --tensor-parallel-size 4 \
    --max-model-len 32768 \
    --port 8000

# 3. 用 OpenAI 兼容接口调用
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen3-72B-Instruct",
        "messages": [{"role": "user", "content": "你好，请介绍你自己"}]
    }'

执行结果：

本地服务成功启动
一次成功的 API 调用响应

📚 系统学习：核心概念

概念 1：闭源旗舰 vs 开源自托管 vs 私有化部署

一句话解释：模型不是越强越好，是越匹配越好——选型本质是在能力、合规、成本之间找平衡。

三种部署形态对比：

形态	代表	优势	劣势	适用场景
API 调用	GPT / Claude / Gemini	效果最好、零运维	数据出域、成本高、受 API 限制	POC、小流量、合规不敏感
VPC 专属	Bedrock / Azure OpenAI	数据隔离 + 旗舰能力	仍走云、供应商绑定	中等流量、有合规要求
私有化	Qwen / DeepSeek / Llama 自部署	完全可控、成本可控	需 MLOps 团队、效果稍弱	大流量、强合规、国产化

概念 2：ADR（架构决策记录）

一句话解释：把"为什么选这个、不选那个"的决策过程写下来，未来回看和团队对齐时能追溯。

为什么重要：FDE 经常要跟客户 CTO 对话，"为什么不用 GPT？" 这种问题必须答得清楚——ADR 是最佳载体。

ADR 的 6 个标准章节：

状态（提议中 / 已通过 / 已废弃）
背景（业务约束）
决策（最终结论）
备选方案（对比过的其他选项）
后果（好的和坏的）
验证方法（怎么证明这个决策是对的）

概念 3：决策矩阵的 3 个常见坑

一句话解释：决策矩阵看起来客观，其实权重设置主观——所以矩阵只是起点，结论必须配上 1 句话理由。

3 个常见坑：

权重失衡：把所有维度等权处理，掩盖真正的关键约束
维度含糊：「模型能力」太宽，要拆成「中文 / 长文档 / 工具调用」
分数虚高：所有方案都打 4-5 分，没有真正区分度

⚡ 避坑指南：常见错误

错误类型	错误做法	正确做法	为什么
只看效果	"GPT-4o 效果第一，就用 GPT-4o"	先明确客户硬约束（数据出域、合规）再选	效果第一但违规 = 项目胎死腹中
等权决策矩阵	所有维度都 20%	按客户硬约束分配权重	合规要求比效果更重要时，要给它最高权重
不写 ADR	直接在群里说"我们用 Qwen"	1 页 ADR 留痕	没有 ADR，未来被挑战"为什么不用 X" 时无法回答
不做最小验证	直接基于文档选型	跑通 1 次最小部署	文档说能跑 ≠ 实际能跑，硬件适配经常有坑