提示词工程 SOP 工作流模板

流程总览

需求分析 → 模板设计 → 小样验证 → 测试集评估 → 评审发布 → 线上回归监控
   │            │            │             │             │            │
  明确目标     结构化模板    5~10 条       30~50 条      变更记录     效果与成本
  与边界      + 少样本      快速试错      打分对比       + 评审       持续跟踪

适用场景：任何把大模型输出当「生产资料」的团队——内容生产、客服质检、数据抽取、代码生成。个人使用可简化为「模板设计 + 小样验证」两步。

---

阶段一：需求分析

产出物：一张「提示词需求卡」。

## 提示词需求卡
- 任务目标：输入什么 → 输出什么（各一句话说清）
- 使用者：谁在用？频率多高？
- 输入样本：3~5 条真实输入（不要自己编造理想输入）
- 输出标准：什么样的输出算合格？列 3 条硬性标准
- 失败容忍度：错一条的代价是什么？（决定验收严格度）
- 边界：哪些情况允许输出「无法处理」？

关键原则：从真实输入出发。自己编的示例永远干净漂亮，线上输入才是一地鸡毛。

---

阶段二：模板设计

用固定骨架写提示词，团队内保持同一结构，便于互相读懂与维护：

# 角色
你是<{具体角色}>，擅长<{领域}>。

# 任务
<{一句话说清做什么，动词开头}>

# 输入
<input>
{用户输入}
</input>

# 规则
1. {硬性规则，如：只输出 JSON，不要解释}
2. {风格规则，如：口语化，每句不超过 20 字}
3. {边界规则，如：信息不足时输出 UNKNOWN，不要编造}

# 输出格式
{JSON Schema / Markdown 结构 / 具体示例}

# 示例
输入：{真实样例 1}
输出：{期望样例 1}
输入：{真实样例 2}
输出：{期望样例 2}

设计要点：

规则编号化：方便评审时逐条对照，也方便失败时定位违反了哪条
输出格式给 Schema 或示例，二者至少其一；程序解析场景必须给 Schema
必须包含边界规则：宁可让它承认不知道，也不要它编造
示例来自真实输入：至少 2 个，覆盖典型与边界情况

---

阶段三：小样验证

拿 5~10 条真实输入快速跑通，重点看两类问题：

1. 格式问题：能不能稳定解析？字段有没有缺失？ 2. 理解问题：有没有系统性的理解偏差？

每轮只改一处，改完重跑。小样阶段不要追求 100% 正确，80% 稳定即可进入测试集阶段——剩下 20% 往往是长尾输入，靠规则修补性价比低。

---

阶段四：测试集评估

建立 30~50 条的测试集（后续持续扩充），每条标注期望结果。用表格记录：

| 用例编号 | 输入摘要 | 期望要点 | 实际结果 | 格式合规 | 内容合格 | 备注 | |----------|----------|----------|----------|----------|----------|------| | T01 | …… | …… | …… | 是 | 是 | | | T02 | …… | …… | …… | 是 | 否 | 边界词漏识别 |

统计两个核心指标：

格式合规率：能被程序正确解析的比例（生产硬指标，目标 ≥ 99%）
内容合格率：人工判定内容达标的比例（目标按场景定，≥ 90% 起步）

每个候选版本全量跑一遍测试集再对比，不要凭单条输出的体感做决策。

---

阶段五：评审与发布

评审清单（全过才发布）：

[ ] 输出格式合规率达标
[ ] 内容合格率达标
[ ] 边界输入（空输入、超长输入、无关输入）行为符合预期
[ ] 无提示词注入风险：用户输入被分隔符包裹，指令不会被用户内容覆盖
[ ] 版本号已更新，变更说明已写（改了什么、为什么、指标对比）
[ ] 回滚方案明确：上一版本可随时切回

提示词存放在 Git 中管理，建议目录结构：

prompts/
├── article-summary/
│   ├── v1.md
│   ├── v2.md            # 当前线上版本
│   └── eval/T01-T50.csv # 测试集与评分记录
└── ...

---

阶段六：线上回归监控

抽样人审：每日随机抽 20~50 条线上输出人工打分，合格率跌破阈值（如 85%）触发告警
格式监控：解析失败的调用打点计数，格式合规率是 earliest warning
输入漂移检查：每月回顾新增的真实输入类型，超出测试集覆盖范围的新形态输入补进测试集
成本跟踪：记录平均输入/输出 token，输入暴涨往往是上游数据出了问题

---

三个最常见的失败模式

| 失败模式 | 根因 | 预防 | |----------|------|------| | 一改就坏，越修越乱 | 没有测试集，凭体感迭代 | 先建测试集，再动提示词 | | 示例完美，线上拉胯 | 测试输入不是真实输入 | 需求卡阶段就收集线上样本 | | 换模型后全面翻车 | 提示词与特定模型强耦合 | 测试集同时跑两个模型，择优适配 |

常见问题

下载链接失效怎么办？
请优先切换其他网盘渠道，并反馈失效链接。

会员能下载所有资料吗？
页面标注为会员专享的资料支持会员下载，具体以当前页面显示为准。

提示词工程 SOP 工作流模板

工作流信息