# DeepEval 可运行 Demo：售后问题分流评测

这个 Demo 用 [DeepEval](https://github.com/confident-ai/deepeval) 检查一个简化的售后问题分流器。输入是用户描述，输出只能是 `少送核对`、`食品安全`、`配送问题` 或 `转人工`。样例数据给出了每条输入的预期标签，评测会逐条报告是否完全匹配。

这里的分流器是本地规则函数，作用是提供可重复的被测对象，并不冒充 AI 客服或真实订单系统。把它换成你的模型调用后，同一套评测数据和逻辑可以继续使用。

## 运行

需要 Python 3.12 和首次安装依赖时可访问 PyPI 的网络。无需 Docker、模型下载或 API 密钥。本机 Python 3.9 虽满足包声明的版本范围，但实测导入 DeepEval 4.3.0 会报错，因此请使用 Python 3.12。

```bash
cd DeepEval-Demo
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python run_eval.py
```

预期：4 条样例全部通过，进程退出码为 `0`，并生成 `report.json`。再运行 `python run_eval.py --simulate-regression`，脚本会故意把“少送”样例改成错误标签，预期报告 1 条失败、退出码为 `1`。这是演示评测拦截错误的验证动作。

## 如何换成你的实际产品

1. 在 `app.py` 的 `route()` 中接入你的模型或业务接口，让它返回**固定标签**。保留一个明确的无匹配兜底标签。
2. 在 `examples/cases.json` 中加入真实业务场景，逐条人工确认 `expected_output`。不要把生成模型的猜测直接当标准答案。
3. 运行 `python run_eval.py`；失败时看每条样例的输入、期望标签和实际标签，再决定是改模型提示词、业务规则，还是修正标准答案。
4. 将同一命令放入 CI。退出码为 `1` 时阻止合并；新增场景时先扩充样例，再比较前后结果。

`ExactMatchMetric` 是严格的字符级比较，适合分类标签、枚举值和固定回复。开放式问答可能有多个正确说法，不适合直接用完全匹配衡量质量。此 Demo 只验证离线评测路径，不涉及真实模型调用、在线流量、退款决策或隐私数据。

版本固定为 `deepeval==4.3.0`。参考：[官方 Exact Match 文档](https://deepeval.com/docs/metrics-exact-match)、[DeepEval 仓库](https://github.com/confident-ai/deepeval)；你的 Fork：[2514827566zzx-dev/deepeval](https://github.com/2514827566zzx-dev/deepeval)。
