← 返回首页
⛶
开场
→
工程约束
→
产品形态
→
分层架构
→
评测体系
→
BadCase 自愈闭环
→
取舍与降级
Layered Defense · Closed-Loop Quality
AI 客服系统
💰
降成本
错误成本决定 Flow 和 Agent 的边界
✅
控质量
确定性决定验收边界 · 概率不验概率
🔧
自治愈
LLM 做诊断发现 · 确定性门控做验收
三个工程约束 → 三个设计目标
约束定义可行域。客观边界内，设计目标从约束倒推。
1000×
错误成本不对称
退款金额算错 →
直接财务损失
产品参数回答不全 → 用户多问一句
合同条款遗漏 →
法律风险
→
不同错误成本的请求必须走不同确定性等级的路径。钱/法/合规走确定性 Flow（零 LLM），纯知识查询走 B2 RAG，只有长尾/模糊进 Agent。
ρ≈0
概率输出不可靠
LLM 输出非确定性
概率系统验概率系统 → 发散
→
验证层必须确定性（embedding 语义覆盖率，非 LLM）。auto_apply 只能由 rule 信号触发（非 LLM 语义判断）。诊断可以用 LLM（发现/归因），但判定必须确定。
N≫1
人改不过来
日均千条级对话
C/D 级 bad case 持续产生
人工修复速度 < 积累速度
→
必须自动诊断→修复→验证闭环。但自动修复不能引入新问题 → 多层门控 + 断路器。修不了的 case 直接回退模板回复，不硬修。
三个约束 → 三个设计目标
判断线① 错误成本 → 路由
💰 降成本 · 按风险路由
钱/法/合规走 Flow 零 LLM · B2 RAG Flash
只有长尾/模糊进 Agent ReAct
判断线② 确定性 → 验收
✅ 控质量 · 确定性底座
L1 确定性做验收锚点（100% ¥0）
L2 概率做发现器（10% 抽样）
依赖关系
🔧 自治愈 · 站在控质量肩上
控质量的确定性底座撑起自愈闭环
自愈反哺控质量：退化信号驱动规则迭代
产品形态 · 三 Tab 应用
对话、运营看板、质量运营。核心差异化：Pipeline Trace 定位组件 → BadCase 闭环自愈
💬
智能对话
📊
运营看板
🩺
质量运营
🔗 Pipeline 流水线
组件级定位
✅
L1 意图
1571ms
-
→
⏭️
B2 Flow
-
-
→
⏭️
B2 RAG
-
-
→
✅
Agent
10572ms
1.00
→
✅
推理
-
-
→
✅
工具
-
⬆根因
→
✅
回答
-
-
→
⏭️
直接生成
-
-
→
✅
护栏
-
-
→
✅
L1 质检
-
0.58
→
⏭️
L2 裁判
-
-
🏷️ BadCase 闭环
深挖 → Slide 5
① DiagnosticAgent
根因归因 · 三类归档
→
② RepairAgent
策略匹配 · Tier 1/2
→
③ VerificationAgent
覆盖率验证 · embedding
💬 对话页面
U
K7键盘续航多久？
AI
云智 K7：续航约
30 小时
（开背光 15h）
Agent ReAct
A
8.2s
📊 L1 六维
C 级
→ 🚨 触发
📊 运营看板
ⓘ demo 数据
1,247
📞 今日对话量
78.3%
✅ 自动解决率
12.1%
🛡 拦截率
¥0.82
💰 累计成本
分层防御架构 · 从约束推导
每一层的存在都可以追溯到 Slide 1 的三个物理约束
约束① 错误成本不对称
→
L1 social/transfer 零 LLM 短路
约束① 钱/法不可出错
→
B2 Flow 确定性执行 · 零 LLM
约束①② 概率+成本
→
B2 RAG Flash 快通道
约束③ 人改不过来
→
PostProcess 100% + BadCase 管道
L1 · 意图分类 + 参数提取
Regex 快速路径 + Flash LLM 分类
social/transfer 短路
→
business/ambiguous
继续下沉
▼ 非 social/transfer 继续
B2 · Flow 引擎
钱/法/合规 · 确定性执行
零 LLM · 确定性执行
→
B2 · RAG 快速通道
KB 检索 + Flash 格式化
Flash 单轮 · 敏感词绕过
▼ Flow 未命中 / RAG 检索分不够 → 升级 Agent
Agent · ReAct Loop
Think → Tool Call → Observe
max 5 步 · 动态发现
→
长尾/模糊
最后防线
▼ 所有路径汇聚
PostProcessPipeline · 100% 覆盖
确定性闸门在前（护栏+L1 inline 阻断）→ 概率闸门在后（L2+BadCase 异步触发）· 所有路径必经
C/D 级即时触发 · Guardrail FAIL 兜底回复
▼ Agent 基建 · 对应市场「工具编排 / 多模型路由 / 记忆」三高频词
🔌 工具层
Tool Registry 动态发现 · 加工具不改 Agent 代码 · 非硬编码 import
🧭 模型层
Gateway 多模型路由 · Flash→分类/RAG · Pro→Agent/Judge · 能力与成本匹配
🧠 长期记忆
经验复用 · 注入 Agent context 降首 token 延迟 · 全表扫描(demo 规模够用)
评测体系 · 不靠感觉，也不靠单次 judge
两层分界：能写规则的不用模型。噪声链：先量基线，再判改进。
L1 确定性规则
¥0 · 100% 覆盖
意图匹配、参数提取、安全护栏 —
能写规则的绝不靠模型
。可复现、零幻觉。
deterministic
L2 LLM-as-Judge
~¥100/月 · 10% 抽样
语义质量（相关性/事实准确性/完整性）—
规则覆盖不到的，交给模型
。多轮采样降偶然性。
model-based
BadCase 触发
C/D 级即时
L1/L2 低分自动进入
诊断-修复-验证
闭环（详见 Slide 5）
closed-loop
⚠ 噪声问题 → 先量基线，再判改进
同 case 多轮 judge
方差大
。直接 A/B 对比会被噪声淹没——
先搞清楚 judge 自己有多不准
，再判断改进是不是真的。
噪声基线 σ
→
多轮 trial
→
Δ > σ？
→
p < 0.05
碰巧概率
→
d ≥ 0.5
效应量
四个指标不是并列菜单——是一条链。
σ 定噪声天花板 → Δ 必须显著超过 → p 判"非随机波动" → d 判"大到值得改"。
链上每步不过，改进不算显著。
🎯 校准闭环
judge 不能只跑，要评 judge 自己准不准。
meta_eval
· 评 judge 自身准确率与一致性
judge_calibration
· 标注集 + factcheck，人类专家校准
每维度
独立 judge
（不一锅评）· 版本跟踪防 calibration drift
BadCase 闭环 · 坏了怎么修、修了怎么验
三 Agent 串行是安全约束，不是性能妥协。门控分两道：信号可信吗？修了安全吗？
三 Agent 串行管道 · 顺序就是安全约束
① DiagnosticAgent
Phase A: Agent 行为检查
Phase B: 声明提取 → 规则验证 → LLM entailment 兜底
根因按三类归档
→
② RepairAgent
策略匹配（Tier 1/2 分界）
多策略重试
系统级修复走 RegressionGate
→
③ VerificationAgent
Golden 模式：语义覆盖率对比
Fallback：修复前后声明覆盖
全程 embedding/规则 · 无 LLM
根因三类 · 分类决定修法
不同类走不同修复路线
hallucination
faithfulness
+2
-> prompt/kb 修复
no_kb_call
wrong_tool
+2
-> 工具路由修复
retrieval_miss
kb_gap
-> 索引/检索修复
修复策略两级 · 分界 = 影响范围
Tier 1 局部安全可逆
·
Tier 2 系统级需 A/B 验证
prompt_patch
kb_patch
+3
-> 只过第一道门控
contextual_index
rerank_enable
+1
-> 两道门控都过
门控两道 · LLM 信号不触发 auto_apply
第一道：信号可信吗？
（Tier 1/2 都过）
约束②
信号来源
rule 信号才候选
LLM 信号降权
约束③
诊断置信度
高置信才候选
约束②
不自相矛盾
诊断一致性
（诊断阶段·非 auto_apply 链）
第二道：修了安全吗？
（仅 Tier 2 过）
约束②
验证通过
修复后不降
约束③
金标回归
覆盖率不退化
约束③
断路器
回归率熔断止损
为什么 Tier 2 要多过一道？
局部修复错一个 case，系统级修复错一片。
Tier 2 改的是
系统检索行为
，影响所有用户。
A/B 验证（baseline vs candidate，hit_rate 显著提升）+ 金标回归不退化，两道都过才生效。
反馈信号：频次达标 → 自动提议 → 人工确认执行
🔍 检索退化
-> 调 hybrid 参数
📝 KB 覆盖缺口
-> 定位领域补 FAQ
🧠 决策偏航
-> 强化决策协议
🛡 安全漏出
-> 补护栏
设计取舍 · 每条选择绑回物理约束
取舍由约束定义：先看哪些方案不成立，剩下的才是选择。
分层防御
vs
All-in Agent
Agent架构
成本
约束①③
钱/法走 Flow 零 LLM（零幻觉）· 知识走 RAG Flash · 长尾进 Agent。每层独立扩展/失败/回滚。
主链路单 Agent
vs
多Agent协作
多Agent协作
约束①②
单 Agent ReAct（max5步·8tools）够用。多Agent 拆分=跨 Agent 通信延迟+职责重叠。BadCase 诊断才用三 Agent 串行（管道非主链路）。知道何时不该拆。
评估手搓两层
vs
开源评估库
评估体系
约束②③
L1 规则零成本 100% 覆盖（¥0）+ L2 LLM 10% 抽样兜底语义 false-pass。手搓维度精确对齐根因分类/修复策略/门控。代价:维护成本换维度一致性。
状态机门控
vs
LLM 自由裁定
状态管理·异常恢复
约束②③
VALID_TRANSITIONS 拦非法转移（failed->failed 被挡）。门控两道：信号可信 / 修了安全。LLM 信号不触发 auto_apply，rule 信号才候选自愈，低置信转人工。
多模型路由
vs
单模型兜底
推理成本优化
约束①
Gateway Flash->分类/RAG · Pro->Agent/Judge · fallback。按难度匹配档位，简单查询不烧 Pro。
Tool Registry
vs
MCP
MCP
约束①③
8 原子工具动态发现（非硬编码 import），走 OpenAI function calling。Registry 是 MCP 的简化同构：demo 规模用不上跨 LLM 复用与 server 分发，先跑通发现路径；生产化路线是 MCP 化。边界:MCP 代码零实现。
已知风险 · 怎么兜
Flow 无法完成
-> 升级 Agent，已查数据转交
Agent 幻觉
-> Guardrail 拦截 + C/D 进 BadCase 管道
auto_apply 错误修复
-> 断路器熔断 + RegressionGate A/B
embedding 切换
-> 维度校验，同维度也必重建
🛡 前置层
L1 regex 路径永不失败
高频请求直接分流
🛡 执行层
Flow escalate -> Agent
Agent 失败 -> 兜底回复
🛡 输出层
Guardrail FAIL -> 人工电话
C/D -> 诊断->修复->验证
每层统一接口 · 独立失败不阻断后续 · 分层防御是设计选择，非临时补丁。