把资深专家脑子里的判断逻辑变成规则与参数,把每一次预警、应对与复盘变成可检索的案例,再把这些案例变回培训内容。目标是让"为什么这条阈值是 8% 不是 5%"有存档可查。
需求说明书把"业务专家可直接参与"和"可度量地变准"列为两条独立目标,它们的共同前提是知识必须留在系统里,而不是留在某个人身上。
"美联储调息影响航运成本""战争导致航道中断概率"这类判断散在专家头脑中,新人无法复用,老人离职即流失。
处置过程与结果留在邮件与会议里,下一次同类事件重新从零判断,系统不能从自己的历史里学习。
调了一个阈值,没人记得当时为什么调、依据哪几条证据,也无法回答"比上一版变准了多少"。
谁写谁用,没有版本、没有评测分数,效果全靠感觉,换个人就跑不出同样的结果。
沉淀不是把文档存起来,而是把知识落成有主键、有版本、能被计算引擎消费的对象。否则只是网盘。
| 沉淀对象 | 形态 | 落到哪里 | 被谁消费 |
|---|---|---|---|
| 专家判断规则 | 基础严重度、强度/持续/可信度修正因子、因子重要性权重、条件式专家规则 | 模型参数表与规则库(R4 专家规则) | 概率评估引擎与预警判级 |
| 传导关系 | 因子到事件、事件到对象、对象到后果、后果到措施的五段边,带关系类型、影响程度与滞后期 | 图谱节点与边(第十二类资产之一) | 传导计算、因果句生成、前瞻推演 |
| 应对经验 | 采购、航运、合同、保险四栏措施与适用条件 | 措施库 | 预警四栏建议(不允许模型自由发挥) |
| 全过程案例 | 事件、预警、人工判定、实际影响回填、复盘结论的完整链 | 历史事件库 | 类比检索、先验标定、评测集、培训素材 |
| 提示词与模板 | 抽取、归类、报告各任务的模板及其输出契约 | 提示词模板资产,版本与评测分数成对记录 | 抽取层与分发层 |
| 决策依据 | 复核会纪要、否决理由分类统计、采纳与修改痕迹 | 审计与闭环记录 | 规则演进的追溯、阈值调优素材 |
闭环的价值不在于"有反馈",而在于每条反馈都有明确的极性与回流目标。反馈只产出建议与证据,不自动改参数,防止系统在无人负责的情况下漂移。
| 反馈 | 极性 | 谁触发 | 回流到哪里 |
|---|---|---|---|
| 专员确认预警准 | 正 | 风险管理专员 | 该规则或边的置信度上调样本,进正例池 |
| 预警不准(误报) | 负 | 风险管理专员 | 阈值过敏感候选,回测复算后产出阈值或权重建议 |
| 事件判为无关 | 负 | 业务专家 | 抽取与相关性判定的对抗样本,词库噪声词 |
| 抽取字段被人工修正 | 负 | 业务专家 | 提示词与输出契约缺陷样本,口径校验规则 |
| 结果层异动但无对应事件 | 负 | 系统自动(反向校验) | 未解释异动清单,补采词与关键词扩展建议 |
| 高置信但结果层长期无异动 | 负 | 系统自动(回测) | 高置信误报清单,降权或停用建议 |
| 专家采纳 AI 建议边 | 正 | 业务专家 | 该主题的 AI 提议采纳率统计,决定后续提议激进度 |
| 专家否决并选理由 | 负 | 业务专家 | 否决理由分类统计(因果不成立、幅度过大、数据不可得、重复、措辞),约束下一轮提议 |
候选边与候选阈值改动每周集中生成,每条附依据(事件编号、原文摘录、出处)与影响预览(若生效本周会有几条预警变化)。
理由分类是闭环质量的关键,不能只点"否"。高置信候选允许批量采纳但仍逐条留痕,低置信强制逐条并补依据。
候选堆积到阈值上限即告警,系统不得自动生效任何未复核项。这是反幻觉约束在治理层的版本。
复核纪要由 AI 生成初稿、专家确认后归档,成为规则演进的决策依据,可回溯每一次改动的来龙去脉。
要回答"这个季度比上季度准了多少",必须先有一组固定的、可重放的题目,以及每次都必出的一套指标。否则任何提升说法都无法核查。
| 维度 | 指标 | 门槛 |
|---|---|---|
| 抽取 | 关键字段准确率,且错值必须有标记 | 每字段 ≥ 90% |
| 去重 | 同事件合并、异事件不误合 | ≥ 95% |
| 分级 | 与专家定级一致性 | τ ≥ 0.5 |
| 校准 | 高概率组实际发生率显著更高 | 分组差异单调 |
| 漏报 | 未解释异动率 | ≤ 30% 且逐月降 |
| 可用性 | 晨报可直接使用率(人工改动低于 20%) | ≥ 80% |
| 成本 | 单条事件模型成本与全链路时延 | ≤ 现值 110% |
| 稳定 | 模型或信源失败时的降级行为 | 显式报错,禁止静默成功 |
培训不是独立写教材,而是案例与规则的自然投影。因此它排在案例库与闭环之后,不与前两者并行建设。
从历史事件库取代表性案例,隐去结论给出当时的信源片段,让学员判断类型、等级与应对措施,再与真实判定和概率分解对照。
每条规则与传导边都带证据引用与评审记录,可直接生成"为什么这么定"的说明文本,避免培训材料自创口径。
否决理由分类统计与对抗集天然是错例库,按主题聚合成培训专题(口径混用、翻译件误采信、旧闻重发)。
提示词与客户材料同密级,培训材料生成时不输出提示词正文;演示与培训环境的水印与生产可区分,且在生产固化不可误开。
闭环工作台的候选队列、采纳与否决、规则版本升版与受影响路径重放对照,以及历史事件库与类比检索,已在原型中可见(数据为示意)。
专家参与节奏需客户承诺(原约定双周一次、每次不少于 2 小时,第一期建议每周 30 分钟以养习惯)。无专家投入时,未复核项一律保持候选态。
培训生成能力依赖案例库积累量,未列入 1.0 验收,作为三期范围讨论。
提示词作为核心资产的归属与使用范围尚未确认,交付口径需在合同层面先定。