智能体矩阵 / AGENT 05

知识沉淀与培训智能体

把资深专家脑子里的判断逻辑变成规则与参数,把每一次预警、应对与复盘变成可检索的案例,再把这些案例变回培训内容。目标是让"为什么这条阈值是 8% 不是 5%"有存档可查。

规划中 专家经验数字化 案例知识库 闭环与复核 提示词资产化 培训生成

解决什么问题

需求说明书把"业务专家可直接参与"和"可度量地变准"列为两条独立目标,它们的共同前提是知识必须留在系统里,而不是留在某个人身上。

经验是隐性的

"美联储调息影响航运成本""战争导致航道中断概率"这类判断散在专家头脑中,新人无法复用,老人离职即流失。

复盘不落库

处置过程与结果留在邮件与会议里,下一次同类事件重新从零判断,系统不能从自己的历史里学习。

规则改了什么没人知道

调了一个阈值,没人记得当时为什么调、依据哪几条证据,也无法回答"比上一版变准了多少"。

提示词是私人物品

谁写谁用,没有版本、没有评测分数,效果全靠感觉,换个人就跑不出同样的结果。

依据:《需求规格说明书 V1.2》1.2 目标 9「业务专家可直接参与」与目标 10「可度量地变准」、3.1.1 管理层目标 3「历史经验量化沉淀」、8.4 知识沉淀与传承。

三类沉淀对象

沉淀不是把文档存起来,而是把知识落成有主键、有版本、能被计算引擎消费的对象。否则只是网盘。

沉淀对象形态落到哪里被谁消费
专家判断规则基础严重度、强度/持续/可信度修正因子、因子重要性权重、条件式专家规则模型参数表与规则库(R4 专家规则)概率评估引擎与预警判级
传导关系因子到事件、事件到对象、对象到后果、后果到措施的五段边,带关系类型、影响程度与滞后期图谱节点与边(第十二类资产之一)传导计算、因果句生成、前瞻推演
应对经验采购、航运、合同、保险四栏措施与适用条件措施库预警四栏建议(不允许模型自由发挥)
全过程案例事件、预警、人工判定、实际影响回填、复盘结论的完整链历史事件库类比检索、先验标定、评测集、培训素材
提示词与模板抽取、归类、报告各任务的模板及其输出契约提示词模板资产,版本与评测分数成对记录抽取层与分发层
决策依据复核会纪要、否决理由分类统计、采纳与修改痕迹审计与闭环记录规则演进的追溯、阈值调优素材
依据:《需求规格说明书 V1.2》4.7 规则库维护、4.5 历史事件库、8.4 第 1 至 3 条;《全量规划 v1.1》§17 图谱、§19 闭环;《规则库与Harness迭代闭环》§3 对象模型、§8 提示词工程资产化。

反馈闭环:八个来源,全部落到字段

闭环的价值不在于"有反馈",而在于每条反馈都有明确的极性与回流目标。反馈只产出建议与证据,不自动改参数,防止系统在无人负责的情况下漂移。

反馈极性谁触发回流到哪里
专员确认预警准正风险管理专员该规则或边的置信度上调样本,进正例池
预警不准(误报)负风险管理专员阈值过敏感候选,回测复算后产出阈值或权重建议
事件判为无关负业务专家抽取与相关性判定的对抗样本,词库噪声词
抽取字段被人工修正负业务专家提示词与输出契约缺陷样本,口径校验规则
结果层异动但无对应事件负系统自动(反向校验)未解释异动清单,补采词与关键词扩展建议
高置信但结果层长期无异动负系统自动(回测)高置信误报清单,降权或停用建议
专家采纳 AI 建议边正业务专家该主题的 AI 提议采纳率统计,决定后续提议激进度
专家否决并选理由负业务专家否决理由分类统计(因果不成立、幅度过大、数据不可得、重复、措辞),约束下一轮提议
每周批量,不实时打扰

候选边与候选阈值改动每周集中生成,每条附依据(事件编号、原文摘录、出处)与影响预览(若生效本周会有几条预警变化)。

否决必选理由

理由分类是闭环质量的关键,不能只点"否"。高置信候选允许批量采纳但仍逐条留痕,低置信强制逐条并补依据。

没人复核就不生效

候选堆积到阈值上限即告警,系统不得自动生效任何未复核项。这是反幻觉约束在治理层的版本。

纪要即资产

复核纪要由 AI 生成初稿、专家确认后归档,成为规则演进的决策依据,可回溯每一次改动的来龙去脉。

依据:《规则库与Harness迭代闭环》§5 八个来源与"不自动改参数"结论、§6 AI 初梳与专家复核的交互设计;《需求规格说明书 V1.2》4.11 闭环、1.2 目标 10。

评测集与"变准了多少"

要回答"这个季度比上季度准了多少",必须先有一组固定的、可重放的题目,以及每次都必出的一套指标。否则任何提升说法都无法核查。

五类评测集
规模与来源都已定版,对抗集逐步积累。
  • 1
    事件抽取基准集15 条代表案例加 60 条可核验样本,测抽取字段准确率、事件分类与判重
  • 2
    分级一致性集20 至 30 条由专家独立盲评定级,与模型定级算一致性系数
  • 3
    对抗集旧闻重发、翻译转载、数值冲突、标题党、口径混用(湿吨与干吨、财年与自然年),逐条验证六条反幻觉约束是否真生效
  • 4
    生产回放集滚动四周全量数据,新版本重放后比对预警差异:新增、消失、漏报
  • 5
    慢变量回看集位相与历史同期、公告与实际生效档位,测区间覆盖率与阈值映射正确率
每次评测必出的指标
未过的项不得显示为生效状态,切换主模型前先影子运行一周。
维度指标门槛
抽取关键字段准确率,且错值必须有标记每字段 ≥ 90%
去重同事件合并、异事件不误合≥ 95%
分级与专家定级一致性τ ≥ 0.5
校准高概率组实际发生率显著更高分组差异单调
漏报未解释异动率≤ 30% 且逐月降
可用性晨报可直接使用率(人工改动低于 20%)≥ 80%
成本单条事件模型成本与全链路时延≤ 现值 110%
稳定模型或信源失败时的降级行为显式报错,禁止静默成功
依据:《规则库与Harness迭代闭环》§7.1 评测集构成、§7.2 评测指标、§7.3 切换门禁;《全量规划 v1.1》§16.2 验收标准与 §19.5 门槛表;纪要 M-15(时效与成本口径)。

培训能力(三期开放)

培训不是独立写教材,而是案例与规则的自然投影。因此它排在案例库与闭环之后,不与前两者并行建设。

场景重现

从历史事件库取代表性案例,隐去结论给出当时的信源片段,让学员判断类型、等级与应对措施,再与真实判定和概率分解对照。

规则讲解

每条规则与传导边都带证据引用与评审记录,可直接生成"为什么这么定"的说明文本,避免培训材料自创口径。

错例集

否决理由分类统计与对抗集天然是错例库,按主题聚合成培训专题(口径混用、翻译件误采信、旧闻重发)。

保密边界

提示词与客户材料同密级,培训材料生成时不输出提示词正文;演示与培训环境的水印与生产可区分,且在生产固化不可误开。

依据:《需求规格说明书 V1.2》8.4 第 2、3 条;《规则库与Harness迭代闭环》§8 保密要求;《私有化部署与合规方案》§8 门禁 G-8。

当前边界

已可演示的部分

闭环工作台的候选队列、采纳与否决、规则版本升版与受影响路径重放对照,以及历史事件库与类比检索,已在原型中可见(数据为示意)。

依赖客户投入

专家参与节奏需客户承诺(原约定双周一次、每次不少于 2 小时,第一期建议每周 30 分钟以养习惯)。无专家投入时,未复核项一律保持候选态。

培训模块不承诺交付期

培训生成能力依赖案例库积累量,未列入 1.0 验收,作为三期范围讨论。

提示词归属待定

提示词作为核心资产的归属与使用范围尚未确认,交付口径需在合同层面先定。

依据:《规则库与Harness迭代闭环》§6 节奏、§8 保密、§12 待确认;《需求规格说明书 V1.2》10.2 关键成功因素、11.4 议题 Q-46。
示意数据 本页为前端原型说明,未接入实时数据源