通过声明的能力、数据处理策略和成本预算选择模型,并明确禁止回退路径,确保敏感或高保障请求绝不会默默降级到不允许的层级。
包状态: AI辅助参考包。静态包验证已通过;实现场景尚未运行,且在稳定采用前需要人工领域审核。
决策
模型路由是一项策略决策,而非隐式的 SDK 默认。每个请求声明一个类别、数据敏感性和所需能力,如结构化输出、上下文长度或批准的 PII 处理。路由器选择满足能力和数据策略、尊重租户成本预算的层级,并在出现能力缺口时可能升级。仅允许在明确的白名单边缘回退到较低层级;禁止的回退会失败关闭,而非默默提供更便宜或不合规的模型。高保障和机密工作负载绝不能降级到经济层级。
范围
- 各层级定义及其能力和数据处理策略。
- 请求类别到层级的映射、升级触发条件和禁止回退矩阵。
- 每租户或每工作负载的成本预算及超出时的失败关闭行为。
- 路由决策和回退原因的可观测性。
不包含内容
- 模型响应后的结构化输出验证。
- 提示注入控制和输出护栏。
- 微调、托管或供应商合同谈判。
合约
- 每个请求在调用模型前必须解析到一个层级;启用时,临时的每次调用覆盖需经过审计的紧急权限。
- 所选层级或允许的升级目标必须满足结构化输出、最小上下文或批准的 PII 处理等能力要求。
- 机密或高保障类别禁止在成本压力或供应商故障时路由到经济层级,除非存在明确的人为批准的应急配置。
- 策略矩阵中的禁止回退边缘为硬错误,记录 fallback_reason;绝不在不允许层级上默默继续。
- 配置文件中定义的日预算或月预算超出时失败关闭;预算超出绝不降级层级,且路由器不从其他租户借用预算。
- 成功和失败的路由决策都会输出所选层级、回退原因(如有)及剩余预算快照,供运维审查。
实现指导
- 在配置中编码层级和回退边缘,由批处理和在线路径共享的单一路由模块消费。
- 将 data_class 与功能标志分离,防止产品团队误将机密工作标记为公开以获得更便宜的路由。
- 在发送负载前进行预检能力检查,避免为下游验证注定失败的调用付费。
失败处理和保障措施
- 选定层级的供应商故障时,仅尝试允许的升级或横向回退目标;否则返回不可用。
- 当配置文件禁用时,不记录提示内容,即使路由失败。
- 仅在能力和数据类别匹配时缓存路由决策;绝不跨租户缓存。
验证和运维
- 测量路由分布、禁止回退尝试、预算失败关闭率和升级频率。
- 针对模拟仅经济层可用的情况测试机密请求,期望失败关闭行为。
- 使用应急配置时,审计紧急权限覆盖并保留不可变记录。
本包中的可执行示例为固定装置和验收合约。先对包结构和元数据进行静态验证,然后在目标仓库中实现并执行场景。
采用假设
example.yaml中的名称和数值为采用配置文件,而非通用默认值。- OWASP LLM 和云端负责任 AI 指导为策略轴提供参考,但不强制指定供应商。
- 团队将层级名称映射到部署配置中的具体模型端点。