AI大模型策略
点击【负载流量管理-策略配置-AI大模型策略】进入AI大模型策略菜单。当前版本提供“模型转发策略”、“模型访问策略”、“模型提示词模板”、“AI 调用方管理”和“API-Key 管理”五个页签。
各项配置的作用位置不同：
- 模型转发策略作用于客户端请求进入 AI 虚拟服务之后，用于提示词检查、提示词附加和模板替换。
- 模型访问策略作用于网关访问后端推理组之前，用于适配后端协议、鉴权、模型名称和推理参数。
- 模型提示词模板定义可复用的消息模板，需要被模型转发策略引用后才会生效。
- AI 调用方管理定义客户端所属的部门、团队或应用及其模型权限、配额和限流规则。
- API-Key 管理为调用方分配客户端访问密钥，并设置有效期、启停状态和来源白名单。
模型转发策略
点开“模型转发策略”页签，可查看策略列表，并按名称查询、新增、查看、修改或删除策略。 
主要配置项说明如下：
- 允许内容、拒绝内容：使用正则表达式检查消息内容。配置允许规则后，消息至少匹配一条允许规则才能继续；命中任意拒绝规则时，请求被拒绝。
- 检查全部会话历史：关闭时只检查最后一条消息；开启后检查请求中的全部消息。
- 检查全部角色：关闭时只检查用户角色消息；开启后检查全部角色消息。
- 自定义失败响应：可配置检查失败时返回给客户端的 HTTP 状态码和响应内容。
- 前置提示词、后置提示词：在原请求消息基础上附加统一提示词。
- 提示词模板：选择允许用于模板替换的模型提示词模板。
生效位置
创建模型转发策略后，需要在 AI 虚拟服务的 HTTP 代理处理配置中选择该策略。仅创建策略不会改变转发行为。
安全与合规
在模型转发策略配置中展开“安全与合规”，可设置内容安全、越狱风险和个人敏感信息（PII）的检测处置。 
| 配置项 | 说明 |
|---|---|
| 内容安全处置、越狱风险处置 | 可选择“记录”或“拒绝”。选择“记录”时保留命中信息；选择“拒绝”时，达到相应风险阈值的请求被拒绝。 |
| 内容安全风险阈值、越狱风险阈值 | 取值范围为 0～1，分别与语义分析返回的风险分数比较。 |
| PII 检测规则 | 可勾选身份证、手机号、车牌、银行卡、邮箱、IP 地址、统一社会信用代码、邮编、URL、API Key/Token 等规则；不勾选时不启用这些规则。 |
| PII 命中处置 | 任一已启用规则命中后，按统一的“记录”或“拒绝”设置处理。 |
使用语义安全检测时，还需在引用该策略的 AI 虚拟服务中开启语义分析。仅配置模型转发策略不会开启虚拟服务的语义分析。检测结果和安全拒绝原因可在AI语义路由日志中查看。
新增模型转发策略
在“模型转发策略”页签下，点击搜索栏下方“新增”按钮，打开新增页面。 
修改模型转发策略
在策略列表中找到目标条目，点击操作栏“修改”按钮。 
删除模型转发策略
在策略列表中找到目标条目，点击操作栏“删除”按钮。 
模型访问策略
点开“模型访问策略”页签，可查看策略列表，并按名称查询、新增、查看、修改或删除策略。 
模型访问策略支持 OpenAI-API-Compatible 和 Ollama 两类后端协议，主要用于以下配置：
- 存活检查 URL、模型名称、API-Key：定义访问后端模型服务所需的地址、模型和鉴权信息。
- OpenAI-API-Compatible Base URL：用于统一改写请求后端地址。
- Ollama 参数：可配置 keep alive 和响应格式等协议参数。
- 请求超时时间：限制单次后端模型请求的等待时间。
- 强制流式响应：强制请求使用流式模式；该选项在配置模型名称后显示。
- 推理参数：可覆盖 max tokens、temperature、frequency penalty、presence penalty 和 top p 等参数。
非必填的覆盖项留空时，网关保留客户端请求中的对应值；配置后，网关在请求后端模型前使用策略值进行改写。因此，在主备推理组使用不同模型名称或不同后端协议时，应为各推理组分别创建模型访问策略。
生效位置
模型访问策略在 AI 服务器池的“模型推理组”中绑定。同一推理组内的节点共用该策略。
智能路由配置
在新增或修改模型访问策略时，展开“智能路由配置”，填写后端模型真实具备的能力。采用“AI 语义智能路由”的服务器池会将这些信息与请求的分析结果进行比较。
| 字段 | 配置方法与易错点 |
|---|---|
| 擅长领域 | 可多选，如“法律”“经济学”“商业”。表示模型擅长的领域，不是要求请求同时属于所有已选领域；不要为增加命中机会勾选模型并不擅长的领域 |
| 支持意图 | 新增策略或已有策略缺少该项配置时，页面默认选择“通用问答”；可按模型实际能力修改，也可多选“翻译”“摘要”等。该项描述模型能完成的任务；材料属于法律领域，不代表本次任务一定是通用问答，也可能是合同翻译或条款摘要 |
| 推理方式 | 按实际模型能力选择“通用”“深度推理”或“可切换”；修改此项不会让后端模型自动获得新的推理能力 |
| 外部知识能力 | 按真实后端能力选择“无”“检索增强”或“联网”；“外部”指模型自身知识之外，包括内部制度知识库，不只指互联网。选择标签不会自动部署知识库或打开模型的联网功能 |
| 语言偏好 | 按模型的实际语言表现选择无偏好、中文优先或英文优先 |
| 质量等级、成本等级及输入/输出价格 | 提供质量与成本比较所需的信息；价格单位是每百万 Token，不是单次请求价格。不确定时应先核实，避免凭标签名称猜测实际表现 |
政府、金融场景可按以下方式命名和配置推理组。推理组名称用于说明业务用途，领域选项仍应按后端模型的实际能力填写；当前没有独立的“政务”或“金融”领域标签。
| 推理组示例 | 擅长领域 | 任务示例 |
|---|---|---|
| 法律合规助手 | 法律 | 分析给定采购合同中的责任条款 |
| 经济金融助手 | 经济学、商业 | 解释利率变化对企业融资成本的影响 |
| 通用办公助手 | 通用 | 改写通知、整理会议纪要 |
演示多标签时，可以将法律合规助手扩展为兼具“法律”和“经济学”的综合助手。它可以分别匹配法律问题和经济学问题，不需要一句提问同时包含两个领域；这是在基础配置之上的另一种配置状态。新增领域标签也不代表这个推理组自动排在其他组之前。
领域只是多个比较维度之一。模型命中领域、但没有满足本次请求的部分推理或知识偏好时，仍可能参与选择；这不等于它一定胜出。最终结果还取决于其他候选模型的任务能力、可用状态和适用的运行数据，不能按标签总数或固定的“先领域、再意图”顺序判断。
外部知识能力如何填写
| 选项 | 适用后端与边界 |
|---|---|
| 无 | 后端未接入知识库检索或联网查询；仍可处理用户在提问中提供的合同、制度等材料 |
| 检索增强 | 后端已接入知识库检索，例如检索本单位采购制度、金融业务规程；知识库内容、更新频率和访问权限由实际后端管理 |
| 联网 | 后端已具备查询网络资料的能力，例如核对公开发布的政策资料；能访问哪些网站由后端及网络访问控制决定 |
当请求的事实核查需求达到服务器池设置的阈值时，当前语义选路将“检索增强”和“联网”都视为知识能力匹配，不会在这一维度进一步区分“应查内部知识库”还是“应查互联网”。这项标签不能强制限定请求的访问范围，也不能替代知识库权限、网络隔离或数据访问控制。涉及内部资料时，应在实际后端落实相应限制。
验证时应分别检查请求是否选到预期推理组、后端是否检索到了正确资料。路由命中不能证明回答内容正确、引用可靠或已经满足合规要求。
共用策略的影响
多个推理组可以引用同一模型访问策略。修改它的模型名称、能力标签或鉴权信息前，应核对引用关系，避免同时改变多个组。需要让不同组具有不同领域或任务能力时，为它们分别建立策略。
能力标签保存后，还需在服务器池的模型推理组中选中该策略，并执行配置变更。客户端验证自动选路时使用 model: "auto"；模型访问策略中的“模型名称”则填写实际后端模型名称，两者作用不同。完整操作见配置AI语义路由。
新增模型访问策略
在“模型访问策略”页签下，点击搜索栏下方“新增”按钮，打开新增对话框。 
修改模型访问策略
在策略列表中找到目标条目，点击操作栏“修改”按钮。 
删除模型访问策略
在策略列表中找到目标条目，点击操作栏“删除”按钮。 
模型提示词模板
点开“模型提示词模板”页签，可查看模板列表，并按名称查询、新增、查看、修改或删除模板。 
模板消息可使用双花括号声明变量，例如 。客户端请求使用模板时，需要在请求体顶层传入与配置一致的 template_name，并提供模板变量值。系统只会使用当前模型转发策略已经选择、且名称完全匹配的模板。
注意
模板创建后还需要在模型转发策略中选择，并将该转发策略关联到 AI 虚拟服务，才能参与请求处理。
新增模型提示词模板
在“模型提示词模板”页签下，点击搜索栏下方“新增”按钮，打开新增对话框。 
修改模型提示词模板
在模板列表中找到目标条目，点击操作栏“修改”按钮。 
删除模型提示词模板
在模板列表中找到目标条目，点击操作栏“删除”按钮。 
AI调用方管理
打开“AI 调用方管理”页签，可按调用方名称查询，查看上级调用方、Token 总配额、已用配额、重置周期、TPM/RPM 限制和配额耗尽策略。点击“切换至树状视图”可查看调用方层级及关联的 API-Key；点击“切换至列表视图”返回列表。 
新增AI调用方
点击“新增”，填写调用方名称及配额、模型权限等配置，再点击“确定”。 
| 配置项 | 说明 |
|---|---|
| 调用方名称 | 设置便于识别的部门、团队或应用名称。 |
| 上级调用方 | 选择所属的上级调用方；留空表示顶级调用方。 |
| Token 总配额 | 累计 Token 使用上限，0 或留空表示不限。 |
| 配额重置周期 | 可选择“按月”、“按周”或“不重置”。 |
| TPM 限制 | 每分钟 Token 上限，0 或留空表示不限。 |
| RPM 限制 | 每分钟请求数上限，0 或留空表示不限。 |
| 跨虚拟服务共享限制 | 开启后，多个虚拟服务引用该调用方时，共用此处的 TPM/RPM 上限。 |
| 允许模型列表 | 每行填写一个允许访问的模型名称；留空表示不通过允许名单限制模型。 |
| 禁止模型列表 | 每行填写一个禁止访问的模型名称，禁止名单优先于允许名单。 |
| 配额耗尽策略 | “硬性熔断”在配额耗尽后拒绝请求；“共享透支”允许累计 Token 配额耗尽后向上级调用方借用可用配额，TPM/RPM 限制不透支。 |
同一虚拟服务在多转发引擎上运行时，平台统一执行调用方的配额限制。多个虚拟服务需要共用 TPM/RPM 上限时，开启“跨虚拟服务共享限制”。
调用方创建后，还需为其创建 API-Key，并在 AI 虚拟服务中开启限制AI调用方、选择允许访问的调用方。
修改、管理Key与删除
在调用方列表操作栏中点击“修改”，可更新配额和模型权限等配置；点击调用方名称可查看详情。点击“管理Key”，可进入该调用方的 API-Key 列表。
删除调用方前，先检查下级调用方、关联 API-Key 及虚拟服务引用，调整相关关联后再点击“删除”并确认。
API-Key管理
打开“API-Key 管理”页签，可按名称和调用方查询密钥，查看所属调用方、创建时间、过期时间、是否过期、子网白名单及启用状态。 
一个 API-Key 关联一个调用方，一个调用方可以关联多个 API-Key。此处的密钥用于客户端访问 AI 虚拟服务；模型访问策略中的 API-Key 用于网关访问后端模型服务，两者应分别配置。
新增API-Key
点击“新增”，选择所属调用方并填写以下配置，再点击“确定”。调用方尚未创建时，可通过“所属调用方”右侧的“新增”按钮创建。 
| 配置项 | 说明 |
|---|---|
| 名称 | 设置用于识别该密钥的名称。 |
| 所属调用方 | 选择该密钥归属的调用方，应用其模型权限和配额设置。 |
| 启用状态 | 控制该密钥是否可用于访问；关闭后不能继续使用该密钥发起请求。 |
| 过期时间 | 设置密钥有效期，留空表示永不过期。 |
| 子网白名单 | 每行填写一个允许访问的 IP 或地址段，支持界面提示的 IPv4、IPv6 地址及地址段格式；留空表示不限制来源。 |
创建后可在列表中点击显示图标查看密钥，或点击“复制”获取密钥，供客户端在请求中使用。创建 API-Key 不会自动把调用方加入某个虚拟服务的允许列表。
修改、启停与删除
点击密钥名称可查看详情；点击操作栏“修改”，可调整所属调用方、有效期和白名单等配置。列表中的“启用状态”开关可直接启用或禁用该密钥。
需要撤销密钥时，点击操作栏“删除”并确认。更换或撤销客户端正在使用的密钥前，应先完成客户端的密钥切换。