部署AI网关
当前版本的 AI 网关由健康检查、模型访问策略、AI 服务器池、模型转发策略和 AI 虚拟服务组成。客户端继续使用 OpenAI-API-Compatible 请求格式，只需把原后端模型地址替换为 AI 虚拟服务的监听地址。
本页介绍基础代理与普通推理组 Fallback。若需要按提问领域、任务需求和模型能力自动选组，请使用配置AI语义路由：还需准备健康语义引擎、配置能力标签，在服务器池选择语义算法，并在虚拟服务开启语义分析。只开启AI模式不会自动完成这些关联。
配置顺序如下：
- 创建 OpenAI-API-Compatible 健康检查策略。
- 为每类后端模型创建模型访问策略。
- 创建 AI 服务器池并配置模型推理组。
- 按需创建提示词模板和模型转发策略。
- 创建 AI 虚拟服务并关联 AI 服务器池和模型转发策略。
- 执行配置变更，并用客户端请求验证转发与故障回退。
配置后端LLM大模型
定义健康检查策略
OpenAI-API-Compatible 健康检查用于判断模型实例能否参与调度。 
- “存活检查”和“模型就绪检查”至少启用一项。存活检查验证模型服务接口可访问；模型就绪检查验证目标模型可用。
- 后端混合使用 Ollama、vLLM 等不同引擎时，可跟随模型访问策略中的协议、存活检查 URL 和 API-Key。
- 不同推理组承载不同模型时，可校验各推理组模型访问策略中配置的模型名称。
- 健康检查会访问后端服务，检查间隔应结合节点规模和推理服务承载能力设置，不宜过短。
详细字段参见健康检查。
添加模型访问策略
模型访问策略定义网关访问某个后端推理组的方式。 
- 选择后端协议：OpenAI-API-Compatible 或 Ollama。
- 配置后端 API-Key、Base URL、模型名称和存活检查 URL。
- 非必填的推理参数留空时保留客户端请求值；配置后由网关在转发前覆盖。
- 主备推理组使用不同模型时，分别创建策略并配置实际模型名称。发生 Fallback 后，网关会把请求模型名改写为备份推理组可用的模型。
模型访问策略在模型推理组中绑定，而不是在虚拟服务中绑定。
添加AI服务器池
创建服务器池并开启“AI 模式”。 
在服务器池中设置“推理组最少就绪实例数”，并添加一个或多个模型推理组。 
每个推理组需要配置：
- 推理组名称、优先级和推理组权重。
- 一项模型访问策略。
- 至少一个后端服务器节点，以及节点地址、端口和节点权重。
Fallback 按优先级等级工作，优先级数字越大，等级越高。网关按优先级从高到低汇总同一等级内的健康节点数；第一个达到“推理组最少就绪实例数”的优先级等级参与转发，较低等级作为备份。同一优先级内有多个推理组时，先按推理组权重分流，再按组内节点权重和服务器池负载均衡算法选择节点。
验证建议
创建后先确认服务器池及节点状态正常。可临时停止高优先级推理组的节点，验证请求是否切换到下一可用优先级；恢复节点后，再确认流量回到高优先级。
配置客户端AI访问入口
配置模型转发策略
模型转发策略用于请求进入网关后的提示词治理。 
- 使用允许和拒绝正则表达式检查消息内容。
- 配置检查范围：最后一条或全部历史消息、仅用户角色或全部角色。
- 按需配置提示词附加和提示词模板。
- 配置内容检查失败时返回的状态码和响应内容。
提示词模板必须先被模型转发策略选择，模型转发策略再关联到 AI 虚拟服务，才会生效。详细说明参见AI大模型策略。
配置虚拟服务
在虚拟服务配置流程中完成以下设置：
- 打开“启用AI模式”，AI 交互协议选择 OpenAI-API-Compatible。
- 处理方式选择 HTTP 代理或 HTTPS 代理。
- 服务器池选择已启用 AI 模式的服务器池。
- 如需提示词检查或改写，在 HTTP 代理处理配置中选择模型转发策略。
- 保存配置并点击“变更执行”。
配置生效后，向虚拟服务监听地址发送一次非流式请求和一次流式请求，确认状态码、响应内容、首字节时延、Token 统计和实际命中的模型推理组符合预期。
查看AI业务运行情况
点击控制台右上角的“数字大屏”图标，进入AI运维大屏。选择目标 AI 虚拟服务、调用方组织和统计时间窗口，可集中查看流量拓扑、请求与 Token 用量、模型分布、推理节点健康状态和事件信息。
发现异常后，结合虚拟服务日志核对请求结果，再查看对应资源的分析、事件、异常与告警。