Skip to content

虚拟服务 ​

虚拟服务功能实现,为每个虚拟服务器配置一个公共 IP 地址、多个端口,为所有入站客户端请求提供服务,同时可对客户端的 IP 段进行黑白名单设置、最大并发连接数限制。

虚拟服务既可以配置到包含多台设备的“流量组”中(适用于多台设备已经构建了转发引擎集群、流量组的场景),它将在流量组下的所有设备中生效;也可以配置到一台“设备”上,此时该虚拟服务将仅在指定设备上生效。

点击【负载流量管理-虚拟服务】菜单,默认显示本地虚拟服务列表: 虚拟服务列表

  • 查询区域: 可通过 “名称”、“服务器池”属性,进行条件查询操作。点击“查询”按钮执行查询操作,点击“重置”按钮将查询条件清空;
  • 数据区域: 列表中,点击服务器池名称,跳转至服务器池的详情页。

新增虚拟服务 ​

点击列表上方“新增”按钮,弹框打开虚拟服务新增页面,可添加/配置新的虚拟服务信息。 可选择模板快速填写虚拟服务信息: 虚拟服务模板

绑定一主多辅XDP流量组 ​

对象类型选择“流量组”,选择已准备好的XDP组,再选择属于该组的业务浮动IP和监听端口。HTTP业务选择“HTTP代理”,关联真实服务器池及HTTP策略;保存后执行配置变更,再从客户端核对响应码、内容和后端实际收到的请求。

XDP在引擎之间分配入口流量,服务器池算法则在后端节点之间选择,两者不是同一层负载均衡。主引擎自身也可能处理业务,不能只看入口所在节点判断实际处理节点。

在HTTP策略中按网络规划选择“源地址转换”,并核对所有组成员到后端的路由与回程。使用“接口IP地址”时,可用后端实际连接来源识别处理请求的引擎;使用共享地址池或VIP作为来源时,需要结合成员转发记录。源地址转换不是XDP分流开关,也不能替代后端回程配置。

同一源IP的请求可能持续命中同一成员。验证全组参与处理时,使用多个源IP并关联后端记录;验证已有连接时,记录切主前后是否使用同一连接,不能以自动重连后的成功代替连接保持。步骤见真实后端与源地址转换及已有连接的验证方法。

修改虚拟服务 ​

选择需要修改的虚拟服务信息,点击此用户所在行操作栏的“配置”按钮,进入虚拟服务修改页面。 虚拟服务修改

删除虚拟服务 ​

选择需要删除的虚拟服务信息,然后点击操作栏的“删除”按钮,可对路由虚拟服务进行删除操作。 虚拟服务删除

保存模板 ​

在查看或修改虚拟服务时,点击下方“另存为模板”按钮,在弹出的对话框中输入模板名称,点击确定即可将该虚拟服务配置存为模板。 虚拟服务保存模板

AI模式 ​

AI 虚拟服务用于向客户端提供统一的 OpenAI-API-Compatible 访问入口。该功能需要有效的 AI 网关授权。

在虚拟服务配置界面打开“启用AI模式”,AI 交互协议默认为“OpenAI-API-Compatible”。 虚拟服务AI模式

配置时还需要完成以下关联:

  • 处理方式选择 HTTP 代理或 HTTPS 代理。
  • 服务器池选择已经启用 AI 模式的AI服务器池,普通服务器池不能用于 AI 调度。
  • 如需提示词检查、模板替换或提示词附加,在 HTTP 代理处理配置中选择模型转发策略。
  • 保存后点击“变更执行”,使配置在转发引擎上生效。

开启 AI 模式后,系统会按大模型请求特点调整请求体大小、代理超时和失败重试等代理参数,并启用负载访问日志及请求头日志。提交前应检查自动调整后的参数是否符合业务要求。

AI 虚拟服务生效后,可在虚拟服务日志中查看提示词 Token、生成 Token、结束原因、命中的模型推理组、首字节时延和模型响应耗时等 AI 字段。

启用语义分析 ​

使用语义路由时,在 AI 模式下打开“启用语义分析”,并设置“语义引擎选择模式”。语义引擎分析请求的领域和任务需求,真正生成回答的仍是服务器池中的模型推理节点。

AI虚拟服务的语义分析开关与引擎绑定

配置项使用方法
启用语义分析让虚拟服务使用语义分析能力;同时核对引用的服务器池是否选择“AI 语义智能路由”
自动选择由系统选择语义引擎,不需要在本页填写手动列表;仍需在平台中部署可用的语义引擎
手动选择在“语义引擎”中选择指定引擎,可多选;用于明确本服务使用哪些引擎,保存前不能留空

首次配置建议先确认语义引擎的服务状态为健康,再使用手动选择绑定目标引擎,便于逐项核对。该关联配置在虚拟服务上,不能通过创建模型转发策略或给服务器池命名来替代。

“限制AI调用方”控制访问授权,与是否开启语义分析是两项独立配置。若开启限制,应同时选择允许的调用方,并让客户端使用相应凭证;不要把被拒绝的请求当成语义选路失败。模型访问策略中的后端 API-Key 用于网关访问后端,也不能替代客户端凭证。

用聊天客户端验证 ​

保存并执行配置变更后,将聊天客户端的 OpenAI 兼容地址指向本虚拟服务,选择自动模型。请求中的模型字段应为 model: "auto";若客户端明确指定具体后端模型,就不是在验证同一条自动选路路径。

以 AIChat 为例,配置的客户端模型名可以带有连接名称前缀,但发给网关的模型值应为 auto。每个对照问题新建会话,先核对请求成功,再查看虚拟服务日志中的命中推理组与实际请求模型。仅凭回答内容或客户端展示的模型名称,不能确认选中了哪个后端。

关闭某个推理节点后,要先执行配置变更,再发送新的请求;此前已经开始的聊天与关闭后的新请求应分开观察。恢复节点后也应重新请求验证。完整配置与领域标签对照示例见配置AI语义路由。

虚拟服务详情 ​

在虚拟服务列表点击虚拟服务名称可查看该虚拟服务详情: 虚拟服务查看 每个虚拟服务详情页面分 5 个模块:配置信息、分析、事件、异常、拓扑。

配置信息 ​

在虚拟服务详情页面中,顶部的Tab页签点击第一个“配置信息”,可查看该虚拟服务的配置详情; 虚拟服务配置信息

分析 ​

在虚拟服务详情页面中,顶部的Tab页签点击“分析”,可查看该虚拟服务流量可视化界面: 虚拟服务分析 虚拟服务监控统计的是双向流量。

A 区各字段含义如下: 虚拟服务端到端时延

  • 客户端时延:四、七层有效,客户端与负载均衡之间的 TCP RTT 时延;
  • 服务器时延:四、七层有效,负载均衡与服务器之间的 TCP RTT 时延;
  • 应用响应:七层有效,从负载均衡开始转发请求,到服务器返回第一个报文的间隔时间;
  • 数据传输:七层有效,服务器传输 HTTP 包体所用的时间;
  • 总时间:四、七层有效,处理一个请求的总耗费时间;

C 区展示该虚拟服务下的服务器池列表信息,服务器池名称前的图标表示服务器池状态,右侧数字表示服务器池下的节点数量: 虚拟服务服务器池 D 区展示该虚拟服务对应时间段内“端到端时延”、“吞吐量”、“新建连接”、“每秒请求数”: 虚拟服务小图表 交互功能参见【监控与告警-监控】章节的“分析”介绍。

日志 ​

记录前提 ​

访问日志按实际命中的规则控制。显式规则在分发规则编辑页开启“存储到日志中心”;默认规则在虚拟服务编辑页开启“业务日志存储到日志中心”。这两个位置分别设置,开启默认规则不会替代其他规则的设置。

保存并执行必要的配置变更后,发送新的业务请求,再查询对应时间段。开启日志不会补录历史请求;TLS 握手等早期失败也可能没有完整 HTTP 访问记录。

配置或查询项含义与注意事项
存储到日志中心让对应规则的访问日志进入内置查询链路
记录全部 HTTP 头部增加请求及响应头部记录,可能含凭证;按排障需要开启,分享前脱敏
每秒上报日志数上报限额,0 表示不限制;超限时不能保证每个请求都有日志
导出到外部系统独立的外发开关,还需配置承载引擎的 Syslog 目标;不等同于开启内置日志
时间与过滤条件时间应覆盖请求发生时刻,核对时区;无结果时先清理过窄条件

查询与详情 ​

虚拟服务日志,可在虚拟服务详情页的“日志”标签下查看。可按过滤条件和时间范围查询,默认查询1000条记录,过大的查询数量会影响查询速度。 虚拟服务日志列表 图中柱状图表示查询时间段内的日志数量分布情况,点击柱子可查询这根柱子时间段内的日志。

查询数量上限和日志上报限额都会影响结果完整性。日志列表中的状态码表示本次请求的响应结果,不能仅凭 502/503 判断是后端返回错误;应结合命中规则、服务器节点、处理方式及错误日志核对。完整验证与无日志排查步骤见日志分析与排障指南。

点击详情可查看单条日志更多信息: 虚拟服务日志列表详情 详情中高亮文字可点击查看详情。

AI语义路由日志 ​

AI 虚拟服务日志提供模型请求、API-Key、语义分析、实际选路及安全检测字段。在“日志”页签中,选择时间范围,再通过“过滤条件”的属性名、比较符号和值组合查询,可按 API-Key、领域及风险概率、语义引擎耗时等条件定位请求。属性名根据所选时间段内的日志字段显示,查询项及比较符号以界面提供的选项为准。 AI虚拟服务语义日志过滤条件

点击一条日志的“详情”,可查看该请求的路由与引擎链路、语义特征和安全检测结果;点击“点击查看完整日志”可进一步展开请求及响应头部等信息。 AI虚拟服务语义路由与安全日志详情

字段类别主要字段及用途
模型请求用户请求模型、实际使用模型、提问和回答消耗 Token 数、结束原因、模型响应耗时,用于核对最终访问的模型和请求结果。
调用与选路API-Key、模型访问策略、模型转发策略、模型推理组名称、触发故障切换次数,用于关联调用方及命中的配置。
语义引擎链路语义引擎、尝试次数、语义分析输入来源、网关语义输入视图、语义路由选择来源和回退原因,用于核对实际分析及选路路径。
语义特征语义分析语言、领域标签及概率、领域概率差、复杂度标签及概率、事实核查标签及概率、意图标签及概率,用于理解模型选择依据。
安全检测是否检测到越狱、越狱标签及概率、是否检测到内容安全风险、内容安全标签及概率、是否检测到 PII、PII 规则 ID、安全拒绝原因,用于核对检测命中和处置结果。
处理耗时语义引擎耗时、语义路由总耗时、实测 TTFT 和 TPOT,用于分析语义处理及模型输出的时延。TTFT 表示首 Token 响应时间,TPOT 表示后续 Token 输出间隔。

未开启语义分析、请求未进入相关处理阶段或没有相应观测数据时,部分字段可能为空,不能把缺失值当作“未命中”或耗时为零。发现拒绝或回退时,结合安全拒绝原因、回退原因、响应状态及实际使用模型核对。

在虚拟服务日志列表右侧菜单可查看客户端全景:AI流量全景拓扑、Token消耗统计、模型访问量、结束原因、模型推理组访问量、模型推理组访问时延、客户端地址、地理分布、SSL版本、HTTP状态码、URI、HTTP慢请求、浏览器、设备、操作系统、外链来源、HTTP方法、可信网关。

AI流量全景拓扑(AI虚拟服务可见),根据所选时间段内的日志自动生成AI流量拓扑图。支持自动刷新、设置自动刷新间隔(自动刷新最新时间需选中快捷选项比如“最近15分钟”,否则只会根据所选时间段刷新),支持全屏,支持多维度分析包括:浏览器、操作系统、设备、运营商、地理位置等维度来统计流量: 虚拟服务日志AI流量全景拓扑

Token消耗统计(AI虚拟服务可见),折线图统计筛选的时间段内,提示词Token数量和生成Token数量随时间的变化,支持输入单位Token金额计算总消耗金额: 虚拟服务日志Token消耗统计

模型访问量(AI虚拟服务可见),统计从 “用户请求模型” 到 “推理组” 到 “实际请求模型”的访问数量桑基图: 虚拟服务日志模型访问量

结束原因(AI虚拟服务可见),环形图表示结束原因占比,成功率统计的是结束原因为“Stop”、“Tool_calls”、“Function_call”占全部AI日志的百分比: 虚拟服务日志结束原因

模型推理组访问量(AI虚拟服务可见),左侧折线图统计在时间范围内各推理组访问量,可切换为“每秒Token生成速率”,右侧环形图统计各推理组访问量占比: 虚拟服务日志模型推理组访问量

模型推理组访问时延(AI虚拟服务可见),左侧折线图统计时间范围内各推理组“首字节时延”或“模型响应耗时”的平均值或P95值,右侧箱型图统计各推理组最低时延、P25时延、P50时延、P95时延、P99时延: 虚拟服务日志模型推理组访问时延

客户端地址: 虚拟服务日志客户端地址

地理分布: 虚拟服务日志地理分布

SSL版本: 虚拟服务日志SSL版本

HTTP状态码: 虚拟服务日志HTTP状态码

URI: 虚拟服务日志URI

HTTP慢请求: 虚拟服务日志HTTP慢请求

浏览器: 虚拟服务日志浏览器

设备: 虚拟服务日志设备

操作系统: 虚拟服务日志操作系统

外链来源: 虚拟服务日志外链来源

HTTP方法: 虚拟服务日志HTTP方法

可信网关: 虚拟服务日志可信网关

事件 ​

记录了所选时间段内该虚拟服务产生的系统事件和操作事件,横坐标为时间,纵坐标为事件数量,点击柱子会在下方列表展示这根柱子的时间段内的事件列表。 虚拟服务事件 交互功能参见【监控与告警-监控】章节的“事件”介绍。

异常 ​

记录了所选时间段内该虚拟服务产生的异常。 虚拟服务异常

告警 ​

点击虚拟服务详情页的“告警”标签,可打开该虚拟服务的告警列表。该列表仅展示这个虚拟服务在选定时间范围内产生的告警记录。 虚拟服务告警

拓扑 ​

虚拟服务拓扑图,可在虚拟服务详情页的“拓扑”标签下查看。 虚拟服务拓扑 虚拟服务拓扑图展示流量从“客户端”到“虚拟服务”再到“分发规则”最后到“服务器节点”的关系图谱。包含协议类型、主备转发引擎、接口信息、分发策略、服务器池、节点健康等信息。

在图谱上,客户端到虚拟服务的连接线如果是绿色表示 SSL 策略,非 SSL 策略为蓝色,接口不通为灰色;虚拟服务节点闪烁的圆点表示接口信号,红色表示接口不通,黄色表示 bond 接口部分不通,绿色表示全部通畅;服务器池的颜色绿色表示所有节点畅通,黄色表示部分节点不通,红色表示全部节点不通;服务器节点绿色表示所有健康检查通过,黄色表示存在未通过的健康检查。

交互说明:

  1. 鼠标滚轮可放大缩小视图,在空白区域点击鼠标移动可拖动视图
  2. 当信息被遮挡时,节点均可点击鼠标拖拽
  3. 鼠标移到名称或详情上方可悬浮展示详细信息
  4. 当鼠标手势变为小手指时表示可点击跳转 通过这个内容丰富的虚拟服务拓扑图,我们为用户提供了一个全面而直观的视图,让用户能够更好地理解和掌握整个系统的构成和流量路径。

抓包 ​

虚拟服务抓包功能,可在虚拟服务详情页的“抓包”标签下查看。 虚拟服务抓包 点击右上角“抓包”按钮,可配置抓包时间和条件: 虚拟服务抓包配置 每次执行抓包会将上一次抓包结果清空,如需保留请点击左上角下载文件: 虚拟服务抓包文件下载

注意

免费版用户不支持抓包功能。

第三方虚拟服务 ​

第三方纳管负载设备被加入矩尺管理时,会收集第三方负载虚拟服务信息,在【负载流量管理 → 虚拟服务】菜单中,点击标签“第三方虚拟服务”,可查看第三方虚拟服务列表。可根据虚拟服务名称、标签名、标签值过滤条目: 第三方虚拟服务列表 标签功能参见【标签】章节。

如果为 f5 或 Radware 厂商的虚拟服务,还可以点击操作栏按钮查看第三方虚拟服务详情:包括趋势分析、异常监控、拓扑图。

  • 第三方虚拟服务拓扑图:

第三方虚拟服务拓扑图 第三方虚拟服务拓扑图展示客户端、虚拟服务、服务器池、服务器节点之间的流量关系。鼠标移入每一个模块图标上可悬浮展示该模块详情信息,鼠标移入模块与模块之间的连线可悬浮展示它们之间的流量详情,线条粗细表示流量大小。模块颜色表示状态。

注意

免费版用户不支持第三方虚拟服务功能。