AI运维大屏

AI 运维大屏用于集中查看 AI 虚拟服务的流量、模型调用、Token 用量和资源运行状态。可切换虚拟服务、调用方组织及统计时间范围，结合全景拓扑、趋势图和事件信息定位需要关注的服务或推理节点。

打开AI运维大屏

登录平台控制台后，点击右上角的显示器图标，鼠标移入时提示“数字大屏”。系统在新标签页打开“AI 全景运维中心”。

选择查看范围

在大屏顶部“AI 虚拟服务”中选择目标服务，再选择“15 分钟”、“1 小时”或“24 小时”统计窗口。在中央“AI 全景流量拓扑”上方的“调用方组织”中选择组织，可通过搜索名称定位调用方。组织路径显示在选择框下方，点击路径中的上级组织可返回该层级。

打开组织选择框后，点击组织名称前的展开图标可查看下级组织，点击组织名称切换查看范围。

调用方及层级关系在AI调用方管理中配置；AI 虚拟服务的关联配置参见限制AI调用方。

查看指标与运行状态

大屏顶部展示核心指标，左侧展示虚拟服务健康、Token 消耗和模型调用分布，中央展示全景流量拓扑及异常请求趋势，右侧展示首字节时延、模型推理组和实时事件。

请求量、Token、模型分布和首字节时延等用量统计以所选组织及其下级为范围；实时服务指标、资源健康及事件以当前虚拟服务为范围。拓扑中的单个调用方节点显示该组织自身的请求量或 Token 用量，组织层级连线表示调用归属关系。

用量和趋势基于已上报的访问日志；资源健康反映当前状态。切换历史时间窗口后，应分别核对窗口内的流量变化与当前节点状态。指标显示“—”或曲线缺失时，先检查采集与日志状态，再判断是否存在业务异常。

请求总量

位于大屏顶部第一张指标卡，展示所选时间窗口内当前组织及其下级的请求次数。下方曲线展示该窗口内的请求量变化，可用于观察调用量增长及业务高峰。

实时请求速率

位于大屏顶部第二张指标卡，展示当前虚拟服务近 1 分钟的请求速率，单位为 RPM（每分钟请求数）。下方曲线按所选时间窗口展示速率变化，用于判断当前请求负载及波动。

数据传输速率

位于大屏顶部第三张指标卡，展示当前虚拟服务近 1 分钟入、出方向的数据传输总速率，按数据量显示 B/s、kB/s 或 MB/s。结合下方趋势曲线，可观察业务吞吐量的变化。

进行中推理请求数

位于大屏顶部第四张指标卡，展示当前虚拟服务中尚未结束的推理请求数量，单位为“个”。下方曲线展示所选时间窗口内的变化；请求数量持续增加时，可结合请求速率、首字节时延和推理节点状态排查。

平均客户端时延

位于大屏顶部第五张指标卡，展示当前虚拟服务近 1 分钟客户端与虚拟服务之间的平均访问时延，单位为毫秒（ms）。下方曲线展示所选时间窗口内的变化，用于观察客户端访问链路的时延波动。

虚拟服务健康

位于大屏左侧上方，展示模型回复完成率、运行状态、健康推理节点数量和需关注节点数量。健康推理节点以“健康数量 / 总数量”显示；面板下方展示当前虚拟服务名称、协议及监听地址。

模型回复完成率用于观察回复是否正常结束，资源健康反映当前节点状态。出现“需关注”时，可结合右侧模型推理组及拓扑中的异常节点继续查看。

Token消耗

位于大屏左侧中部，展示所选组织及其下级在所选时间窗口内的 Token 总量，并分别列出输入 Token 和输出 Token。柱状图按时间展示输入、输出用量的变化，可用于观察不同时间段的消耗情况。

模型调用分布

位于大屏左侧下方，按当前组织范围展示实际使用模型的调用占比及模型数量。各模型的名称、占比和条形图可用于比较模型调用分布，核对主要使用的模型。

首字节时延P95

位于大屏右侧上方，按实际使用模型展示首字节响应时延（TTFB）的 P95 趋势，单位为毫秒（ms）。P95 表示约 95% 的有效采样时延不超过该值，可用于观察响应等待时间较长的请求。

统计范围为所选组织及其下级、所选时间窗口内的有效请求。点击图例中的模型名称可隐藏或显示对应曲线，便于比较不同模型的时延变化。

模型推理组

位于大屏右侧中部，展示当前虚拟服务关联的模型推理组，包括组名称、节点运行状态、健康节点率、推理节点数量和平均首字节时延（TTFB）。底部显示关联推理组数量。

节点健康反映当前状态；平均 TTFB 按所选组织范围和时间窗口统计。发现节点异常或时延升高时，可在中央拓扑中点击对应推理组或推理节点查看详情。

异常请求趋势

位于中央拓扑下方，展示所选组织范围和时间窗口内的失败、超时和限流趋势。面板上方显示错误率、失败次数及失败速率峰值，图表纵轴单位为“次/分钟”。

超时和限流属于失败请求的一部分，排查时应结合各条曲线及虚拟服务日志核对异常发生的时间和请求结果。

实时事件

位于大屏右侧下方，展示当前虚拟服务最近 24 小时的事件、异常和告警信息，包括类型、描述、详情及发生时间。事件范围以当前虚拟服务为准，可结合相同时段的指标和节点状态排查问题。

查看全景流量拓扑

“AI 全景流量拓扑”按调用方、虚拟服务、智能路由、模型推理组和推理节点展示关联关系。查看语义路由链路时，可结合AI虚拟服务语义分析与AI语义智能路由服务器池配置核对实际资源。

操作	用途
请求流量 / Token 流量	切换拓扑节点和连线显示的流量口径。
节点旁的“+”或“−”	展开或收起调用方下级、推理组中的推理节点。
全部展开 / 全部收起	统一展开或收起拓扑层级。
“−”、比例、“+”	缩小、恢复 100% 比例或放大拓扑。
适应画布	将当前拓扑调整到画布可见范围。
点击节点	打开节点详情，查看名称、状态、窗口请求量、Token 消耗及统计范围；点击详情右上角关闭按钮返回拓扑。
巡航播放	自动巡视拓扑节点，可通过旁边的倍率选择框调整巡航速度，再次点击停止巡航。

折叠拓扑仅改变展示层级，组织筛选和时间窗口决定统计范围。排查某个组织或推理组时，可先收起无关分支，再展开目标节点并查看详情。

自动更新与大屏展示

页面右上方的“自动更新”表示持续接收数据更新。点击后显示“已暂停更新”，保留当前画面供查看；再次点击恢复更新。页面底部显示数据更新时间，观察趋势时应同时核对更新时间。

点击“自动切换”旁的轮播范围按钮，勾选需要轮流展示的 AI 虚拟服务，再点击“应用”。按钮中的数量表示已选服务数与可选服务总数；设置窗口支持“全选”和“清空”。至少选择两个服务才能开启“自动切换”，只有一个服务时该开关不可用。

开启“自动切换”后，大屏轮流展示所选服务；需要持续观察某个服务时，关闭自动切换并手动选择该服务。

点击右上角时钟旁的全屏图标进入全屏展示，适用于运维值守或大屏展示。退出全屏后可继续筛选服务、组织和时间窗口。

发现异常后，可进入虚拟服务日志核对请求详情，或在对应资源的分析、事件、异常与告警页面继续排查。