模型稳定性

概述

OpenModel 基于真实生产流量跟踪所有模型的稳定性指标。这些指标可以帮助你在选择模型时评估其可靠性。

数据来源于实际计费的 API 请求——不使用合成探针或人工测试。指标通过 ClickHouse 物化视图按小时聚合，对请求路径零开销。

稳定性数据公开访问，无需认证，按 IP 地址限流。

API 端点

全部模型摘要

GET https://api.openmodel.ai/web/v1/model-stability/summary

返回所有模型的 24 小时稳定性摘要。每个模型为单行聚合数据，无时间序列。

查询参数：

参数	类型	默认值	说明
`hours`	integer	24	时间窗口（小时），目前仅支持 `24`

响应：

{
  "success": true,
  "data": [
    {
      "model_name": "claude-sonnet-4-6",
      "success_rate": 99.85,
      "avg_latency_ms": 1234,
      "avg_tps": 87.3,
      "confidence": "high"
    },
    {
      "model_name": "gpt-5.4",
      "success_rate": 99.92,
      "avg_latency_ms": 890,
      "avg_tps": 102.5,
      "confidence": "high"
    }
  ]
}

单模型详情

GET https://api.openmodel.ai/web/v1/model-stability/:modelKey

返回指定模型的时间序列稳定性数据和聚合摘要。

路径参数：

参数	类型	说明
`modelKey`	string	模型标识（如 `claude-sonnet-4-6`、`gpt-5.4`）

查询参数：

参数	类型	默认值	说明
`hours`	integer	24	时间窗口（小时），目前仅支持 `24`

响应：

{
  "success": true,
  "data": {
    "model_name": "claude-sonnet-4-6",
    "confidence": "high",
    "summary": {
      "success_rate": 99.85,
      "avg_latency_ms": 1234,
      "avg_ttft_ms": 380,
      "avg_tps": 87.3
    },
    "series": [
      {
        "ts": 1717459200,
        "success_rate": 100.0,
        "avg_latency_ms": 1100,
        "avg_ttft_ms": 350,
        "avg_tps": 90.0,
        "confidence": "high"
      }
    ],
    "updated_at": 1717462800
  }
}

series 数组在请求的时间窗口内每小时包含一个数据点。每个数据点有独立的 confidence 级别，因为不同时段的流量可能差异很大。

指标说明

指标	说明	计算方式
成功率（Success Rate）	返回 2xx 状态码的请求百分比	`success_count / request_count × 100`
平均延迟（Avg Latency）	请求总时长均值（包含完整流式传输）	`total_latency_ms / request_count`
平均 TTFT	首 Token 延迟均值（仅流式请求）	`ttft_sum_ms / ttft_count`
TPS	平均每秒输出 Token 数（吞吐量）	`output_tokens / (generation_ms / 1000)`

置信度

置信度表示在给定时间窗口内，基于样本量的指标可靠程度：

级别	条件	含义
`high`	≥ 100 个请求	指标具有统计可靠性
`medium`	≥ 10 个请求	指标有方向性参考价值，但可能波动
`low`	< 10 个请求	样本不足——指标可能不具代表性

置信度为 low 时不显示健康状态标签。

健康状态

模型根据成功率被分配健康状态：

状态	成功率	说明
运行正常（Operational）	≥ 99.9%	完全健康，未检测到问题
基本健康（Healthy）	≥ 99%	存在轻微问题，总体可靠
服务降级（Degraded）	≥ 95%	明显降级，部分请求失败
不稳定（Unstable）	< 95%	存在严重问题，建议考虑替代模型
暂无数据（No Data）	0 个请求	时间窗口内无流量记录

数据来源与限制

指标基于已计费请求。未计费的失败（通常是客户端错误，如无效 API Key 或格式错误的请求）不包含在内，因此成功率可能略高于真实值。
上游稳定性相关的失败（5xx 错误、超时、限流）通常会被计费，因此会反映在指标中。
出于隐私考虑，API 响应中不暴露原始请求数量——仅返回比率、平均值和置信度等级。
数据保留 180 天，与底层消费日志的保留期一致。

模型稳定性

本页目录