GateLLM AI Router

Docs · Quickstart

接入文档

从拿到 Key 到跑通第一次调用,每步一两分钟。只需要单次调用的话,走完第 2 步即可停。

快速开始

01

Get Your API Key

登录控制台 → 令牌 → 创建,立即复制。

02

第一次调用

curl 直接验证,不写一行代码。

03

接入应用

一行替换 base_url,其余不变。

04

充值与额度

预付费 quota,或走 BYOK。

1. Get Your API Key

登录控制台,进入「令牌」页面,点击「创建令牌」,获得 sk-... 格式的 API Key。

NOTEKey 只在创建时完整显示一次,请立即复制并妥善保管。泄露后请在控制台及时吊销重建。

前往控制台 →

2. 第一次调用

先用 curl 验证 Key 可用——不写代码,确认链路通了再接入应用:

curl https://api.tokrouter.dev/v1/chat/completions \
  -H "Authorization: Bearer sk-你的令牌" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

3. 接入你的应用

用你已经在用的 SDK,只改一行 base_url:

from openai import OpenAI

client = OpenAI(
    api_key="sk-你的令牌",
    base_url="https://api.tokrouter.dev/v1",   # ← 唯一改动
)

resp = client.chat.completions.create(
    model="gpt-4o",                        # 换成任意模型名即可
    messages=[{"role": "user", "content": "Hello!"}],
)
print(resp.choices[0].message.content)

4. 充值与额度

预付费 quota 扣费,按 token 精确到分;用量与成本在控制台约 30 秒内同步。 余额在网关侧校验——耗尽前先被软顶拦截、归零即硬切断流,充值或续订后自动恢复。 自带供应商密钥(BYOK)的团队,网关侧不加价转售 token。

Browse Models

浏览全部可用模型与价格。分层标签优先取自模型元数据,缺失时按模型名启发式推断。

# 列出你的 Key 可用的全部模型
curl https://api.tokrouter.dev/v1/models \
  -H "Authorization: Bearer sk-你的令牌"

选型建议 · MODEL SPECTRUM

规划 → claude-opus / gpt-5执行 → glm / qwen / deepseek协调 → 能力标准化层模态 → image / speech / embedding

上面这张卡里的「协调」指网关的能力标准化层(工具调用、结构化输出、缓存、推理 token 的归一化)—— 那是网关的能力,不是模型的属性。 而 模型列表里的「协调」标签是另一回事:模型元数据与模型名都没给出层信息时的兜底档。

混用与融合

Composition 把任务分层、各层择优;Ensemble 扇出多模型聚合取优:

# Composition:顶层模型规划,开源 SOTA 执行
const result = await client.compose([
  { model: "claude-opus-4", task: "plan" },
  { model: "deepseek-v4",   task: "implement" },
  { model: "glm-5",         task: "review" },
])

# Ensemble:N 进 1 出,投票聚合
const answer = await client.ensemble({
  models: ["claude-opus-4", "deepseek-v4", "qwen-max"],
  strategy: "best-of-n",
})

协议互转

网关支持 OpenAI / Anthropic / Gemini / DashScope 四种协议任意方向桥接。 用 Anthropic SDK 调 OpenAI 模型,或用 OpenAI SDK 调 Claude——协议不再是选型约束。

协议 PROTOCOL端点 ENDPOINT适用 SDK
OPENAI CHAT/v1/chat/completionsopenai (Python / Node)
OPENAI RESPONSES/v1/responsesopenai responses、工具调用与推理
ANTHROPIC MESSAGES/v1/messages@anthropic-ai/sdk、Claude Code
GEMINI/v1beta/models/gemini-2.0-flash:generateContentgoogle-genai
DASHSCOPE/v1/services/aigc/text-generation/generationdashscope(原生路径去掉 /api 前缀)

以上协议共用同一个 base URL 与同一把 Key——指向网关即可,无需为每个供应商维护一套接入。

路径说明:DashScope 走的是官方原生路径,但网关挂在 /v1 下、 已去掉官方的 /api 前缀——官方 /api/v1/services/aigc/text-generation/generation对应 /v1/services/aigc/text-generation/generation, 具体分发按请求体里的 model 决定,不必逐一改路径。若更习惯 OpenAI 协议, DashScope 的兼容模式直接用上面的 /v1/chat/completions 即可。

OPENAIANTHROPICGEMINIDASHSCOPE