LLM Proxy

管理控制台

LLM Proxy
管理员 已登录

统计概览

API Key 中转服务管理面板

有未保存的更改

请求吞吐量趋势

响应状态码分布

「调用状态」来源于实际代理请求结果。点击 仅验证 Key 鉴权有效性,不代表模型可正常调用。

服务基础信息

Base URL—
API KeyBearer <your_proxy_api_key>

Python SDK


          

cURL


          
时间类型供应商Key状态错误信息

超时配置

用于 Embedding / Reranker 等快速接口
推理模型 (DeepSeek-R1 等) 需要较长思考时间

Chat 快速模式

自动禁用推理思考、强制非流式、使用短超时。单次请求从 30-60s 降至 2-5s

调度参数

开启后调度器会根据历史延迟自动排序候选节点(快的优先)。关闭时严格按照界面配置的顺序调用

新增供应商

新增 Key

连通性校验仅验证 Key 鉴权有效性(GET /v1/models),不代表模型可正常调用。实际请求可能因限流(429)或服务异常(500)而失败。请前往「候选路由」使用「探活」功能测试模型实际可用性。
正在验证连通...

新增候选路由