vLLM

概览

vLLM 提供兼容 OpenAI 的 API（聊天补全），因此可以很容易接入 Open WebUI。本指南将展示如何连接你的 vLLM 服务器。

提示

对于实现该规范的提供商，Open WebUI 也支持实验性的 Open Responses 规范。

---

第 1 步：准备 vLLM 服务器

请确保 vLLM 服务器已经启动并可访问。默认 API 基础 URL 通常为：

http://localhost:8000/v1

如果是远程服务器，请改用对应的主机名或 IP 地址。

---

第 2 步：在 Open WebUI 中添加 API 连接

1. 进入 ⚙️ Admin Settings。
2. 打开 Connections > OpenAI > Manage（查找扳手图标）。
3. 点击 ➕ Add New Connection。
4. 选择 Standard / Compatible 标签（如果可见）。
5. 填写以下内容：
   • API URL：http://localhost:8000/v1（或你的 vLLM 服务器 URL）
     • Docker 用户： 如果 Open WebUI 运行在容器中，请使用 http://host.docker.internal:8000/v1。
   • API Key：none（如果未配置密钥，也可以留空）
6. 点击 Save。

---

第 3 步：开始使用模型

从模型选择器中选择 vLLM 服务器提供的任意模型，然后开始聊天。

连接超时配置

如果你的 vLLM 服务器响应较慢（尤其在模型加载时），可以调整超时：

# 针对较慢的模型初始化提高超时（默认 10 秒）
AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST=30

如果你保存了一个不可达 URL，导致界面卡住，请查看 模型列表加载问题 故障排查页面。