跳到主要内容

Intel GPU (IPEX-LLM)

注意

本教程由社区贡献,不受 Open WebUI 团队官方维护或审核。它仅作为演示,说明如何根据你的具体场景自定义 Open WebUI。想参与贡献?请查看贡献教程。

备注

本指南已通过手动安装方式搭建的 Open WebUI 进行验证。

在 Intel GPU 上使用 IPEX-LLM 进行本地 LLM 设置

信息

IPEX-LLM 是一个用于在 Intel CPU 和 GPU(例如,配有集成显卡的本地 PC、Arc A 系列、Flex 和 Max 等独立显卡)上以极低延迟运行 LLM 的 PyTorch 库。

本教程演示如何将 Open WebUI 与在 Intel GPU 上运行的 IPEX-LLM 加速 Ollama 后端配合使用。按照本指南,您甚至可以在低成本 PC(即仅有集成显卡)上流畅地设置 Open WebUI。

在 Intel GPU 上启动 Ollama 服务

请参阅 IPEX-LLM 官方文档中的此指南,了解如何在 Intel GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务。

提示

如果您希望从另一台机器访问 Ollama 服务,请在执行 ollama serve 命令前确保设置或导出环境变量 OLLAMA_HOST=0.0.0.0

配置 Open WebUI

通过菜单中的 Settings -> Connections 访问 Ollama 设置。默认情况下,Ollama Base URL 预设为 https://localhost:11434,如下图所示。要验证 Ollama 服务连接状态,点击文本框旁边的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接,您将看到错误消息 WebUI could not connect to Ollama

Open WebUI Ollama 设置失败

如果连接成功,您将看到提示 Service Connection Verified,如下图所示。

Open WebUI Ollama 设置成功

提示

如果您想使用托管在不同 URL 的 Ollama 服务器,只需将 Ollama Base URL 更新为新 URL,然后按刷新按钮重新确认与 Ollama 的连接。

本内容仅供参考,不构成任何保证、担保或合同承诺。Open WebUI 按“现状”提供。请参阅您的许可协议 以了解适用条款。