简介
Open WebUI 是一款专为大模型设计的开源可视化交互工具,它通过类 ChatGPT 的直观界面,让用户无需代码即可管理、调试和调用本地或云端的大语言模型(LLMs)。
特点:可扩展、功能丰富、自托管、可完全离线运行。
核心功能
- Ollama/OpenAI API 集成: 轻松集成兼容 OpenAI 的 API,实现与 Ollama 模型的灵活对话。自定义 OpenAI API URL,即可与LMStudio、GroqCloud、Mistral、OpenRouter 等平台连接。
- 完全支持 Markdown 和 LaTeX: 通过全面的 Markdown 和 LaTeX 功能提升我们的 LLM 体验,实现丰富的交互。
- 免提语音/视频通话: 体验集成的免提语音和视频通话功能的无缝通信,从而实现更加动态和互动的聊天环境。
- 本地 RAG 集成: 借助突破性的检索增强生成 (RAG) 支持,探索聊天交互的未来。此功能将文档交互无缝集成到我们的聊天体验中。我们可以直接在聊天中加载文档,或将文件添加到文档库,并在查询前使用命令轻松访问它们。
- 网页浏览功能: 使用命令后跟 URL,即可将网站无缝集成到我们的聊天体验中。此功能允许我们将网页内容直接融入对话中,增强互动的丰富性和深度。
- 图像生成集成: 使用 AUTOMATIC1111 API 或 ComfyUI(本地)以及 OpenAI 的 DALL-E(外部)等选项无缝整合图像生成功能,通过动态视觉内容丰富我们的聊天体验。
- 多模型对话: 轻松同时与各种模型互动,利用其独特优势获得最佳响应。同时利用多种模型,提升我们的体验。
安装部署
Open WebUI 可以使用 Python 软件包安装程序 pip 进行安装。环境需要Python 3.11,以避免出现兼容性问题。
1.安装 Open WebUI: 打开终端并运行以下命令来安装 Open WebUI:
pip install open-webui
2.运行 Open WebUI: 安装后,可以通过执行以下命令启动 Open WebUI:
open-webui serve
这将启动 Open WebUI 服务器,您可以通过http://localhost:8080
访问它。