Ubuntu WSL 中 Ollama 和 OpenWebUI 的安装与配置指南 Ubuntu WSL 中 Ollama 和 OpenWebUI 的安装与配置指南随着人工智能技术的快速发展，本地部署大模型已经成为许多开发者追求的目标。在 Ubuntu 系统中，结合 Windows 子系统 for Linux（WSL）可以无缝集成 Linux 操作系统，从而方便地安装和使用基于 Linux 的开源 AI 工具链。本文将详细指导如何在 Ubuntu WSL 中安装 Ollama 和 OpenWebUI，并完成对大模型的本地化部署。背景知识WSL 简介Windows 子系统 for Linux（WSL）是微软为 Windows 用户量身定制的工具包，允许用户在 Windows 系统中运行基于 Linux 的操作系统。通过 WSL，开发者可以使用熟悉或需要的 Linux 工具链进行开发和部署。OllamaOllama 是 Meta 推出的一个开源大语言模型推理框架，支持本地化部署。它可以通过 WebUI（Web User Interface）界面提供交互体验，并且能够集成到各种应用中使用。OpenWebUIOpenWebUI 是一个基于 HTML、CSS 和 JavaScript 的开源 Ollama 实例服务（OAS）前端，提供了友好的用户界面，方便用户进行模型推理的配置和操作。安装准备在 Ubuntu 中运行 WSL 前，请确保以下环境配置已准备好：操作系统：安装 Ubuntu 22.04 LTS 或更高版本。必要硬件支持：确保电脑配备适当的 GPU（推荐使用 RTX 系列）和足够的内存（通常至少 8GB），以支持大模型的推理性能。Ubuntu WSL 中 Ollama 和 OpenWebUI 的安装与配置安装 Ubuntu WSL如果尚未安装 WSL，请按照以下步骤进行：打开终端。运行命令 wsl install 加载默认软件包。确保添加了 WSL 包，并在控制台中运行以确认安装。安装 Ollama要安装 Ollama，请运行以下命令：curl -fsSL https://ollama.com/install.sh | sh如果发现网络问题下载不下来：wget https://ollama.com/install.sh #下载到当前目录 chmod +x install.sh #给予执行权要 ./install.sh #运行脚本程序如果上述方法都无法解决问题，可以尝试手动下载安装脚本：打开浏览器，访问https://ollama.com/install.sh，将页面内容复制到本地文件 install.sh中。保存文件后，使用终端进入文件所在目录，运行以下命令：bash复制chmod +x install.sh ./install.sh通过这些方法，你应该能够解决下载速度慢的问题，顺利安装Ollama。手动安装注意如果要从以前的版本升级，则应使用 first 删除旧库。sudo rm -rf /usr/lib/ollama下载并解压缩包，不用脚本下载和安装方法：#命令下载 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz #直接到ollama的github网站下载压缩包 sudo tar -C /usr -xzf ollama-linux-amd64.tgz #运行解压安装命令启动 Ollama：ollama serve在另一个终端中，验证 Ollama 是否正在运行：ollama -vAMD GPU 安装如果您有 AMD GPU，还要下载并解压缩其他 ROCm 软件包：curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgzARM64 安装下载并解压缩特定于 ARM64 的包：curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz sudo tar -C /usr -xzf ollama-linux-arm64.tgz将 Ollama 添加为启动服务（推荐）为 Ollama 创建用户和组：sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama sudo usermod -a -G ollama $(whoami)在 中创建服务文件 ：/etc/systemd/system/ollama.service[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=$PATH" [Install] WantedBy=default.target然后启动服务：sudo systemctl daemon-reload sudo systemctl enable ollama卸载删除 ollama 服务：sudo systemctl stop ollama sudo systemctl disable ollama sudo rm /etc/systemd/system/ollama.service从 bin 目录中删除 ollama 二进制文件（、 、 或 ）：/usr/local/bin/usr/bin`/bin`sudo rm $(which ollama)删除下载的模型以及 Ollama 服务用户和组：sudo rm -r /usr/share/ollama sudo userdel ollama sudo groupdel ollama安装 OpenWebUI通过 Python pip 🐍 安装Open WebUI 可以使用 Python 包安装程序 pip 进行安装。在继续之前，请确保您使用的是 Python 3.11 以避免兼容性问题。安装 Open WebUI： 打开终端并运行以下命令以安装 Open WebUI：pip install open-webui运行 Open WebUI： 安装后，您可以通过执行以下命令来启动 Open WebUI：open-webui serve这将启动 Open WebUI 服务器，您可以在 http://localhost:8080通过Docker 🐳 快速安装注意请注意，对于某些 Docker 环境，可能需要其他配置。如果您遇到任何连接问题，我们关于 Open WebUI 文档的详细指南已准备好为您提供帮助。警告使用 Docker 安装 Open WebUI 时，请确保在 Docker 命令中包含 。此步骤至关重要，因为它可以确保您的数据库正确挂载并防止任何数据丢失。-v open-webui:/app/backend/data提示如果您希望使用包含 Ollama 或 CUDA 加速的 Open WebUI，我们建议您使用带有 或 的官方图像。要启用 CUDA，您必须在 Linux/WSL 系统上安装 Nvidia CUDA 容器工具包。:cuda:ollama使用默认配置安装如果 Ollama 在您的计算机上，请使用以下命令：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main如果 Ollama 位于其他服务器上，请使用以下命令：要连接到另一台服务器上的 Ollama，请将 更改为服务器的 URL：OLLAMA_BASE_URLdocker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main要运行支持 Nvidia GPU 的 Open WebUI，请使用以下命令：docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda注意事项确保依赖项正确安装：确保所有依赖项如 cuDNN、OpenCV 和 Python 包已正确安装并可用。检查 GPU 驱动：确保所有 GPU 设备的驱动程序已更新到最新版本，并且在 OpenWebUI 中能够正确识别。禁用防火墙或设置安全组：如果使用私有 URL，建议暂时关闭防火墙以避免被拦截。更新软件包：定期运行 sudo apt update && sudo apt upgrade 来确保所有软件包是最新的。结论通过以上步骤，在 Ubuntu WSL 中可以顺利安装并配置 Ollama 和 OpenWebUI，从而实现本地化部署大模型的能力。这种方法不仅节省了对公共云服务的依赖，还能够更灵活地调整模型参数和硬件资源以提升推理性能。对于希望在本地环境中运行 AI 模型的开发者来说，这种配置方案是一个高效且易于操作的选择。此外，还可以根据需求选择其他开源 AI 框架，如 Meta 的 LLMToolbelt 或者深度求索的 QwenEE，以满足不同的项目需求和场景。

利用WSL进行AI本地化部署的一些优势 在Windows系统中利用WSL进行AI本地化部署在现代科技发展进程中，人工智能（AI）的应用日益广泛，其对性能和效率的要求越来越高。尽管云服务为开发者提供了便利的AI模型部署和运行环境，但有时本地化的AI开发和部署能够带来更灵活、更低资源消耗的解决方案。本文将探讨如何利用Windows Subsystem for Linux (WSL) 在Windows系统中安装Linux子系统，并分析其在AI本地化部署中的优势。WSL是什么？Windows Subsystem for Linux 是微软推出的工具包，允许用户在Windows电脑上运行基于Linux的操作系统。它提供了Linux的大部分功能和特性，同时保持了Windows的稳定性和熟悉性。通过WSL，开发者可以将Linux的软件生态系统无缝地融入到现有的Windows环境中。为什么使用WSL进行AI本地化部署？平滑过渡：利用现有知识如果用户已经习惯了Windows环境，使用WSL可以让其现有的知识和技术栈在AI开发中得到应用。这对于加速Transition到Linux生态具有重要意义。开发者的灵活性和控制权本地化的AI模型部署能够使开发者更灵活地调整模型参数、优化性能，并通过硬件资源进行精确的优化，进而提升推理速度。使用WSL的优点提供Linux环境下的高效工作流程使用WSL可以安装基于Linux的工具和框架。例如，TensorFlow 和 PyTorch 等广泛使用的AI框架在WSL中能够顺利运行，并与本地开发工具集成。节省带宽和延迟本地构建和部署模型减少了对公共云服务的依赖，减少了数据传输带来的延迟，从而加快了AI模型的开发和部署速度。增强性能通过本地优化工具链和框架，开发者可以更高效地进行AI模型的训练和推理，提升整体性能。WSL安装指南（简要）准备环境：安装WSL包首先在Windows系统中添加WSL包。可以通过执行WSL\bin\Get-InstallPath.exe来获取安装路径。安装软件打开WSL控制台（PowerShell），然后使用wsl install <windows package>命令安装所需的软件，如TensorFlow、PyTorch等。配置开发环境根据需要设置必要的开发工具和环境变量。确保本地编译器和支持的库能够正确配置，以支持AI框架的需求。WSL与虚拟机的区别虽然WSL 和虚拟机都提供Linux环境在Windows上运行，但WSL更为集成，无需额外的硬件配置即可使用，且可以更自然地与Windows应用无缝衔接。总结微软的Windows Subsystem for Linux 为开发者提供了本地化AI开发和部署的强大工具。它利用现有知识，提供了高效的工作流程，并减少了对公共云服务的依赖，从而加速了模型开发和部署的速度。对于希望将AI能力融入现有Windows环境的开发者来说，WSL 是一个强有力的选择。如何部署？请阅读这里--->Ubuntu WSL 中 Ollama 和 OpenWebUI 的安装与配置指南 - 孤风博客