File tree Expand file tree Collapse file tree 3 files changed +70
-0
lines changed
Expand file tree Collapse file tree 3 files changed +70
-0
lines changed Original file line number Diff line number Diff line change 1+ ## 安装驱动
2+
3+ 针对 NVIDIA 显卡,用户可以在 https://www.nvidia.com/en-us/drivers/ 网站查找对应显卡型号支持的驱动版本,并进行下载安装。
4+
5+ 例如下载到的文件为 ` NVIDIA-Linux-x86_64-570.86.15.run ` ,将文件上传到 1Panel 服务器后,可以在命令行执行以下命令进行安装:
6+
7+ ``` bash
8+ chmod +x NVIDIA-Linux-x86_64-570.86.15.run
9+ ./NVIDIA-Linux-x86_64-570.86.15.run
10+ ```
11+
12+ 执行命令后根据弹出的提示框信息进行安装即可。
13+
14+ ` nvidia-smi ` 命令会随 NVIDIA 驱动一同安装,1Panel 将使用 ` nvidia-smi ` 命令获取显卡相关信息。
15+
16+ ## 查看显卡信息
17+
18+ 在 GPU 监控页面,可以查看到驱动版本,显卡型号以及显卡的使用率、温度、功耗等基础指标,还可以查看到目前正在使用显卡的进程信息。
19+
20+ ## 配置应用商店应用(容器)使用 GPU
21+
22+ 显卡驱动安装完成后,还需要根据 [ NVIDIA 官网指引] ( https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html ) 安装容器支持工具,才可以在应用商店应用或其他容器中使用 GPU 能力。
23+
24+ 安装完成后,在应用商店安装应用时,若应用支持调用 GPU,勾选高级设置中的 ` GPU 加速 ` 即可让该应用获得 GPU 支持。
Original file line number Diff line number Diff line change 1+ ## 1 管理 Ollama 应用
2+
3+ 1.1 应用商店安装 Ollama
4+
5+ !!! Abstract ""
6+ 要使用模型管理功能,需要先在应用商店中安装 Ollama 应用。Ollama 安装完成后可以在该页面查看 Ollama 应用状态,并进行启动、停止及重启等操作。
7+
8+ ## 2 添加模型
9+
10+ !!! Abstract ""
11+ 点击添加模型,输入模型名称点击添加按钮即可从 [ Ollama 官方仓库] ( https://ollama.com/search ) 拉取对应模型。
12+
13+ ## 3 运行模型
14+
15+ !!! Abstract ""
16+ 点击某个模型所在行的【运行】操作,即可在当前页面打开在线终端与该模型进行对话。
17+
18+ ## 4 AI 代理增强
19+
20+ !!! Abstract ""
21+ 通过该功能可以为 Ollama 应用配置反向代理,从而支持域名、HTTPS、IP 白名单等配置,增强使用大模型时的安全性。
22+
23+ ## 5 查看连接信息
24+
25+ !!! Abstract ""
26+ 点击列表上方的【连接信息】按钮,即可查看 Ollama 应用的连接信息。
27+
28+ !!! info "注意"
29+ 应用商店部署的 Ollama 采用容器化方式运行,不同的场景需要根据页面提示选择对应的连接信息。
30+
31+ ## 6 从服务器同步
32+
33+ !!! Abstract ""
34+ 当使用了其他工具或应用程序添加了模型,模型列表信息与实际不一致时,可以点击列表上方的【从服务器同步】按钮,主动从 Ollama 查询当前模型列表。
35+
36+ ## 7 WEB 管理工具
37+
38+ !!! Abstract ""
39+ 如果需要使用 WEB 图形化界面管理并使用 Ollama 时,可以列表上方的【OpenWebUI】按钮,跳转到对应工具页面。
40+
41+ 目前支持的管理工具有:
42+
43+ - [OpenWebUI](https://github.com/open-webui/open-webui)
Original file line number Diff line number Diff line change 7676 - Golang : user_manual/websites/golang.md
7777 - Python : user_manual/websites/python.md
7878 - .NET : user_manual/websites/dotnet.md
79+ - AI :
80+ - 模型 : user_manual/ai/model.md
81+ - GPU 监控 : user_manual/ai/gpu.md
7982 - 数据库 :
8083 - MySQL : user_manual/databases/mysql.md
8184 - PostgreSQL : user_manual/databases/postgresql.md
You can’t perform that action at this time.
0 commit comments