Skip to content

Commit 5cab1ff

Browse files
committed
增加AI模型及GPU相关内容
1 parent 946dee6 commit 5cab1ff

File tree

3 files changed

+70
-0
lines changed

3 files changed

+70
-0
lines changed

docs/user_manual/ai/gpu.md

Lines changed: 24 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,24 @@
1+
## 安装驱动
2+
3+
针对 NVIDIA 显卡,用户可以在 https://www.nvidia.com/en-us/drivers/ 网站查找对应显卡型号支持的驱动版本,并进行下载安装。
4+
5+
例如下载到的文件为 `NVIDIA-Linux-x86_64-570.86.15.run`,将文件上传到 1Panel 服务器后,可以在命令行执行以下命令进行安装:
6+
7+
```bash
8+
chmod +x NVIDIA-Linux-x86_64-570.86.15.run
9+
./NVIDIA-Linux-x86_64-570.86.15.run
10+
```
11+
12+
执行命令后根据弹出的提示框信息进行安装即可。
13+
14+
`nvidia-smi` 命令会随 NVIDIA 驱动一同安装,1Panel 将使用 `nvidia-smi` 命令获取显卡相关信息。
15+
16+
## 查看显卡信息
17+
18+
在 GPU 监控页面,可以查看到驱动版本,显卡型号以及显卡的使用率、温度、功耗等基础指标,还可以查看到目前正在使用显卡的进程信息。
19+
20+
## 配置应用商店应用(容器)使用 GPU
21+
22+
显卡驱动安装完成后,还需要根据 [NVIDIA 官网指引](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) 安装容器支持工具,才可以在应用商店应用或其他容器中使用 GPU 能力。
23+
24+
安装完成后,在应用商店安装应用时,若应用支持调用 GPU,勾选高级设置中的 `GPU 加速` 即可让该应用获得 GPU 支持。

docs/user_manual/ai/model.md

Lines changed: 43 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,43 @@
1+
## 1 管理 Ollama 应用
2+
3+
1.1 应用商店安装 Ollama
4+
5+
!!! Abstract ""
6+
要使用模型管理功能,需要先在应用商店中安装 Ollama 应用。Ollama 安装完成后可以在该页面查看 Ollama 应用状态,并进行启动、停止及重启等操作。
7+
8+
## 2 添加模型
9+
10+
!!! Abstract ""
11+
点击添加模型,输入模型名称点击添加按钮即可从 [Ollama 官方仓库](https://ollama.com/search)拉取对应模型。
12+
13+
## 3 运行模型
14+
15+
!!! Abstract ""
16+
点击某个模型所在行的【运行】操作,即可在当前页面打开在线终端与该模型进行对话。
17+
18+
## 4 AI 代理增强
19+
20+
!!! Abstract ""
21+
通过该功能可以为 Ollama 应用配置反向代理,从而支持域名、HTTPS、IP 白名单等配置,增强使用大模型时的安全性。
22+
23+
## 5 查看连接信息
24+
25+
!!! Abstract ""
26+
点击列表上方的【连接信息】按钮,即可查看 Ollama 应用的连接信息。
27+
28+
!!! info "注意"
29+
应用商店部署的 Ollama 采用容器化方式运行,不同的场景需要根据页面提示选择对应的连接信息。
30+
31+
## 6 从服务器同步
32+
33+
!!! Abstract ""
34+
当使用了其他工具或应用程序添加了模型,模型列表信息与实际不一致时,可以点击列表上方的【从服务器同步】按钮,主动从 Ollama 查询当前模型列表。
35+
36+
## 7 WEB 管理工具
37+
38+
!!! Abstract ""
39+
如果需要使用 WEB 图形化界面管理并使用 Ollama 时,可以列表上方的【OpenWebUI】按钮,跳转到对应工具页面。
40+
41+
目前支持的管理工具有:
42+
43+
- [OpenWebUI](https://github.com/open-webui/open-webui)

mkdocs.yml

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -76,6 +76,9 @@ nav:
7676
- Golang: user_manual/websites/golang.md
7777
- Python: user_manual/websites/python.md
7878
- .NET: user_manual/websites/dotnet.md
79+
- AI:
80+
- 模型: user_manual/ai/model.md
81+
- GPU 监控: user_manual/ai/gpu.md
7982
- 数据库:
8083
- MySQL: user_manual/databases/mysql.md
8184
- PostgreSQL: user_manual/databases/postgresql.md

0 commit comments

Comments
 (0)