Skip to content

Commit d214511

Browse files
Optimization AI
1 parent 70aeb4f commit d214511

File tree

9 files changed

+31
-16
lines changed

9 files changed

+31
-16
lines changed

docs/img/ai/api_proxy.png

188 KB
Loading

docs/img/ai/connection_info.png

153 KB
Loading

docs/img/ai/gpu_acceleration.png

239 KB
Loading

docs/img/ai/gpu_monitor.png

145 KB
Loading

docs/img/ai/model_pull.png

143 KB
Loading

docs/img/ai/model_run.png

150 KB
Loading

docs/img/ai/overview.png

159 KB
Loading

docs/user_manual/ai/gpu.md

Lines changed: 20 additions & 14 deletions
Original file line numberDiff line numberDiff line change
@@ -1,24 +1,30 @@
1-
## 安装驱动
1+
## 1 安装驱动
22

3-
针对 NVIDIA 显卡,用户可以在 https://www.nvidia.com/en-us/drivers/ 网站查找对应显卡型号支持的驱动版本,并进行下载安装。
3+
!!! Abstract ""
4+
针对 NVIDIA 显卡,用户可以在 https://www.nvidia.com/en-us/drivers/ 网站查找对应显卡型号支持的驱动版本,并进行下载安装。
45

5-
例如下载到的文件为 `NVIDIA-Linux-x86_64-570.86.15.run`,将文件上传到 1Panel 服务器后,可以在命令行执行以下命令进行安装:
6+
例如下载到的文件为 `NVIDIA-Linux-x86_64-570.86.15.run`,将文件上传到 1Panel 服务器后,可以在命令行执行以下命令进行安装:
67

7-
```bash
8-
chmod +x NVIDIA-Linux-x86_64-570.86.15.run
9-
./NVIDIA-Linux-x86_64-570.86.15.run
10-
```
8+
```bash
9+
chmod +x NVIDIA-Linux-x86_64-570.86.15.run
10+
./NVIDIA-Linux-x86_64-570.86.15.run
11+
```
1112

12-
执行命令后根据弹出的提示框信息进行安装即可。
13+
> 执行命令后根据弹出的提示框信息进行安装即可。
14+
`nvidia-smi` 命令会随 NVIDIA 驱动一同安装,1Panel 将使用 `nvidia-smi` 命令获取显卡相关信息。
1315

14-
`nvidia-smi` 命令会随 NVIDIA 驱动一同安装,1Panel 将使用 `nvidia-smi` 命令获取显卡相关信息。
16+
## 2 查看显卡信息
1517

16-
## 查看显卡信息
18+
!!! Abstract ""
19+
在 GPU 监控页面,可以查看到驱动版本,显卡型号以及显卡的使用率、温度、功耗等基础指标,还可以查看到目前正在使用显卡的进程信息。
1720

18-
在 GPU 监控页面,可以查看到驱动版本,显卡型号以及显卡的使用率、温度、功耗等基础指标,还可以查看到目前正在使用显卡的进程信息。
21+
![img.png](../../img/ai/gpu_monitor.png)
1922

20-
## 配置应用商店应用(容器)使用 GPU
23+
## 3 配置应用商店应用(容器)使用 GPU
2124

22-
显卡驱动安装完成后,还需要根据 [NVIDIA 官网指引](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) 安装容器支持工具,才可以在应用商店应用或其他容器中使用 GPU 能力。
25+
!!! Abstract ""
26+
显卡驱动安装完成后,还需要根据 [NVIDIA 官网指引](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html)安装容器支持工具,才可以在应用商店应用或其他容器中使用 GPU 能力。
2327

24-
安装完成后,在应用商店安装应用时,若应用支持调用 GPU,勾选高级设置中的 `GPU 加速` 即可让该应用获得 GPU 支持。
28+
> 在应用商店安装应用时,勾选高级设置中的 `GPU 加速` 即可让该应用获得 GPU 支持。
29+
30+
![img.png](../../img/ai/gpu_acceleration.png)

docs/user_manual/ai/model.md

Lines changed: 11 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -5,28 +5,37 @@
55
!!! Abstract ""
66
要使用模型管理功能,需要先在应用商店中安装 Ollama 应用。Ollama 安装完成后可以在该页面查看 Ollama 应用状态,并进行启动、停止及重启等操作。
77

8+
![img.png](../../img/ai/overview.png)
9+
810
## 2 添加模型
911

1012
!!! Abstract ""
1113
点击添加模型,输入模型名称点击添加按钮即可从 [Ollama 官方仓库](https://ollama.com/search)拉取对应模型。
1214

15+
![img.png](../../img/ai/model_pull.png)
16+
1317
## 3 运行模型
1418

1519
!!! Abstract ""
1620
点击某个模型所在行的【运行】操作,即可在当前页面打开在线终端与该模型进行对话。
1721

22+
![img.png](../../img/ai/model_run.png)
23+
1824
## 4 AI 代理增强
1925

2026
!!! Abstract ""
2127
通过该功能可以为 Ollama 应用配置反向代理,从而支持域名、HTTPS、IP 白名单等配置,增强使用大模型时的安全性。
2228

29+
![img.png](../../img/ai/api_proxy.png)
30+
2331
## 5 查看连接信息
2432

2533
!!! Abstract ""
2634
点击列表上方的【连接信息】按钮,即可查看 Ollama 应用的连接信息。
2735

28-
!!! info "注意"
29-
应用商店部署的 Ollama 采用容器化方式运行,不同的场景需要根据页面提示选择对应的连接信息。
36+
![img.png](../../img/ai/connection_info.png)
37+
38+
> 应用商店部署的 Ollama 采用容器化方式运行,不同的场景需要根据页面提示选择对应的连接信息。
3039
3140
## 6 从服务器同步
3241

0 commit comments

Comments
 (0)