File tree Expand file tree Collapse file tree 9 files changed +31
-16
lines changed
Expand file tree Collapse file tree 9 files changed +31
-16
lines changed Original file line number Diff line number Diff line change 1- ## 安装驱动
1+ ## 1 安装驱动
22
3- 针对 NVIDIA 显卡,用户可以在 https://www.nvidia.com/en-us/drivers/ 网站查找对应显卡型号支持的驱动版本,并进行下载安装。
3+ !!! Abstract ""
4+ 针对 NVIDIA 显卡,用户可以在 https://www.nvidia.com/en-us/drivers/ 网站查找对应显卡型号支持的驱动版本,并进行下载安装。
45
5- 例如下载到的文件为 ` NVIDIA-Linux-x86_64-570.86.15.run ` ,将文件上传到 1Panel 服务器后,可以在命令行执行以下命令进行安装:
6+ 例如下载到的文件为 `NVIDIA-Linux-x86_64-570.86.15.run`,将文件上传到 1Panel 服务器后,可以在命令行执行以下命令进行安装:
67
7- ``` bash
8- chmod +x NVIDIA-Linux-x86_64-570.86.15.run
9- ./NVIDIA-Linux-x86_64-570.86.15.run
10- ```
8+ ```bash
9+ chmod +x NVIDIA-Linux-x86_64-570.86.15.run
10+ ./NVIDIA-Linux-x86_64-570.86.15.run
11+ ```
1112
12- 执行命令后根据弹出的提示框信息进行安装即可。
13+ > 执行命令后根据弹出的提示框信息进行安装即可。
14+ `nvidia-smi` 命令会随 NVIDIA 驱动一同安装,1Panel 将使用 `nvidia-smi` 命令获取显卡相关信息。
1315
14- ` nvidia-smi ` 命令会随 NVIDIA 驱动一同安装,1Panel 将使用 ` nvidia-smi ` 命令获取显卡相关信息。
16+ ## 2 查看显卡信息
1517
16- ## 查看显卡信息
18+ !!! Abstract ""
19+ 在 GPU 监控页面,可以查看到驱动版本,显卡型号以及显卡的使用率、温度、功耗等基础指标,还可以查看到目前正在使用显卡的进程信息。
1720
18- 在 GPU 监控页面,可以查看到驱动版本,显卡型号以及显卡的使用率、温度、功耗等基础指标,还可以查看到目前正在使用显卡的进程信息。
21+ ![ img.png ] ( ../../img/ai/gpu_monitor.png )
1922
20- ## 配置应用商店应用(容器)使用 GPU
23+ ## 3 配置应用商店应用(容器)使用 GPU
2124
22- 显卡驱动安装完成后,还需要根据 [ NVIDIA 官网指引] ( https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html ) 安装容器支持工具,才可以在应用商店应用或其他容器中使用 GPU 能力。
25+ !!! Abstract ""
26+ 显卡驱动安装完成后,还需要根据 [ NVIDIA 官网指引] ( https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html ) 安装容器支持工具,才可以在应用商店应用或其他容器中使用 GPU 能力。
2327
24- 安装完成后,在应用商店安装应用时,若应用支持调用 GPU,勾选高级设置中的 ` GPU 加速 ` 即可让该应用获得 GPU 支持。
28+ > 在应用商店安装应用时,勾选高级设置中的 ` GPU 加速 ` 即可让该应用获得 GPU 支持。
29+
30+ ![ img.png] ( ../../img/ai/gpu_acceleration.png )
Original file line number Diff line number Diff line change 55!!! Abstract ""
66 要使用模型管理功能,需要先在应用商店中安装 Ollama 应用。Ollama 安装完成后可以在该页面查看 Ollama 应用状态,并进行启动、停止及重启等操作。
77
8+ ![ img.png] ( ../../img/ai/overview.png )
9+
810## 2 添加模型
911
1012!!! Abstract ""
1113 点击添加模型,输入模型名称点击添加按钮即可从 [ Ollama 官方仓库] ( https://ollama.com/search ) 拉取对应模型。
1214
15+ ![ img.png] ( ../../img/ai/model_pull.png )
16+
1317## 3 运行模型
1418
1519!!! Abstract ""
1620 点击某个模型所在行的【运行】操作,即可在当前页面打开在线终端与该模型进行对话。
1721
22+ ![ img.png] ( ../../img/ai/model_run.png )
23+
1824## 4 AI 代理增强
1925
2026!!! Abstract ""
2127 通过该功能可以为 Ollama 应用配置反向代理,从而支持域名、HTTPS、IP 白名单等配置,增强使用大模型时的安全性。
2228
29+ ![ img.png] ( ../../img/ai/api_proxy.png )
30+
2331## 5 查看连接信息
2432
2533!!! Abstract ""
2634 点击列表上方的【连接信息】按钮,即可查看 Ollama 应用的连接信息。
2735
28- !!! info "注意"
29- 应用商店部署的 Ollama 采用容器化方式运行,不同的场景需要根据页面提示选择对应的连接信息。
36+ ![ img.png] ( ../../img/ai/connection_info.png )
37+
38+ > 应用商店部署的 Ollama 采用容器化方式运行,不同的场景需要根据页面提示选择对应的连接信息。
3039
3140## 6 从服务器同步
3241
You can’t perform that action at this time.
0 commit comments