Skip to content

Commit 3fd6830

Browse files
authored
Merge pull request #1769 from cuicheng01/develop
polish
2 parents 0f6f807 + 8657c12 commit 3fd6830

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

45 files changed

+263
-246
lines changed

README.md

Lines changed: 48 additions & 23 deletions
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,8 @@
11
<p align="center">
22
<img src="https://github.com/PaddlePaddle/PaddleX/assets/45199522/63c6d059-234f-4a27-955e-ac89d81409ee" width="360" height ="55" alt="PaddleX" align="middle" />
33
</p>
4-
<p align= "center"> PaddleX -- 飞桨低代码开发工具,以低代码的形式支持开发者快速实现产业实际项目落地 </p>
4+
5+
<p align= "center"> PaddleX -- 飞桨低代码开发工具,以低代码的形式支持开发者快速实现产业实际项目落地 </p>
56

67
<p align="left">
78
<a href="./LICENSE"><img src="https://img.shields.io/badge/license-Apache%202-red.svg"></a>
@@ -10,51 +11,75 @@
1011
<a href=""><img src="https://img.shields.io/badge/hardware-intel cpu%2C%20gpu%2C%20xpu%2C%20npu%2C%20mlu-yellow.svg"></a>
1112
</p>
1213

14+
## 简介
15+
PaddleX3.0 是飞桨精选模型的低代码开发工具,支持国内外多款主流硬件的模型训练和推理,覆盖工业、能源、金融、交通、教育等全行业,助力开发者产业实践落地。
16+
17+
任务示例展示
1318

19+
## 📣 近期更新
20+
🔥 PaddleX3.0 升级中,6 月正式发布,敬请期待,云端使用请前往飞桨 AI Studio 星河社区:https://aistudio.baidu.com/pipeline/mine ,点击「创建产线」开启使用。
1421

15-
## 近期动态
16-
🔥 PaddleX3.0 升级中,6月正式发布,敬请期待,云端使用请前往飞桨 AI Studio 星河社区:https://aistudio.baidu.com/pipeline/mine ,点击「创建产线」开启使用。
22+
## 🌟 特性
1723

18-
## 产品介绍
19-
PaddleX3.0 是飞桨精选模型的低代码开发工具,支持国内外多款主流硬件的训练和推理,覆盖工业、能源、金融、交通、教育等全行业,沉淀产业实际经验,并提供丰富的案例实践教程,全程助力开发者产业实践落地。
24+
PaddleX 3.0 集成飞桨生态优势能力,覆盖7大场景任务,构建 16 条模型产线,提供低代码开发模式,助力开发者在不同主流硬件上进行模型全流程开发。
2025

21-
PaddleX3.0 分为本地端和云端,本地端提供统一任务API接口,支持图像分类、目标检测、图像分割、实例分割、OCR、时序相关等任务;云端提供[图形化开发界面](https://aistudio.baidu.com/pipeline/mine),支持开发者使用零代码产线产出高质量模型和部署包。本项目面向本地端,开发者可以基于本项目快速完成模型训练、评估、推理。本项目提供了两种模型开发工具,即**单模型开发工具****模型产线开发工具**
26+
- **基础模型产线(模型数量多,场景全):** 精选 72 个飞桨优质模型,覆盖图像分类、目标检测、图像分割、OCR、文本图像版面分析、时序预测等场景任务
27+
- **特色模型产线(提效显著):** 提供大小模型结合,大模型半监督学习和多模型融合显著提效方案
28+
- **低代码开发模式(便捷开发部署):** 提供零代码和低代码两种开发方式。
29+
- 零代码开发通过用户图形界面(GUI)交互式提交后台训练任务,打通在线&离线部署,支持以 API 的形式调用在线服务。
30+
- 低代码开发,一套 API 接口实现 16 条模型产线全流程开发,同时支持用户自定义模型串联流程。
31+
- **本地端多硬件支持(兼容性强):** 支持英伟达 GPU、昆仑芯、昇腾和寒武纪多硬件上,纯离线使用
2232

33+
<div align="center">
34+
<img src="https://github.com/PaddlePaddle/PaddleX/assets/45199522/61c4738f-735e-4ceb-aa5f-1038d4506d1c">
35+
</div>
2336

24-
## 安装与快速开始
37+
## 安装与快速开始
2538
- [安装](./docs/tutorials/INSTALL.md)
2639
- 快速开始
27-
- [单模型开发工具](./docs/tutorials/tools/model_tools.md)
28-
- [模型产线开发工具](./docs/tutorials/tools/pipelines_tools.md)
40+
- [单模型开发工具](./docs/tutorials/inference/model_inference_tools.md)
41+
- [模型产线开发工具](./docs/tutorials/inference/pipeline_inference_tools.md)
42+
43+
## 🛠️ PaddleX3.0 覆盖的模型和模型产线
44+
- [单模型列表](./docs/tutorials/models/support_model_list.md)
45+
- [模型产线列表](./docs/tutorials/pipelines/support_pipeline_list.md)
46+
47+
## 📖 零代码开发教程
48+
- [云端图形化开发界面](https://aistudio.baidu.com/pipeline/mine):支持开发者使用零代码产线产出高质量模型和部署包
49+
- [教程《零门槛开发产业级 AI 模型》](https://aistudio.baidu.com/practical/introduce/546656605663301):提供产业级模型开发经验,并且用12个实用的产业实践案例,手把手带你零门槛开发产业级AI模型
2950

30-
## 单模型开发工具
31-
本节介绍 PaddleX3.0 单模型的全流程开发流程,包括数据准备、模型训练/评估、模型推理的使用方法。PaddleX3.0 支持的模型可以参考 [PaddleX模型库](./docs/tutorials/models/support_model_list.md)
51+
## 📖 低代码开发教程
3252

33-
### 1. 数据准备
34-
- [数据准备流程](./docs/data/README.md)
53+
### 一、单模型开发工具 🚀
54+
本节介绍 PaddleX3.0 单模型的全流程开发流程,包括数据准备、模型训练/评估、模型推理的使用方法。PaddleX3.0 支持的模型可以参考 [PaddleX 模型库](./docs/tutorials/models/support_model_list.md)
55+
56+
#### 1. 快速体验
57+
- [快速体验](./docs/tutorials/models/model_inference_tools.md)
58+
59+
#### 2. 数据准备
60+
- [数据准备流程](./docs/tutorials/data/README.md)
3561
- [数据标注](./docs/tutorials/data/annotation/README.md)
3662
- [数据校验](./docs/tutorials/data/dataset_check.md)
37-
### 2. 模型训练
63+
64+
#### 3. 模型训练
3865
- [模型训练/评估](./docs/tutorials/base/README.md)
3966
- [模型优化](./docs/tutorials/base/model_optimize.md)
4067

41-
### 3. 模型推理
42-
- [模型推理](docs/tutorials/inference/model_inference_tools.md)
43-
- [模型推理 API 介绍](docs/tutorials/inference/model_infernce_api.md)
68+
#### 4. 模型推理
69+
- [模型推理](./docs/tutorials/base/README.md)
4470

45-
## 模型产线开发工具
46-
- [模型产线推理](docs/tutorials/inference/pipeline_inference_tools.md)
47-
- [模型产线推理 API 介绍](docs/tutorials/inference/pipeline_infernce_api.md)
71+
### 二、模型产线开发工具 🔥
72+
本节将介绍 PaddleX3.0 模型产线的全流程开发流程,包括数据准备、模型训练/评估、模型推理的使用方法。PaddleX3.0 支持的模型产线可以参考 [PaddleX 模型产线列表](./docs/tutorials/pipelines/support_pipeline_list.md)
4873

49-
## 多硬件支持
50-
🔥 本项目支持在多种硬件上进行模型的开发,除了 GPU 外,当前支持的硬件还有**昆仑芯****昇腾芯****寒武纪芯**。只需添加一个配置设备的参数,即可在对应硬件上使用上述工具。详情可以参考上述文档
74+
## 🌟 多硬件支持
75+
本项目支持在多种硬件上进行模型的开发,除了 GPU 外,当前支持的硬件还有**昆仑芯****昇腾芯****寒武纪芯**。只需添加一个配置设备的参数,即可在对应硬件上使用上述工具。
5176

5277
- 昇腾芯支持的模型列表请参考 [PaddleX 昇腾芯模型列表](./docs/tutorials/models/support_npu_model_list.md)
5378
- 昆仑芯支持的模型列表请参考 [PaddleX 昆仑芯模型列表](./docs/tutorials/models/support_xpu_model_list.md)
5479
- 寒武纪芯支持的模型列表请参考 [PaddleX 寒武纪芯模型列表](./docs/tutorials/models/support_mlu_model_list.md)
5580

5681

57-
## 贡献代码
82+
## 👀 贡献代码
5883

5984
我们非常欢迎您为 PaddleX 贡献代码或者提供使用建议。如果您可以修复某个 issue 或者增加一个新功能,欢迎给我们提交 Pull Requests。
6085

docs/tutorials/INSTALL_OTHER_DEVICES.md

Lines changed: 10 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -6,8 +6,8 @@
66
- 1.拉取镜像,此镜像仅为开发环境,镜像中不包含预编译的飞桨安装包,镜像中已经默认安装了昇腾算子库 CANN-8.0.RC1。
77

88
```
9-
docker pull registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-aarch64-gcc84-py39 # 适用于 ARM 架构
10-
docker pull registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-x86_64-gcc84-py39 # 适用于 X86 架构
9+
# 适用于 X86 架构,暂时不提供 Arrch64 架构镜像
10+
docker pull registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-x86_64-gcc84-py39
1111
```
1212

1313
- 2.参考如下命令启动容器,ASCEND_RT_VISIBLE_DEVICES 指定可见的 NPU 卡号
@@ -18,7 +18,7 @@ docker run -it --name paddle-npu-dev -v $(pwd):/work \
1818
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
1919
-v /usr/local/dcmi:/usr/local/dcmi \
2020
-e ASCEND_RT_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" \
21-
registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-$(uname -m)-gcc84-py39 /bin/bash
21+
registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-x86_64-gcc84-py39 /bin/bash
2222
```
2323
### 1.2 安装paddle包
2424
当前提供 Python3.9 的 wheel 安装包。如有其他 Python 版本需求,可以参考[飞桨官方文档](https://www.paddlepaddle.org.cn/install/quick)自行编译安装。
@@ -27,8 +27,8 @@ docker run -it --name paddle-npu-dev -v $(pwd):/work \
2727

2828
```
2929
# 注意需要先安装飞桨CPU版本
30-
pip install
31-
pip install
30+
pip install https://paddle-model-ecology.bj.bcebos.com/paddlex/whl/paddle-device/npu/paddlepaddle-0.0.0-cp39-cp39-linux_x86_64.whl
31+
pip install https://paddle-model-ecology.bj.bcebos.com/paddlex/whl/paddle-device/npu/paddle_custom_npu-0.0.0-cp39-cp39-linux_x86_64.whl
3232
```
3333
- 2.验证安装包
3434
安装完成之后,运行如下命令。
@@ -65,8 +65,8 @@ docker run -it --name paddle-mlu-dev -v $(pwd):/work \
6565
- 1.下载安装 Python3.10 的wheel 安装包。
6666
```
6767
# 注意需要先安装飞桨 CPU 版本
68-
python -m pip install paddlepaddle -i https://www.paddlepaddle.org.cn/packages/nightly/cpu/
69-
python -m pip install --pre paddle-custom-mlu -i https://www.paddlepaddle.org.cn/packages/nightly/mlu/
68+
pip install https://paddle-model-ecology.bj.bcebos.com/paddlex/whl/paddle-device/mlu/paddlepaddle-3.0.0.dev20240621-cp310-cp310-linux_x86_64.whl
69+
pip install https://paddle-model-ecology.bj.bcebos.com/paddlex/whl/paddle-device/mlu/paddle_custom_mlu-3.0.0.dev20240621-cp310-cp310-linux_x86_64.whl
7070
```
7171
- 2.验证安装包
7272
安装完成之后,运行如下命令。
@@ -102,8 +102,8 @@ docker run -it --name=xxx -m 81920M --memory-swap=81920M \
102102

103103
- 1.安装 Python3.10 的 wheel 安装包
104104
```
105-
pip install https://paddle-wheel.bj.bcebos.com/2.6.1/xpu/paddlepaddle_xpu-2.6.1-cp310-cp310-linux_x86_64.whl # X86 架构
106-
pip install https://paddle-device.bj.bcebos.com/2.6.1/xpu/paddlepaddle_xpu-2.6.1-cp310-cp310-linux_aarch64.whl # ARM 架构
105+
pip install https://paddle-model-ecology.bj.bcebos.com/paddlex/whl/paddle-device/xpu/paddlepaddle_xpu-2.6.1-cp310-cp310-linux_x86_64.whl # X86 架构
106+
pip install https://paddle-model-ecology.bj.bcebos.com/paddlex/whl/paddle-device/xpu/paddlepaddle_xpu-2.6.1-cp310-cp310-linux_aarch64.whl # ARM 架构
107107
```
108108
- 2.验证安装包
109109
安装完成之后,运行如下命令
@@ -113,4 +113,4 @@ python -c "import paddle; paddle.utils.run_check()"
113113
预期得到如下输出结果
114114
```
115115
PaddlePaddle is installed successfully! Let's start deep learning with PaddlePaddle now.
116-
```
116+
```

docs/tutorials/data/annotation/ClsAnnoTools.md

Lines changed: 9 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -20,14 +20,14 @@ pip install labelme
2020

2121
<center>
2222

23-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/image_dir.png' width='600px'>
23+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/3e333d6b-cbab-4161-b7df-9fb65a0576c7' width='600px'>
2424
</center>
2525

2626
3. 在 pets 文件夹中创建待标注数据集的类别标签文件 flags.txt,并在 flags.txt 中按行写入待标注数据集的类别。以猫狗分类数据集的 flags.txt 为例,如下图所示:
2727

2828
<center>
2929

30-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/label_txt.png' width='600px'>
30+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/6d29c675-facf-4932-a5c6-52e7a7428181' width='600px'>
3131
</center>
3232

3333
### 2.2 启动 Labelme
@@ -46,35 +46,35 @@ labelme images --nodata --autosave --output annotations --flags flags.txt
4646

4747
<center>
4848

49-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/labelme.png' width='600px'>
49+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/5965e351-8f53-4ca2-85eb-bf1f53d1c50b' width='600px'>
5050
</center>
5151

5252
2. 在 Flags 界面选择类别。
5353

5454
<center>
5555

56-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/flags.png' width='300px'>
56+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/45889bd0-abb6-46ca-aa35-f4e124ad8481' width='300px'>
5757
</center>
5858

5959
3. 标注好后点击存储。(若在启动 labelme 时未指定 --output 字段,会在第一次存储时提示选择存储路径,若指定 --autosave 字段使用自动保存,则无需点击存储按钮)。
6060

6161
<center>
6262

63-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/save.png' width='100px'>
63+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/8a3f3e54-68a9-4f9a-8c68-63272fb2e0b6' width='100px'>
6464
</center>
6565

6666
4. 然后点击 "Next Image" 进行下一张图片的标注。
6767

6868
<center>
6969

70-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/next_image.png' width='100px'>
70+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/d9be34e1-d44c-4738-8101-3895c70a8b6e' width='100px'>
7171
</center>
7272

7373
5. 最终标注好的标签文件如图所示。
7474

7575
<center>
7676

77-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/annotation_result.png' width='600px'>
77+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/30432aae-7b5a-4539-ae09-fa476144ef6b' width='600px'>
7878
</center>
7979

8080
6. 使用 [convert_to_imagenet.py](https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/convert_to_imagenet.py) 脚本将标注好的数据集转换为 ImageNet-1k 数据集格式,生成 train.txt,val.txt 和label.txt。
@@ -88,7 +88,7 @@ python convert_to_imagenet.py --dataset_path /path/to/dataset
8888

8989
<center>
9090

91-
<img src='https://paddle-model-ecology.bj.bcebos.com/paddlex/PaddleX3.0/doc_images/applications/image_classification_dataset_prepare/directory_structure.png' width='600px'>
91+
<img src='https://github.com/PaddlePaddle/PaddleX/assets/142379845/23074d47-d2af-44fc-9377-b38cd7823f32' width='600px'>
9292
</center>
9393

94-
8. 将 pets 目录打包压缩为 .tar 或 .zip 格式压缩包即可得到猫狗图像分类标准 labelme 格式数据集,然后上传至 [通用图像分类产线](https://aistudio.baidu.com/pipeline/mine) 经过数据化分后即可进行训练。
94+
8. 将 pets 目录打包压缩为 .tar 或 .zip 格式压缩包即可得到猫狗图像分类标准 labelme 格式数据集,然后上传至 [通用图像分类产线](https://aistudio.baidu.com/pipeline/mine) 经过数据化分后即可进行训练。

0 commit comments

Comments
 (0)