fix dataset.py bug

Author: zRzRzRzRzRzRzR

.gitignore

@@ -1,30 +1,30 @@
-cmake_minimum_required(VERSION 3.16)
-project(openvino_kpt_class)
-
-set(CMAKE_CXX_STANDARD 11)
-set(ngraph_DIR "/opt/intel/openvino_2022/runtime/cmake")
-set(InferenceEngine_DIR "/opt/intel/openvino_2022/runtime/cmake")
-
-find_package(OpenCV 4 REQUIRED)
-find_package(InferenceEngine REQUIRED)
-find_package(OpenCV REQUIRED)
-
-include_directories(
-        #OpenVINO推理引擎的头文件
-        /opt/intel/openvino_2022/runtime/include/ie/
-        /opt/intel/openvino_2022/runtime/include/ngraph/
-        /opt/intel/openvino_2022/runtime/include/openvino/
-
-)
-include_directories(
-        ${OpenCV_LIBRARY_DIRS}
-)
-add_executable(openvino_kpt_class ${sourcefile} yolov7_kpt.cpp yolov7_kpt.h demo_kpt.cpp)
-target_link_libraries(
-        openvino_kpt_class
-        ${OpenCV_LIBS}
-        ${InferenceEngine_LIBRARIES}
-)
-
-
-
+cmake_minimum_required(VERSION 3.16)
+project(openvino_kpt_class)
+
+set(CMAKE_CXX_STANDARD 11)
+set(ngraph_DIR "/opt/intel/openvino_2022/runtime/cmake")
+set(InferenceEngine_DIR "/opt/intel/openvino_2022/runtime/cmake")
+
+find_package(OpenCV 4 REQUIRED)
+find_package(InferenceEngine REQUIRED)
+find_package(OpenCV REQUIRED)
+
+include_directories(
+        #OpenVINO推理引擎的头文件
+        /opt/intel/openvino_2022/runtime/include/ie/
+        /opt/intel/openvino_2022/runtime/include/ngraph/
+        /opt/intel/openvino_2022/runtime/include/openvino/
+
+)
+include_directories(
+        ${OpenCV_LIBRARY_DIRS}
+)
+add_executable(openvino_kpt_class ${sourcefile} yolov7_kpt.cpp yolov7_kpt.h demo_kpt.cpp)
+target_link_libraries(
+        openvino_kpt_class
+        ${OpenCV_LIBS}
+        ${InferenceEngine_LIBRARIES}
+)
+
+
+

C++_inference_openvino_kpt/CMakeLists.txt

@@ -1,116 +1,116 @@
-**2023 RoboMaster XJTLU Armor Keypoints Detection(C++ Openvino inference)**
-=
-
-### **Team: 动云科技GMaster战队 <br>**
-
-#### **Author: *视觉组 张昱轩 zR***
-
-## 功能介绍
-
-本代码用于将区域赛视觉标定板目标检测和装甲板四点关键点检测神经网络模型权重文件部署至 C++ Openvino环境。<br>
-
-## DEMO演示代码架构
-
-├── CMakeLists.txt<br>
-├── demo_kpt.cpp <br>
-├── yolov7_kpt.cpp <br>
-├── yolov7_kpt.h <br>
-└── demo_weight <br>
-
-## 代码解释和使用说明：
-
-### demo_kpt.cpp:<br>
-
-主代码，将你测试的视频的绝对路径填写至 ```VIDEO_PATH``` 即可。<br>
-
-### yolov7_kpt.h：<br>
-
-包含了头文件和所有的宏定义函数，其中对应的含义如下：<br>
-
-+ ```VIDEOS``` 是否显示推理视频，默认不启动。如果使用则取消注释。
-+ ```IMG_SIZE``` 图像推理大小，取决与你的模型，并需要修改ANCHOR的具体值。默认值为```416```。
-+ ```NMS_THRESHOLD``` nms阈值，默认值 ```0.2```。
-+ ```CONF_THRESHOLD``` 置信度阈值，默认值 ```0.7```。
-+ ```CONF_REMAIN``` 置信度保留度，默认值 ```0.25```。
-+ ```ANCHOR``` ANCHOR的数量，默认值为```3```。不建议修改，如果修改，需要对应的修改推理的结构。
-+ ```DEVICE``` 推理设备，默认值为```CPU```。
-+ ```DETECT_MODE``` 检测模式选择，有三种模式可选，分别是:<br>
-    + __ARMOR__ 装甲板四点模型检测，请将```DETECT_MODE```设置为```0```。
-    + __WIN__ 能量机关五点模型检测，请将```DETECT_MODE```设置为```1```。
-    + __BOARD__ 视觉识别板目标检测，请将```DETECT_MODE```设置为```2```。<br>
-      上述不同模式对应的应用场景，因此，不同类别中的```CLS_NUM```,```KPT_NUM```值(类别数量和关键点数量)不同。
-      不同模式所对应的权重文件不同。```MODEL_PATH```是推理网络的模型位置，在这里放入 ```.xml``` 或 ```.onnx```量化权重文件。
-+ 由于需要应付车辆被打击后的装甲板突然熄灭导致的误识别，我们将上一帧识别的信息给予一定的权重，在下一帧的时候如果其识别权重+
-  上一帧的权重能够大于置信度阈值，我们仍视为装甲板。<br>
-  默认状态下，每一个bbox的置信度计算公式如下：
-  ```
-  min(box_prob * max_prob + last_conf * CONF_REMAIN, 1.0)
-  ```
-
-### yolov7_kpt.cpp：<br>
-
-包含了所有的推理代码，部分函数的解释如下:<br>
-```vector<Object_result> work``` 推理主函数。
-
-#### API接口:<br>
-
-返回值类型为自定义的```Object_result```结构体，包含如下信息:<br>
-struct Object_result<br>
-├── ```<int> label``` 识别的标签类别。<br>
-├── ```<float> prob```  识别的置信度。<br>
-├── ```<rect> bbox``` 识别的bbox信息，包含左上角的坐标和宽高<br>
-└── ```vector<float> kpt``` 识别的关键点信息，长度为8，分别是左上，左下，右下，右上四个关键点的坐标。<br>
-
-#### 类接口:<br>
-
-类名: ```yolo_kpt```
-
-### demo_weight：<br>
-
-包含一份开箱即用的OpenV权重文件，效果仅供推理使用。
-
-## 推理样例展示
-
-图片展示:<br>
-![](https://github.com/zRzRzRzRzRzRzR/YOLO-of-RoboMaster-Keypoints-Detection-2023/blob/main/show_pic/result_openvino.jpg)<br>
-
-输出展示：<br>
-若选择的推理模式为 __WIN__ 或 __ARMOR__ 类别，将会包含 __标签，BBOX，关键点坐标__ 数据。输出的图片将包含 ```KPT_NUM```
-个的蓝色关键点。样例如下:
-
-```
-label:10
-bbox:[104 x 81 from (132, 355)]
-kpt:[154.106, 380.611] [156.97, 401.911] [223.415, 397.036] [220.275, 376.454]
-```
-
-若选择的推理模式为 __BOARD__ 类别，将会包含 __标签，BBOX__ 数据。同时，输出的图片将不会有关键点。样例如下:
-
-```
-label:1
-bbox:[122 x 433 from (192, 155)]
-```
-
-## 推理代码测试平台
-
-```
-硬件设备:
-CPU: Inter NUC 11th 11350H
-GPU: Inter NUC 核显 
-Memory: 8GB
-```
-
-```
-系统配置:
-OS: Ubuntu 20.04.5
-Kernel: 5.15.0
-Openvino: 2022.1
-gcc/g++ : 9.4.0
-cmake : 3.16.3
-Python : 3.8.5
-ONNX : 15
-OpenCV : 4.6.0
-```
-
-__注意: 该代码在上述指定版本以下的版本可能无法运行。 例如在```OpenCV 4.2.2```下没有```cv::dnn::SoftNMS```
-方法,请更换为```cv::dnn::NMS```。__
+**2023 RoboMaster XJTLU Armor Keypoints Detection(C++ Openvino inference)**
+=
+
+### **Team: 动云科技GMaster战队 <br>**
+
+#### **Author: *视觉组 张昱轩 zR***
+
+## 功能介绍
+
+本代码用于将区域赛视觉标定板目标检测和装甲板四点关键点检测神经网络模型权重文件部署至 C++ Openvino环境。<br>
+
+## DEMO演示代码架构
+
+├── CMakeLists.txt<br>
+├── demo_kpt.cpp <br>
+├── yolov7_kpt.cpp <br>
+├── yolov7_kpt.h <br>
+└── demo_weight <br>
+
+## 代码解释和使用说明：
+
+### demo_kpt.cpp:<br>
+
+主代码，将你测试的视频的绝对路径填写至 ```VIDEO_PATH``` 即可。<br>
+
+### yolov7_kpt.h：<br>
+
+包含了头文件和所有的宏定义函数，其中对应的含义如下：<br>
+
++ ```VIDEOS``` 是否显示推理视频，默认不启动。如果使用则取消注释。
++ ```IMG_SIZE``` 图像推理大小，取决与你的模型，并需要修改ANCHOR的具体值。默认值为```416```。
++ ```NMS_THRESHOLD``` nms阈值，默认值 ```0.2```。
++ ```CONF_THRESHOLD``` 置信度阈值，默认值 ```0.7```。
++ ```CONF_REMAIN``` 置信度保留度，默认值 ```0.25```。
++ ```ANCHOR``` ANCHOR的数量，默认值为```3```。不建议修改，如果修改，需要对应的修改推理的结构。
++ ```DEVICE``` 推理设备，默认值为```CPU```。
++ ```DETECT_MODE``` 检测模式选择，有三种模式可选，分别是:<br>
+    + __ARMOR__ 装甲板四点模型检测，请将```DETECT_MODE```设置为```0```。
+    + __WIN__ 能量机关五点模型检测，请将```DETECT_MODE```设置为```1```。
+    + __BOARD__ 视觉识别板目标检测，请将```DETECT_MODE```设置为```2```。<br>
+      上述不同模式对应的应用场景，因此，不同类别中的```CLS_NUM```,```KPT_NUM```值(类别数量和关键点数量)不同。
+      不同模式所对应的权重文件不同。```MODEL_PATH```是推理网络的模型位置，在这里放入 ```.xml``` 或 ```.onnx```量化权重文件。
+
+### yolov7_kpt.cpp：<br>
+
+包含了所有的推理代码，部分函数的解释如下:<br>
+```vector<Object_result> work``` 推理主函数。
+
+#### API接口:<br>
+
+返回值类型为自定义的```Object_result```结构体，包含如下信息:<br>
+struct Object_result<br>
+├── ```<int> label``` 识别的标签类别。<br>
+├── ```<float> prob```  识别的置信度。<br>
+├── ```<rect> bbox``` 识别的bbox信息，包含左上角的坐标和宽高<br>
+└── ```vector<float> kpt``` 识别的关键点信息，长度为8，分别是左上，左下，右下，右上四个关键点的坐标。<br>
+
+#### 类接口:<br>
+
+类名: ```yolo_kpt```
+
+### demo_weight：<br>
+
+包含一份针对2023年官方能量机关红色待激活识别的代码。
+
+## 推理样例展示
+
+图片展示:<br>
+![](https://github.com/zRzRzRzRzRzRzR/YOLO-of-RoboMaster-Keypoints-Detection-2023/blob/main/show_pic/result_openvino.jpg)
+输出展示：<br>
+若选择的推理模式为 __ARMOR__ 类别，将会包含 __标签，BBOX，关键点坐标__ 数据。输出的图片将包含 ```KPT_NUM```
+个的绿色关键点。样例如下:
+
+```
+label:10
+bbox:[104 x 81 from (132, 355)]
+kpt:[154.106, 380.611] [156.97, 401.911] [223.415, 397.036] [220.275, 376.454]
+```
+
+若选择的推理模式为 __BOARD__ 类别，将会包含 __标签，BBOX__ 数据。同时，输出的图片将不会有关键点。样例如下:
+
+```
+label:1
+bbox:[122 x 433 from (192, 155)]
+```
+
+若选择的推理模式为 __WIN__ 类别，将会在 __ARMOR__ 的基础上额外输出一个打击板中心坐标，逻辑如下
++ 如果能量机关装甲板四个点都检测到，直接取四个点中点
++ 如果左上，右下 / 左下， 有右上两个点检测到，另外两个点缺失一个，则取这两个检测到的点中点。
++ 如果不满足上面两个情况，取bbox中点。
+经过测试，该方案能保证，只要能检测到目标板，一定能精确的检测到打击到目标板中心。
+
+
+## 推理代码测试平台
+
+```
+硬件设备:
+CPU: Inter NUC 11th 11350H
+GPU: Inter NUC 核显 
+Memory: 8GB
+```
+
+```
+系统配置:
+OS: Ubuntu 20.04.5
+Kernel: 5.15.0
+Openvino: 2022.3
+gcc/g++ : 9.4.0
+cmake : 3.16.3
+Python : 3.8.5
+ONNX : 15
+OpenCV : 4.6.0
+```
+
+__注意: 该代码在上述指定版本以下的版本可能无法运行。 例如在```OpenCV 4.2.2```下没有```cv::dnn::SoftNMS```
+方法,请更换为```cv::dnn::NMS```。__

C++_inference_openvino_kpt/README.md

@@ -1,37 +1,25 @@
-#include "yolov7_kpt.h"
-//#define VIDEO_PATH "/home/zr/Downloads/test_for_net.mp4"
-#define VIDEO_PATH "/home/zr/Downloads/cut3.avi" //视频测试位置
-yolo_kpt DEMO; //实例化
-std::vector<yolo_kpt::Object> result; //储存结果
-cv::TickMeter meter;
-float last_conf = 0.0; //存储上一帧的置信度，在自己的工程中需要移植。
-int main() {
-    cv::VideoCapture cap;
-    cap.open(VIDEO_PATH);
-    if (!cap.isOpened()) {
-        std::cout << "相机没有打开或没有找到视频" << std::endl;
-        return 0;
-    }
-    while (true) {
-        cv::Mat src_img;
-        bool ret = cap.read(src_img);
-        if (!ret) break;
-        meter.start();
-        result = DEMO.work(src_img);
-        meter.stop();
-        printf("Time: %f\n", meter.getTimeMilli());
-        meter.reset();
-        for (auto i: result) {
-            std::cout << "label:" << i.label << std::endl;
-            std::cout << "bbox:" << i.rect << std::endl;
-            if (KPT_NUM != 0) {
-                std::cout << "kpt:";
-                for (auto kpt: i.kpt)
-                    std::cout << kpt << " ";
-                std::cout << std::endl;
-            }
-        }
-    }
-    cv::destroyAllWindows();
-    return 0;
+#include "yolov7_kpt.h"
+#define VIDEO_PATH "red-win.MP4"
+yolo_kpt DEMO;
+std::vector<yolo_kpt::Object> result;
+cv::TickMeter meter;
+int main() {
+    cv::VideoCapture cap;
+    cap.open(VIDEO_PATH);
+    if (!cap.isOpened()) {
+        std::cout << "相机没有打开或没有找到视频" << std::endl;
+        return 0;
+    }
+    while (true) {
+        cv::Mat src_img;
+        bool ret = cap.read(src_img);
+        if (!ret) break;
+        meter.start();
+        result = DEMO.work(src_img);
+        meter.stop();
+        printf("Time: %f\n", meter.getTimeMilli());
+        meter.reset();
+    }
+    cv::destroyAllWindows();
+    return 0;
 }