littlebot
Published on 2025-04-13 / 1 Visits
0

【源码】基于Python的AI模型开发与数据集处理综合项目

项目简介

本项目聚焦于AI模型开发与数据集处理,借助Python构建了数据集处理工具,可处理如OCR和YOLO目标检测等多种格式的数据集。同时涉及比特大陆平台的模型量化、发布、测试等操作,包含模型量化参数设置、加密流程及平台运行算法注意事项。

项目的主要特性和功能

数据集处理工具特性

  • 数据集分割:可将数据集划分为训练集和验证集,用于模型训练与性能评估。
  • 标签格式转换:支持CVAT的XML格式、YOLO的TXT格式等不同标签格式间的转换。
  • 图像增强:提供翻转、旋转、亮度调节等功能,增强模型鲁棒性。
  • 数据清洗:能删除无标签图片、无效图片,保证数据集完整性。

比特大陆平台相关功能

  • 模型量化与加密:支持将模型量化为INT8,可保存和加载中间文件,量化后需进行加密。
  • 模型发布:规定了模型发布流程和路径,适用于车辆检测等场景。
  • 测试与调试:提供测试例子和调试方法,包括gdb调试定位行号、模型自检等。

安装使用步骤

数据集处理工具

  1. 安装依赖:确保安装OpenCV、Pillow、requests等Python库。
  2. 配置路径:根据实际需求配置数据集路径、输出路径。
  3. 运行脚本:按需选择脚本进行数据集分割、标签格式转换等处理。

比特大陆平台相关操作

大版本运行

  1. 在QK_AI_Box上设置编译器,运行 source build/envsetup.sh
  2. 编译及安装库,使用 make 命令,然后 make install,编译大版本不能用 make -j16
  3. 盒子配置:访问 http://192.168.3.13/#/login,用用户名 admin 和密码 123456 登录。

测试例子运行

Z:\ganhaiyang\Alg_Proj\2.2.0_20201117_042200\bmnnsdk2\bmnnsdk2-bm1684_v2.2.0\examples\YOLOv3_object\cpp_cv_bmcv_bmrt_postprocess 目录下,运行 make -f Makefile.arm

gdb调试

  1. 关闭服务:sudo systemctl stop AICoreDaemon.service
  2. 打开root:sudo -i
  3. 设置路径:export LD_LIBRARY_PATH=/system/ai_monitor/lib:$LD_LIBRARY_PATH;export PATH=/system/ai_monitor/bin:$PATH
  4. 进行调试:gdb ai_system,按 r 后按 Enter,再按 btEnter 定位到具体行号。

模型自检

使用 bmrt_test --bmodel=int8model_352/yolov3_f32_officeperson.bmodel 命令进行模型自检。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】