%20(2).svg)
项目简介
本项目是基于YOLOv8框架搭建的智能牙科诊断系统，借助多模态信息融合技术，提升牙齿计数与病变类型识别的准确性。结合最新的YOLOv8模型与Transformer编码技术，通过训练多个独立模型以及运用多头交叉注意力机制，实现高效的牙齿位置检测与病变类型分类。
项目的主要特性和功能
- 牙齿位置检测：采用YOLOv8模型，训练三个独立模型 (m_1)、(m_2)、(m_3) 用于不同层级的牙齿位置检测。
- 病变类型识别：针对非正常牙齿病变类别，提出基于多模态信息融合的注意力机制网络模型，综合文本和视觉模态数据进行分类。
- 多模态信息融合：通过Transformer编码和预训练的ResNet50提取特征，利用多头交叉注意力机制在特征图层面融合两种模态数据。
- 高性能表现：牙齿计数方面 (mAP_{50}) 达0.955，区分不同类型牙齿准确率可达0.8546。
安装使用步骤
环境配置
- 确保已安装Python 3.7+。
- 安装必要的依赖库：
pip install -r requirements.txt。
数据准备
- 下载DENTEX Challenge 2023数据集，并将其放置在指定目录。
- 配置数据集路径：在配置文件中设置数据集路径。
模型训练
- 运行训练脚本：
python train.py --config config.yaml。 - 训练过程中可使用TensorBoard等工具进行日志记录和可视化。
模型验证与预测
- 使用验证脚本评估模型性能：
python validate.py --model best_model.pt。 - 使用预测脚本进行牙齿计数和病变类型识别：
python predict.py --image test_image.jpg。
模型导出
- 导出训练好的模型为PyTorch、ONNX或OpenVINO格式：
python export.py --model best_model.pt --format onnx。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】