项目简介
本项目基于Jittor框架实现AMU模型,旨在解决少样本学习中的图像分类问题。通过构建并训练结合CLIP模型和辅助特征模型的AMU模型,达成对新类别的快速分类。
项目的主要特性和功能
- AMU模型构建:融合CLIP模型与辅助特征模型(如MOCO模型),实现图像和文本的联合嵌入,利用不确定性融合技术提升模型性能。
- 数据预处理:定义图像预处理流程,包含图像大小调整、归一化等操作,确保输入数据符合模型要求。
- 损失计算:通过计算交叉熵损失优化模型参数,提高模型分类准确率。
- 模型训练与评估:提供训练和评估模型的方法,涵盖数据加载、模型训练、验证和测试等步骤。
- 辅助函数和类定义:定义数据加载器、模型构建和特征提取等辅助函数和类,为构建和训练模型提供必要工具。
安装使用步骤
环境配置
- 利用anaconda创建一个python >= 3.8的基础环境。
- 下载相关依赖:
shell pip install -r requirements.txt
- 测试环境中的jittor是否安装成功:
shell python -m jittor.test.test_core python -m jittor.test.test_example python -m jittor.test.test_cudnn_op
数据集准备
将数据集上传到本项目的根目录中,命名为“Dataset”,文件夹中包含“Train”,“Val”,“Test”,里面存放着每个类别的图片,同一类别的图片用类别名文件夹存放。
模型训练
- 在
default.yaml
文件中配置相关参数,或者在命令行运行train.py
文件时配置相应参数。 - 在命令行中激活环境并运行训练脚本:
shell conda activate [your_env] python train.py
模型测试
训练完成后,运行test.py
文件对模型进行测试,并评估模型的性能:
shell
python test.py
colab运行方式
- 将本项目中的
jittorB.ipynb
上传到colab中。 - 将项目代码以及数据集上传到谷歌云盘中。
- 替换
jittorB.ipynb
中的路径。 - 运行
train.py
以及test.py
进行训练和测试,之后模型会自动保存到谷歌云盘中。
注意:项目代码基于Jittor框架编写,可能需要特定环境或框架运行。若遇到问题,建议检查Jittor的安装和配置,并按项目要求调整。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】