项目简介
本项目实现了基于神经生物学中预测性编码原理构建的视频预测模型PredNet。使用PaddlePaddle框架完成模型搭建,并借助KITTI数据集进行训练和测试。PredNet模型通过自顶向下的预测过程和自底向上的感知过程,可有效预测视频序列中的未来帧。
项目的主要特性和功能
- 数据集处理:采用KITTI数据集训练和测试,该数据集含41396张训练图像、154张验证图像和832张测试图像。
- 模型训练:支持用GPU训练模型,可设置batch size、epoch、优化器和学习率等训练参数。
- 模型评估:提供评估脚本,能计算模型在测试集上的预测误差(MSE)。
- 预测演示:提供预测演示脚本,可输入GIF文件并生成预测结果。
- 预训练模型:支持加载官方预训练参数,与官方代码对齐。
安装使用步骤
1. 准备环境
- 硬件:CPU或GPU
- 框架:
- Python 3.7
- PaddlePaddle 2.2.0
根据机器情况安装PaddlePaddle:
- 有GPU的机器:pip install paddlepaddle-gpu==2.2.0
- 无GPU的机器:pip install paddlepaddle==2.2.0
安装其他依赖:
bash
pip install -r requirements.txt
2. 数据准备
下载KITTI数据集,将其放在kitti_data
目录,数据集包含train.h5
、val.h5
和test.h5
三个文件。
3. 训练模型
运行命令开始训练:
bash
python kitti_train.py
4. 评估模型
运行命令评估模型性能:
bash
python kitti_evaluate.py
5. 预测演示
运行命令进行视频预测演示:
bash
python demo.py --input gif/demo.gif --output gif/demo_output.gif
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】