【源码】基于C++17的Lightning轻量级推理框架

项目简介

本项目是基于C++17的Lightning轻量级推理框架，运用Armadillo和OpenBlas进行数学计算，借助OpenMP加速计算过程。同时，使用Google Test进行单元测试，Google Benchmark进行性能测试，可实现深度学习模型的推理。

项目的主要特性和功能

1. 多平台支持：支持在Linux系统的多种计算设备如intel - cpu、intel - gpu、amd - cpu等上运行。
2. 丰富算子支持：涵盖Convolution、AdaptivePooling、MaxPooling等多种常见算子。
3. 模型推理功能：可对nanodet等模型进行推理，给出推理结果。
4. 性能测试：通过对模型进行多次推理取平均耗时的方式进行性能测试。

安装使用步骤

1. 确保已具备C++17编译环境，安装好Armadillo、OpenBlas、OpenMP、Google Test和Google Benchmark。
2. 进入已下载的项目源码文件目录。
3. 使用CMake进行项目构建，生成可执行文件。
4. 若要进行nanodet模型推理，需设置好图像路径、模型参数文件路径和权重文件路径。
5. 运行单元测试，确保框架功能的正确性。
6. 运行性能测试，评估模型推理性能。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】