项目简介
本项目提供使用Paddle Inference进行模型推理的示例代码。Paddle Inference是飞桨核心框架推理引擎,功能特性丰富、性能优异,针对服务器端应用场景深度适配优化,可保证飞桨模型在服务器端即训即用、快速部署。项目包含C++和Python使用样例,涵盖图像分类、分割、检测以及NLP的Ernie/Bert等应用。
项目的主要特性和功能
- 多语言支持:提供C++和Python两种语言使用样例,方便不同开发者选择。
- 丰富的任务类型:包含图像分类、分割、检测以及NLP的Ernie/Bert等任务的推理示例。
- 特定技术示例:涵盖Paddle - TRT、多线程的使用样例,展示更高级的推理技术应用。
安装使用步骤
假设用户已经下载了本项目的源码文件: 1. 环境准备:确保已经对Paddle Inference有一定了解,若刚刚接触,可访问这里做初步认识。 2. Python示例运行:进入python目录,根据需求选择相应的测试样例,运行对应的Python脚本,脚本会加载模型、处理输入数据、运行推理并输出结果。 3. C++示例运行:进入c++目录,通过单测方式运行相应的测试样例,实现模型的推理操作。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】