Tensor RT使用记录

Tensor RT的介绍在此不做赘述。

自己在服务器上本打算装Tensor RT来着，不过过程很艰辛，最后发现服务器的cudnn版本偏低了，还需要升级cudnn的版本。故，在自己的电脑上了装了下Tensor RT，同时给自己的电脑将cudnn的版本从7.4升级到了7.5，并跑通了基本的例程。

下面对于Tensor RT的学习进行介绍。

在英伟达的官网上，有几个文档，

第一个是支持的Matrix运算，就是各种已经支持的层，对于不同的开发框架如Caffe、ONNX等，支持的层可能会有不同。

https://developer.download.nvidia.cn/compute/machine-learning/tensorrt/docs/5.1/rc/TensorRT-Support-Matrix-Guide.pdf

第二个安装的文档，第三个是版本记录，第四个是开发手册，第五个是如何去优化TensorRT的表现，第六个是配套的各种example的使用教程。

开发文档主要内容

现在看的是TensorRT5，几个文档中最重要的是开发文档。

在Windows下，现在是用不了Python API的，所以主要看的是C++的API。C++ API部分主要讲的内容有：

1、创建网络定义（可以自己定义，可以从Caffe、TF、ONNX导入模型）

2、Building An Engine

3、序列化该模型

4、执行前向

5、内存管理

6、Refitting An Engine

其余的部分是：扩展Tnesor RT 用自定义(Custom) layer、混合精度使用。

视频：https://yq.aliyun.com/video/play/1381?utm_content=m_45632&do=login