TensorRt&&部署问题
目录
TensorRt&&部署问题...........................................................................1
1.TensorRt..........................................................................................1
1.1 TensorRt 定义?........................................................................1
1.2 TensorRt 原理.......................................................................... 2
低精度推理................................................................................ 2
使用 python 接口导入 tf 模型.......................................................4
1.3 安装 TensorRt.......................................................................... 4
1.3.1 安装 TensorRT.................................................................5
1.3.2 安装 UFF,支持 tensorflow 模型转化....................................5
1.3.3 安装 graphsurgeon，支持自定义结构................................5
2.Tensorflow 部署................................................................................5
签名的好处..................................................................................... 6
3. Flask + Docker 简易部署.................................................................6
4.基于 tflite 的 Android 部署..................................................................7
TensorRt&&部署问题
1.TensorRt
1.1 TensorRt 定义?
TensorFlow: pb,ckpt
pytorch: pt,pth
keras: h5
显卡型号： tesla T4 | tesla V100
训练：V100、P40
推理：T4、P4
T4
整数运算能力（INT8）: 130 TOPS
GPU 显存： 16GB
显存带宽： 320GB/秒
定义：推理加速（基于 CUDA 和 cudnn 的进行高性能推理加速引
擎）；用于从 ONNX 或 tensorflow 导入现有模型解析器,是对训练
好的模型进行优化。
当网络训练完后，可以将 tf 训练模型文件直接丢进 tensorRT 中，
而不再需要依赖深度学习框架（Caffe，TensorFlow 等）。
tensorRT 通过 组合层 和优化内核选择来优化网络，从而改善延迟、
吞吐量(样本量/秒)、功效和内存消耗。
理解：
tensorRT 可以将 TensorFlow/pytorch 的网络模型解析，然后与
其中对应的层进行一一映射，把其他框架的模型统一全部 转换到
tensorRT 中，然后在 tensorRT 中可以针对 NVIDIA 自家 GPU 实
施优化策略，并进行部署加速。
TensorRT 对于网络结构进行了重构和优化，主要体现在:
1.tensorRT 通过解析网络模型将网络中无用的输出层消除以减小计
算。
2.对于网络结构的垂直整合，即将目前主流神经网络的 conv、
BN、Relu 三个层融合为了一个层。
3.对于网络的水平组合，水平组合是指将输入为相同张量和执行相
同操作的层融合一起。
4.对于 concat 层，将 contact 层的输入直接送入下面的操作中，
不用单独进行 concat 后在输入计算，相当于减少了一次传输吞吐。
1.2 TensorRt 原理
低精度推理
TensorRT 支持 FP16 和 INT8 的计算，在训练的时候一般是使用
32 位或者 16 位数据，它在推理时可以降低模型参数的位宽来进行
低精度推理，通过在减少计算量和保持精度之间达到一个理想的权
衡，以达到加速推断的目的。模型在推理计算时，是调用 GPU 的
CUDA 核进行计算的。
P16 主要是 P100 和 V100 这两张卡支持；INT8 主要针对的是 P4
和 P40 这两张卡，P4 是专门针对线上做推断的小卡。
int8 量化算法
目标：将 fp32 的 CNN 转换为 int8 而不会造成明显的精度损失；
原因：int8 方法具有更高的吞吐量和更低的内存需求；
为什么要量化而不使用 int8 直接训练？
模型训练是需要反向传播和梯度下降的，训练时的超参一般都是浮
点型，如学习率等，int8 类型无法进行训练。
samples 文件夹下有一个命令行包装工具，叫 trtexec，用来评
测我们的网络模型，它有以下两个功能：
1.在指定的网络模型中，对随机输入数据进行基准测试。eg：可利
用 trtexc 工具来测试 UFF/ONNX net-model 在推理时的表现。
2.对指定网络模型产生序列化引擎：使用完全流水线异步方式从多
个线程运行具有多个执行上下文的引擎，以测试并行推理性能。
trtexec --deploy=/path/to/mnist.prototxt --
model=/path/to/mnist.caffemodel --output=prob --
batch=16 --saveEngine=mnist16.trt
定义： FP16(Full Precise Float 16): (比 FP32)更省内存空间，更
节约推理时间。
了解： Tesla 系列工作站端显卡：p4, p6, p40, p100 — 支持
Pascal 架构
do_Inference 原理
host device 的方式转化将数据传输到 GPU,然后异步执行做推断，
推断的结果从 GPU 拿到 Host(即设备到主机)，接着将流进行同步。
多个 input,output 结点用 do_inference_2 方法。
执行： convert-to-uff ./models/lenet5.pb --> 可生成
lenet.uff 文件
tensorflow: NWHC | tensorrt:NCWH (channel first)
uff-parser 解析 tensorflow 模型
先 build_engine,trt.UffParser() /caffe/ONNXparser;
再对图像进行处理，do_inference 进行异步方式推断
测试： python3 sample.py -d
/home/featurize/work/TensorRT-6.0.1.5/data （需要 install
pycuda）
序列化
序列化将引擎转换为一种格式，以便以后存储和使用以进行推理。
要用于推理，只需反序列化引擎即可。
序列化和反序列化是可选的。由于从网络定义创建引擎可能非常耗
时，因此每次应用程序重新运行时都可以通过序列化一次并在推理
时对其进行反序列化来避免重建引擎。因此，在构建引擎之后，用
户通常希望将其序列化以供以后使用。
可以序列化引擎，也可以直接使用引擎进行推理。在将模型用于推
理之前，序列化和反序列化是一个可选步骤-如果需要，可以直接使
用引擎对象进行推理。
序列化引擎不能跨平台或 TensorRT 版本移植。
序列化引擎步骤
将序列化引擎保存到文件中，并从文件中读回:
1.序列化引擎并写入文件:
with open(“sample.engine”, “wb”) as f:
f.write(engine.serialize))
2.从文件读取引擎并反序列化:
with open(“sample.engine”,“rb”) as f，
trt.Runtime(TRT_LOGGER) as runtime:
engine = runtime. deserialize_cuda_engine(f.read())
使用 python 接口导入 tf 模型
1.导入 TensorRT ：import tensorrt as trt
2.创建冻结的 TensorFlow 模型
3.使用 UFF 转换器将冻结的 Tensorflow 模型转换为 UFF 文件
$ convert-to-uff frozen_inference_graph. pb
4.定义路径。更改以下路径以反映 Samples 中包含的模型的位置
model_file = '/data/mnist/mnist.uff’
5.创建 builder , network 和 parser:
with builder= trt. Builder(TRI_LOGGER) as
builder，
builder.create_network() as
network,trt UffParser O) as parser:
parser.register_input("Placeholder"，(1，
28，28))
parser.register_output("fc2/Relu")
parser.parse(model_file，network)
builder: 搜索其 CUDA 内核目录以获得最快的可用实现，因此必须
使用相同的 CPU 来构建优化引擎将运行的 GPU.
builder 具有许多属性，可以设置这些属性以控制网络应运行的精
度，以及目动调整参效。
两个重要的属性: 最大 batch size 和最大 workspace size.
最大 batch 大小： 指定 tensorRT 将优化的批量大小。在运行时，
可以选择较小的批量大小;
1.3 安装 TensorRt
下载地址： https://developer.nvidia.com/zh-cn/tensorrt
TensorRT 安装链接
#在 home 下新建文件夹，命名为 tensorrt_tar，然后将下载的压
缩文件拷贝进来解压
tar xzvf TensorRT-6.0.1.5.Ubuntu-16.04.4.x86_64-
gnu.cuda-9.0.cudnn7.3.tar
#解压得到 TensorRT-6.0.1.5 的文件夹，将里边的 lib 绝对路径添
加到环境变量中
export
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/featurize/
work/TensorRT-6.0.1.5/lib
1.3.1 安装 TensorRT
cd TensorRT-6.0.1.5/python
pip3 install tensorrt-6.0.1.5-py2.py3-none-
any.whl
1.3.2 安装 UFF,支持 tensorflow 模型转化
cd TensorRT-6.0.1.5/uff
pip3 install uff-0.5.5-py2.py3-none-any.whl
1.3.3 安装 graphsurgeon，支持自定义结构
cd TensorRT-6.0.1.5/graphsurgeon
pip install graphsurgeon-0.3.2-py2.py3-
none-any.whl
libcudart.so.10.0: cannot open shared object file 错误的解决
方案都是查看 CUDA 的版本，
但是如果 CUDA 版本正确的时候还是报这个错误的话，可以通过输
入一下指令解决。
sudo ldconfig /usr/local/cuda-10.0/lib64
2.Tensorflow 部署
简单描述：确定好输入和输出节点，把模型导出成 SavedModel 格
式，然后用 TF-Serving 启动服务，调用方发 http 请求或者 grpc
请求就可以拿到预测结果了。
保存权重文件：
1.ModelCheckPoint
2.model.save_weights()
keras 模型转化为 SavedModel:
tf.saved_model.save(model,’/keras_save_graph’)
查看模型文件命令：
saved_model_cli show --dir ./keras_save_graph --all
签名信息:
saved_model_cli show --dir ./keras_save_graph --
tag-set serve --signature_def serving_default
检查保存模型是否正常工作：(输入 2 个样本，28x28)
saved_model_cli run --dir ./keras_save_graph --
tag-set serve --signature_def serving_default
--input_exprs
'flatten_input=np.ones((2,28,28))'
还可以用程序进行验证：
loaded_saved_model =
tf.saved_model.load('./keras_save_graph')
print(list(loaded_saved_model.signatures.keys())
inference =
loaded_saved_model.signatures['serving_default']
使用 SaveModel 导出训练模型并添加签名
签名的好处
1.可以限定函数的输入类型，以防止调用函数时调错，
2．一个函数有了 input_signature 之后，在 tensorflow 里边才可
以保存成 savedmodel。在保存成 savedmodel 的过程中，需要
使用 get_concrete_function 函数把一个 tf.function 标注的普通
的 python 函数变成带有图定义的函数。
3. Flask + Docker 简易部署
https://www.cnblogs.com/ustcwx/p/12768463.html
1.Saver 端：模型的离线训练与导出
使用 SavedModel，将训练好的模型导出为 pb 文件，检查保存的
模型的 SignatureDef、Inputs、Outputs 等信息，命令
（saved_model_cli）
2.tf.server 进行模型加载与在线预测
基于 Docker 的方式搭建 tf-server，拉取 tf/serving 的镜像,新建
服务实例
3.Client 端 构建请求
Docker：容器，可以理解成一个“黑盒”。在项目变得庞大以后，
往往我们会疲于管理整个项目的部署和维护。如果我们将整个项目
用一个“容器”装起来，那么我们仅仅只用维护一个配置文件告诉
计算机每次部署要把什么东西装进“容器”，甚至借用一些工具把
这个过程自动化，部署就会变得很方便。
部署环境：
Ubuntu18.04 显卡：Tesla 的 P40 搭建 Docker
Docker 封装 Flask 应用：
1.创建一个 Dockerfile 文件，添加部署到服务器上的路径以及启动
的 python 文件名和变量名。
FROM python:3.6
WORKDIR /Project/demo
COPY requirements.txt ./
RUN pip install -r requirements.txt -i
https://pypi.tuna.tsinghua.edu.cn/simple
CMD ["gunicorn", "start:app", "-c",
"./gunicorn.conf.py"]
2.开始构建 Docker 镜像，登陆远程服务器终端，把镜像 pull 下来。
sudo docker build -t 'testflask' sudo docker
images
3.部署到服务器上
sudo apt-get install docker.io
4.运行 docker 镜像：
sudo docker run -d -p 80:80 --name test-flask-1
testflask
5.更新项目的时候，维护好配置文件，build 一下，push 上去，在
服务器 pull 下来，重新运行即可。
4.基于 tflite 的 Android 部署
tf.lite.TFLiteConverter.from_saved_model()（推荐）：转换
SavedModel。
1.build.gradle: 添加 tf-lite-gpu
2.model 放在 asset 文件下，tf 相关的文件放于 tflite 文件夹下
3.设置 tfliteOption( nnapi、cpu、gpu )，构造函数
(loadModelFile)掉用 tfliteModel,初始化图像数据，分配内存；
4.做预测的构造函数 recognizeImage,先把 bitmap 转化为
byteBuffer;
5.接下来就是 runInference 操作(tflite.run()),得到所以的概率值。
