Python TensorRT 指南

一、TensorRT 简介

TensorRT 是由英伟达公司开发的一个高度优化的深度学习推理引擎，它支持多种深度学习框架，包括 TensorFlow、PyTorch、Caffe 等。TensorRT 能够针对深度学习模型进行优化，从而提高模型的推理速度和准确度。

TensorRT 的主要优势包括：

• 高效率：基于 CUDA 架构的 TensorRT 支持多种网络结构，其推理速度比原生框架快数倍。
• 高精度：TensorRT 对模型进行了各种优化策略，从而使得模型的精度更高。
• 易于使用：TensorRT 提供了 Python 的 API 接口，使得深度学习工程师们可以很容易地将其集成到现有的代码中。

二、TensorRT 的安装

在安装 TensorRT 之前，需要先安装 CUDA 和 cuDNN，以及 Python 和 pip。

# 安装 CUDA 和 cuDNN
# 这里假设 CUDA 和 cuDNN 版本为 10.0 和 7 
$ sudo apt-get install cuda-10-0 libcudnn7

# 安装 Python 和 pip
$ sudo apt-get install python3.7 python3-pip

# 安装 TensorRT 的 Python 包
# 这里假设 TensorRT 版本为 5.1.5.0
$ pip3 install tensorrt-5.1.5.0-cp37-none-linux_x86_64.whl

三、TensorRT 应用

1. 转换 Tensorflow 模型

TensorRT 可以直接针对 Tensorflow 模型进行优化。以下是一个简单的例子：

import tensorflow as tf
import tensorrt as trt

# 加载 Tensorflow 模型
tf_graph = tf.GraphDef()
with open("model.pb", "rb") as f:
    tf_graph.ParseFromString(f.read())

# 将 Tensorflow 模型转换为 TensorRT 模型
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.UffParser() as parser:
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30
    parser.register_input("input", (3, 224, 224))
    parser.register_output("output")
    parser.parse(tf_graph)
    engine = builder.build_cuda_engine(network)

# 运行 TensorRT 模型
with engine.create_execution_context() as context:
    input = np.random.randn(1, 3, 224, 224).astype(np.float32)
    output = np.empty(1000, dtype=np.float32)
    context.execute(1, [input, output])

2. 转换 PyTorch 模型

与 Tensorflow 模型类似，TensorRT 也可以直接优化 PyTorch 模型。以下是一个简单的例子：

import torch
import tensorrt as trt

# 加载 PyTorch 模型
model = torch.load("model.pt")

# 将 PyTorch 模型转换为 TensorRT 模型
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, TRT_LOGGER) as parser:
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30
    model_str = torch.onnx.export(model, torch.randn(1, 3, 224, 224), "temp.onnx", verbose=False)
    with open("temp.onnx", "rb") as f:
        parser.parse(f.read())
        engine = builder.build_cuda_engine(network)

# 运行 TensorRT 模型
with engine.create_execution_context() as context:
    input = np.random.randn(1, 3, 224, 224).astype(np.float32)
    output = np.empty(1000, dtype=np.float32)
    context.execute(1, [input, output])

3. 在 TensorRT 上应用插件

TensorRT 还支持使用插件来优化模型。以下是一个简单的例子，使用 LeakyReLU 插件来优化模型：

import tensorflow as tf
import tensorrt as trt

# 加载 Tensorflow 模型
tf_graph = tf.GraphDef()
with open("model.pb", "rb") as f:
    tf_graph.ParseFromString(f.read())

# 定义 LeakyReLU 插件
class LeakyReLUPlugin(trt.IPluginV2DynamicExt):
    def __init__(self, alpha):
        self.alpha = alpha

    def get_output_shape(self, index, inputs, output_shapes):
        return output_shapes[0]

    def enqueue(self, batch_size, inputs, outputs, bindings, stream, metadata):
        x = inputs[0].reshape(-1)
        y = outputs[0].reshape(-1)
        y[:] = [max(val, val*self.alpha) for val in x]

    def configure_plugin(self, inputs, outputs, plugin_data):
        pass

    def clone(self):
        return LeakyReLUPlugin(self.alpha)

    def destroy(self):
        pass

# 将 Tensorflow 模型转换为 TensorRT 模型，并应用 LeakyReLU 插件
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.UffParser() as parser:
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30
    parser.register_input("input", (3, 224, 224))
    parser.register_output("output")
    parser.parse(tf_graph)
    network.mark_output(network.get_layer(network.num_layers - 1).get_output(0))
    plugin_creator = trt.get_plugin_registry().get_plugin_creator("LeakyReLU_TRT", "1", "")
    plugin = plugin_creator.create_plugin("leaky_relu", None, None)
    network.get_layer(network.num_layers - 2).get_output(0).output_buffer.host = input
    network.get_layer(network.num_layers - 2).get_output(0).output_buffer.device = bindings[0]
    network.get_layer(network.num_layers - 2).get_output(0).output_buffer.values = input.nbytes
    layer = network.add_plugin_v2([network.get_layer(network.num_layers - 2).get_output(0)], plugin)
    layer.name = "leaky_relu"
    layer.get_output(0).name = "leaky_relu_output"
    engine = builder.build_cuda_engine(network)

# 运行 TensorRT 模型
with engine.create_execution_context() as context:
    input = np.random.randn(1, 3, 224, 224).astype(np.float32)
    output = np.empty(1000, dtype=np.float32)
    context.execute(1, [input, output])

四、TensorRT 总结

TensorRT 是一个高效、高精度、易于使用的深度学习推理引擎，支持多种深度学习框架，并可以使用插件来优化模型。可以说，TensorRT 对深度学习工程师来说非常实用。希望今后 TensorRT 能够不断优化，更好地支持更多的深度学习框架。