如何详细实施PyTorch Lightning模型在生产环境中的部署？

本文共计1807个文字，预计阅读时间需要8分钟。

目录 + 导读 + 使用PyTorch Lightning模型进行推理的各种方法

1.直接打包部署PyTorch Lightning模型

2.导出为ONNX并使用ONNX Runtime进行服务

3.使用Torchscripts JIT compiler进行序列化 + 导读一篇关于使用PyTorch Lightning的教程

目录

• 导读
• 使用PyTorch Lightning模型进行推理的各种方法
• 1. 直接打包部署PyTorch Lightning模型
• 2. 导出为ONNX并通过ONNX Runtime进行服务
• 3. 使用 Torchscript’s JIT compiler序列化

导读

一篇用PyTorch Lighting提供模型服务的完全指南。

纵观机器学习领域，一个主要趋势是专注于将软件工程原理应用于机器学习的项目。例如，Cortex重新创造了部署serverless功能的体验，但使用了推理管道。类似地，DVC实现了现代版本控制和CI/CD管道，但是是针对ML的。\

PyTorch Lightning也有类似的理念，只适用于训练。这些框架为PyTorch提供了一个Python包装器，让数据科学家和工程师可以编写干净、易于管理和性能训练的代码。

作为构建整个部署平台的人，部分原因是我们讨厌编写样板文件，我们是PyTorch Lightning的忠实粉丝。