如何实现深度学习框架中算子对齐任务的优雅处理？

本文共计4270个文字，预计阅读时间需要18分钟。

0x0. 前言：之前回答过如何为PyTorch做贡献的知乎问题，详见：https://www.zhihu.com/question/502301777/answer/2248950419。原回答提到，在去年参与OneFlow开发时，基于算子AutoTest框架找到了一些问题。

0x0. 前言

之前回答过如何为PyTorch做贡献的知乎问题，原贴见：www.zhihu.com/question/502301777/answer/2248950419 。回答提到了去年在OneFlow开发一些算子时，基于算子AutoTest框架找到了一些PyTorch算子的bug，并给PyTorch做出了反馈或修复。但这个回答没有介绍这个AutoTest框架长什么样子，以及它背后的原理。因此，这篇文章就用来介绍OneFlow的算子AutoTest框架看一下OneFlow深度学习框架在算子开发过程中是如何优雅的做算子对齐任务的（由@大缺弦 开发，后经我和其它同事进行扩展和丰富功能形成今天的形态）。这个AutoTest框架也可以很轻易移植到其它深度学习训练框架使用，代码实现在​​github.com/Oneflow-Inc/oneflow/blob/v0.6.0/python/oneflow/test_utils/automated_test_util/torch_flow_dual_object.py​​。

0x1. 传统的算子对齐方式

不局限于OneFlow，任何组织或者个人编写的深度学习训练框架都需要验证算子的实现正确性。