MShadow中的表达式模板如何定制化？

本文共计3099个文字，预计阅读时间需要13分钟。

介绍MXNet所依赖的高性能矩阵库MShadow背后的原理。探讨如何编写高效的机器学习代码，我们先来思考...

表达式模板是Eigen、GSL和boost.uBLAS等高性能C++矩阵库的核心技术。本文基于MXNet给出的教程文档来阐述MXNet所依赖的高性能矩阵库MShadow背后的原理。

编写高效的机器学习代码

我们先来思考一个问题：如何才能编写出高效的机器学习代码？假设DNN模型按照下面的代码进行权重更新，其中weight和grad都是长度为n的vector：

weight = -eta * (grad + lambda * weight)

既然我们选择C++来实现矩阵计算，那么性能肯定是最先要考虑的因素。在C++编程中，一个重要的原则就是——预先分配好所需的内存，不要在运行时申请分配临时内存。