如何实现TensorFlow中的自定义激活函数实例？

本文共计793个文字，预计阅读时间需要4分钟。

前言：由于研究工作的需要，需要改进激活函数以适应自己的网络模型。但单纯的函数替换会导致训练导数不足。这里还有一些不明确的原因，希望有人可以给出解释。

查阅了一些博客，发现了一些观点。

前言：因为研究工作的需要，要更改激活函数以适应自己的网络模型，但是单纯的函数替换会训练导致不能收敛。这里还有些不清楚为什么，希望有人可以给出解释。查了一些博客，发现了解决之道。下面将解决过程贴出来供大家指正。

1.背景

之前听某位老师提到说tensorflow可以在不给梯度函数的基础上做梯度下降，所以尝试了替换。我的例子时将ReLU改为平方。即原来的激活函数是 现在换成

单纯替换激活函数并不能较好的效果，在我的实验中，迭代到一定批次，准确率就会下降，最终降为10%左右保持稳定。而事实上，这中间最好的训练精度为92%。资源有限，问了对神经网络颇有研究的同学，说是激活函数的问题，然而某篇很厉害的论文中提到其精度在99%，着实有意思。之后开始研究自己些梯度函数以完成训练。

2.大概流程

首先要确定梯度函数，之后将其处理为tf能接受的类型。