2019-07-19 神经网络的前向和后向传播过程:算法和代码(python) – Python量化投资

2019-07-19 神经网络的前向和后向传播过程:算法和代码(python)

神经网络的前向和后向传播过程:

其实前向就是简单的矩阵乘法,后向是链式法则加矩阵乘法。过程我觉的不需要死记硬背,理解了就可以,把标记搞清楚,一步步推导其实不难。

及其详细且逻辑清晰的推导过程:

https://blog.csdn.net/u014313009/article/details/51039334

之前上吴恩达课的时候已经手动实现过一次了,无非就是先求第l层输入的导数,然后推公式把l-1层输入的导数和l层输入的导数间的关系式求出来,这两个都知道了,就可以从最后一层输入的导数往前推了。再推一下l层输入的导数和l-1层权重w的导数间的关系式,就可以进行梯度更新操作了。

产生的问题:1.梯度更新的参数怎么设置?就是步长   2.正则化向。3.其实总结起来就是神经网络的调优技巧,吴恩达都讲了,刚上完课忘了一半。

代码实现上,这里发现一位github上整理实现神经网络过程的国际友人,blog解说配python代码,不过只有18个星,先放在这里:

https://github.com/ImadDabbura/blog-posts

代码实现上的问题还有待整理。。。。。。。

你或许想:《去原作者写文章的地方

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论