读取原始数据,对其进行处理,转化为神经网络能够处理的张量格式。
刘天阳手指一挥,输入处理模块便如臂指使般被他定位到算法的起点。
之后便是依续递进,众多模块在他的指挥下像是长龙一般拼在后面。
卷积模型构建,激活函数处理,再度卷积,再次激活,多层神经网络的前向传播此时便有了雏形。
不过如此一来模型很容易陷入过拟合的局部最优点,刘天阳一挥手,神经网络中的一些层便变得虚幻起来。
但这并不代表其断开了连接,而是意味着在训练过程中,这些层会随机的丢掉一些数据,减缓算法梯度下降的速度,并带来一定的随机性。
这种被称之为‘丢出’的操作正是代表着人脑中遗忘的功能,虽然做不到像人那般更有针对性,但对于一个可以无限试错的算法来说,足够了。
不过仅仅是学习还不够,刘天阳最终需要提取出整个神经网络中对于使用目标有用的结果。
这个时候需要的就是全连接层,也即池化层,刘天阳思考了一下,一个方块在远方消失,又凭空出现在他的面前。
墨紫色的方块在他的指挥下落在算法的最尾端,这里就是输出结果的地方。
如此一来,整个前向传播神经网络的结构便确定了,下面要做的,就是把它们全部连接起来。
确定训练目标的损失函数,定义!
为算法运行提供动力,更新模型中各個参数的优化函数,定义!