常见的神经网络

  |   0 评论   |   185 浏览

背景

简介

前缀神经网络

感知器网络

最简单的前馈网络,用于模式分类。

感知器网络可分为单层感知器网络和多层感知器网络。

BP网络

采用了反向传播(Back Propagation)学习算法的前馈网络。

神经元变换函数:S形函数(Sigmoid函数),输出量是0~1之间的连续量,可实现从输入到输出的任意的非线性映射。

RBF网络

隐含层神经元由RBF神经元组成的前馈网络。

神经元变换函数:径向基函数(RBF, Radial Basis Function)。

典型的RBF网络由三层组成:一个输入层,一个或多个由RBF神经元组成的RBF层(隐含层),一个由线性神经元组成的输出层。

RNN

RNN(Recurrent Neural Network, 循环神经网络)

  • 完全递归网络(Fully recurrent network)
  • Hopfield神经网络(Hopfield network)
  • 简单循环网络(Simple Recurrent Network, SRN)
  • 回声状态网络(Echo state network)
  • 长短期记忆网络(Long Short Term Memery network, LSTM)
  • 双向循环神经网络(Bi-directional RNN)
  • 持续型网络(Continuous-time RNN)
  • 堆叠循环神经网络(Stacked Recurrent Neural Network, SRNN)
  • 循环多层感知器(Recurrent Multi-Layer Perceptron,RMLP)
  • 递归神经网络(Recurrent Neural Network)

LSTM

LSTM在算法中加入了一个判断信息有用与否的“处理器”,这个处理器作用的结构被称为cell。

一个cell当中被放置了三扇门,分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中,可以根据规则来判断是否有用。只有符合算法认证的信息才会留下,不符的信息则通过遗忘门被遗忘。

LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。

参考

评论

发表评论

validate