机器学习——神经网络（BP）

一.理论基础

BP (Back Propagation) 神经网络是 1986 年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。

感知器——BP 神经网络中的单个节点

• [ ] 由输入项、权重、偏置、激活函数、输出组成。

• 输入节点：x1​，x2​，x3​，...，xi​

• 权重：w1​，w2​，w3​，...，wi​

• 偏置：b

• 激活函数：f

• 输出节点：output

二.BP神经网络的结构与传播规则

BP 神经网络是一种典型的非线性算法。

BP 神经网络由 输入层、隐含层（也称中间层）和 输出层 构成 ，其中隐含层有一层或者多层。每一层可以有若干个节点。层与层之间节点的连接状态通过 权重 来体现。

只有一个隐含层：传统的浅层神经网络；有多个隐含层：深度学习的神经网络。

BP 神经网络的核心步骤如下。其中，实线代表正向传播，虚线代表反向传播。

• 正向传播数据（信息、信号）从输入端输入后&