当前位置：首页 > news >正文

【感知机】感知机(perceptron)学习算法的收敛性

news 2025/8/8 15:12:25

感知机( perceptron )是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面，是一种判别模型。感知机是神经网络与支持向量机的基础。

感知机学习旨在求出将训练数据进行线性划分的分离超平面。

感知机学习思路：

1.导入基于误分类的损失函数

2.利用梯度下降法对损失函数进行极小化

3.代入参数得到感知机模型。

感知机学习算法分类：

原始形式、对偶形式。

算法的收敛性

算法原始形式收敛：意味着经过有限次迭代可得到一个将训练数据集完全正确划分的分离超平面

为便于推导，记 $\hat{w}=(w^{T},b)^{T}$ ,扩充输入向量，记 $\hat{x}=(x^{T},1)^{T}$ ,则有 $\hat{w}\in\mathbb{R}^{n+1}$ , $\hat{x}\in\mathbb{R}^{n+1}$ ， $\hat{w}\cdot\hat{x}=w\cdot x+b$

（Novikoff）定理设训练集 $T=\left \{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \right \}$ 线性可分，其中 $x_i\in\mathbb{R}^{n}$ , $y_i\in\left \{ +1,-1 \right \}$ ，则：

（1）存在满足 $\left \| \hat{w} \right \|=1$ 的超平面 $\hat{w}\cdot\hat{x}=w\cdot x+b=0$ 将训练数据集完全正确分开，且存在 $\gamma >0$ ,对所有 $i=1,2,...,N$ ,

$y_i(\hat{w}\cdot\hat{x})=y_i(w\cdot x_i+b)\geq \gamma$

（2）令 $R=\underset{1\leq i\leq N }{max}\left \| \hat{x_i} \right \|$ ,则感知机学习算法在训练数据集上的误分类次数k满足不等式

$k\leq (\frac{R}{\gamma })^{2}$

定理表明，当训练数据集线性可分时，经过有限次搜索可以找到将训练数据集完全正确分开的超平面，即算法的原始形式收敛。

上篇：【感知机】感知机(perceptron)学习算法的对偶形式

查看全文

http://www.lryc.cn/news/613559.html

代码随想录算法训练营 Day20

Redis面试精讲 Day 13：Redis Cluster集群设计与原理

P1037 [NOIP 2002 普及组] 产生数

NFS 服务器

Docker容器强制删除及文件系统修复完整指南

移动端录屏需求调研：以小熊录屏为例的轻量级实现方案

线程池创建线程

jmeter要如何做接口测试？

Jmeter使用第一节-认识面板（Mac版）

【线性代数】5特征值和特征向量

Vue3获取当前页面相对路径

站在Vue的角度，对比鸿蒙开发中的状态管理

Casrel关系抽取

vue3 el-select 加载触发

AI绘画：生成唐初李世民全身像提示词

【unity实战】使用Unity程序化生成3D随机地牢（附项目源码）

8.3.1 注册服务中心Etcd

【感知机】感知机(perceptron)学习算法的对偶形式

Java包装类详解与应用指南

Caffeine 三种过期策略详解

Day 6: CNN卷积神经网络 - 计算机视觉的核心引擎

MCU中的USB

论文解读：单个标点符号如何欺骗LLM，攻破AI评判系统

Linux总线，设备和驱动关系以及匹配机制解析

vue打包号的文件如何快速查找文件打包后的位置

Redis 编译错误：缺少静态库文件，如何解决？

算法的收敛性

相关文章：