Class00.3矩阵计算

Class00.3矩阵计算

标量导数

亚导数

亚导数是凸函数在不可导点上的一种“广义导数”。

y=|x|函数中，当x=0时是没有导数的，因为此时的值处在拐点处。但是其余所有的点的导数都在[-1,1]范围内，那么我们就称这个范围就是x=0处的亚导数集合，记作：

梯度

梯度是一个向量，用来表示某个函数在某点处变化最快的方向和该方向上的变化率。

梯度的数学定义
设 𝑓(𝑥,𝑦)是一个可微函数，那么它的梯度是：

这个向量：

指向函数增长最快的方向；
向量的长度代表增长的快慢（变化率）。

梯度的直观理解
假设你在一座山上散步，地面高度是一个函数：

其中𝑥和𝑦是你的位置，𝑧是海拔高度。
在某个点，你想知道往哪个方向走能爬得最快——这就是梯度的含义。

如上图所示，这是函数 𝑓(𝑥,𝑦)=𝑥²+𝑦²的等高线图和梯度图：

等高线：每条曲线表示函数值相同的点（类似地图上的等高线）。

红色箭头：表示梯度向量 ∇𝑓(𝑥,𝑦)=(2𝑥,2𝑦)，也就是函数在该点增长最快的方向。

箭头都指向远离原点的方向，说明函数值在远离原点时增加得更快。

梯度 = 最大增长方向。

梯度的方向 = 函数上升最快方向。

梯度的大小 = 增长速度的快慢。

dy/dx：当y是标量，x是标量时，dy/dx是标量

dy/dx：当y是向量，x是标量时，dy/dx保持不变

dy/dx：当y是标量，x是向量时，dy/dx方向从行转换成列

dy/dx：当y是向量，x是向量时，dy/dx的结果是一个矩阵

​