Games 102
P2 数据拟合
拟合数据的好坏
- 分段线性插值函数y=f1(x)y=f_1(x)y=f1(x)，数据误差为0，只有C0C_0C0连续。
- 光滑插值函数y=f2(x)y=f_2(x)y=f2(x)，数据误差为0，可能被Noice带歪，导致函数性质不好，预测而不可靠
- 逼近拟合函数y=f3(x)y=f_3(x)y=f3(x)，允许一定的误差
三部曲方法论
- 到那找：确定某个函数集合/空间
- 找那个：度量哪个函数是好的=确定loss
- 怎么找：求解或优化
- 如果转化为系数的方程组是欠定的(有无穷多解)，则修正模型：Lasso、岭回归、稀疏正则项
多项式插值定理
- 拉格朗日多项式
- 牛顿插值多项式
- 病态问题
- 函数相互抵消
- 单项式，从低次幂到高次幂占据的重要性优先级依次下降。
- 使用正交多项式基
- 结论
- 多项式插值不稳定
- 振荡现象：多项式随着插值点数的增加而摆动
多项式逼近
- 为什么做逼近
- 最小二乘逼近
- argminf∈span(B)∑j=1m(f(xj)−yj)2\underset{f\in span(B)}{argmin}\sum\limits_{j=1}^{m}(f(x_j)-y_j)^2f∈span(B)argminj=1∑m(f(xj)−yj)2
函数空间及基函数
- Bernstein多项式逼近
- 基函数：bn,j=Cnjxj(1−x)n−jb_{n,j} = C_n^jx^j(1-x)^{n-j}bn,j=Cnjxj(1−x)n−j
- 优势
- 正性、权性(和为1)->凸包性
- 变差缩减性
- 递归线性求解方法
- 细分性
RBF函数插值/逼近
- RBF函数的一维形式即为Gauss函数
- gμ,σ(x)=12πe−(x−μ)22σ2g_{\mu,\sigma}(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}gμ,σ(x)=2π1e−2σ2(x−μ)2
- RBF函数
- f(x)=b0+∑i=1nbigi(x)f(x)=b_0+\sum\limits_{i=1}^n b_ig_i(x)f(x)=b0+i=1∑nbigi(x)
从另一个角度来看拟合函数
- Gauss拟合函数
- 一般的Gauss函数表达为标准Gauss函数的形式
- gμ,σ(x)=12πe−(x−μ)22σ2=12πe−12(xσ−μσ)2=g0,1(ax+b)g_{\mu,\sigma}(x)= \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}= \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{x}{\sigma}-\frac{\mu}{\sigma})^2}=g_{0,1}(ax+b)gμ,σ(x)=2π1e−2σ2(x−μ)2=2π1e−21(σx−σμ)2=g0,1(ax+b)
- a=1σ,b=μσa=\frac{1}{\sigma},b=\frac{\mu}{\sigma}a=σ1,b=σμ
- 这样就可以同时优化μ\muμ和σ\sigmaσ
- f(x)=b0+∑i=1nbigi(x)f(x) = b_0+\sum_{i=1}^{n}b_ig_i(x)f(x)=b0+∑i=1nbigi(x)->f(x)=w0+∑i=1nwig0,1(aix+bi)f(x)=w_0+\sum_{i=1}^nw_ig_{0,1}(a_ix+b_i)f(x)=w0+∑i=1nwig0,1(aix+bi)
P3 参数曲线拟合
多元函数
