python数据分析——线性模型
参考资料：活用pandas库
1、简单线性回归
线性回归的目标是描述响应变量（或“因变量”）和预测变量（也称“特征”、“协变量”、“自变量”）之间的直线关系。本例中将讨论tips数据集中的total_bill对tip的影响。
# 导入pandas库
import pandas as pd
# 导入数据集
tips=pd.read_csv(r"...\seaborn常用数据案例\tips.csv")
# 展示数据集
print(tips.head())
（1）使用统计模型库
具体相关资料可参考：python统计分析——线性模型的预测和评估_python 线性拟合评估-CSDN博客
# 导入statsmodels库的formula API
import statsmodels.formula.api as smf
# 用普通最小二乘法进行公式拟合
model=smf.ols("tip~total_bill",data=tips)
results=model.fit()
# 用params属性查看线性方程的系数
print(results.params)
# 用conf_int()方法查看置信区间
print(results.conf_int())
# 用summary方法查看整体的结果
print(results.summary())
（2）使用sklearn库
由于sklearn接收的是numpy数组，所以有时需要处理数据，以便把DataFrame传入sklearn。如果输入的不是矩阵数据，则需要重塑输入。根据是否只有一个变量或者一个样本，要分别指定reshape(-1,1)或reshape(1,-1)。
# 从sklearn库中导入linear_model模块
from sklearn import linear_model
# 创建LinearRegression()对象
lm=linear_model.LinearRegression()
# 对数据进行拟合
# 注意参数中X是大写，输入的参数是矩阵而非向量
# y是小写，输入的参数是向量
predicted=lm.fit(X=tips['total_bill'].values.reshape(-1,1),y=tips['tip'])
# 输出线性方程的系数
print(predicted.coef_)
# 输出线性方程的截距
print(predicted.intercept_)
2、多元回归
多元线性回归的系数，是在所有其他变量保持不变的情况下进行解释的。
（1）使用statsmodels库
用多元回归模型拟合数据集与拟合简单的线性回归模型非常相似。在formula参数中，可以轻松地把其他协变量“添加”到波浪线的右边。
# 使用statsmodels库进行多元线性回归的拟合
model=smf.ols("tip~total_bill + size",data=tips).fit()
# 输出结果
print(model.summary())
（2）使用statsmodels和分类变量
对分类变量建模时，必须创建虚拟变量，即分类中的每个唯一值都变成了新的二元特征。statsmodels会自动创建虚拟变量。为了避免多重共线性，通常会删除其中一个虚拟变量。
# 拟合所有的变量
model=smf.ols("tip~total_bill + size + sex + smoker + day + time",data=tips).fit()
# 输出结果
print(model.summary())
对于分类变量的解释必须和参考变量（即从分析中删除的虚拟变量）联系起来。例如sex[T。Female]的系数为0.0324，解释该值时要与参考值（Male）联系起来。也就是说，当sex从Male变为Female时，tip增加0.0324。
（3）使用sklearn库
在sklearn中，多元回归语法与库中的简单线性回归语法相似，为了想模型添加更多特征，可以把要使用的列传入模型。
# 创建LinearRegression对象
lm=linear_model.LinearRegression()
# 多元线性回归拟合
predicted=lm.fit(X=tips[['total_bill','size']],y=tips['tip'])
# 输出系数和截距
print(predicted.coef_)
print(predicted.intercept_)
（4）使用sklearn和分类变量
必须手动为sklearn创建虚拟变量，可以使用pandas的get_dummies函数来实现。该函数会自动把所有分类变量转换为虚拟变量，所以不必再逐个传入各列。sklearn中OneHotEncoder函数与之类似。
# 用get_dummies函数创建虚拟变量
tips_dummy=pd.get_dummies(tips[['total_bill','size','sex','smoker','day','time']])
# 展示tips_dummy
print(tips_dummy.head())
可以向get_dummies函数传入drop_first=True来删除参考变量。
x_tips_dummy_ref=pd.get_dummies(tips[['total_bill','size','sex','smoker','day','time']],drop_first=True)
print(x_tips_dummy_ref.head())
lm=linear_model.LinearRegression()
predicted=lm.fit(X=x_tips_dummy_ref,y=tips['tip'])
print(predicted.coef_)
print(predicted.intercept_)
3、保留sklearn的索引标签
在尝试解释sklearn模型时，一个棘手的问题就是模型的系数不带标签，原因是numpy ndarray无法存储这类元数据。如果想让输出结果和statsmodels类似，需要手动存储标签，并添加系数。
# 导入numpy库
import numpy as np
# 创建模型并拟合
lm=linear_model.LinearRegression()
predicted=lm.fit(X=x_tips_dummy_ref,y=tips['tip'])
# 获取截距以及其他系数
values=np.append(predicted.intercept_,predicted.coef_)
# 获取值得名称
names=np.append('intercept',x_tips_dummy_ref.columns)
# 把所有所项目放入一个带标签的DataFrame中
results=pd.DataFrame(values,index=names,columns=['coef'])
print(results)