17网站一起做网店质量怎么样企业网站文章后台添加

17网站一起做网店质量怎么样,企业网站文章后台添加,做网站的需求调研,建设银行网站 无法访问机器学习入门笔记#xff1a;线性回归核心知识点全梳理#xff08;含公式代码#xff09; 作为机器学习新手#xff0c;昨天刚系统学完线性回归#xff0c;这是监督学习中最基础也最核心的回归算法。整理了一份超详细的学习笔记#xff0c;从定义、数学原理到参数求解、模…机器学习入门笔记线性回归核心知识点全梳理含公式代码作为机器学习新手昨天刚系统学完线性回归这是监督学习中最基础也最核心的回归算法。整理了一份超详细的学习笔记从定义、数学原理到参数求解、模型评估再到过拟合解决全程用初学者能看懂的语言拆解还附了实战代码适合和我一样刚入门的同学参考一、先搞懂什么是线性回归核心定义线性回归是监督学习中用于解决回归任务的基础算法核心思想是通过构建自变量特征与因变量目标值之间的线性关系模型实现对连续型标签的预测。比如根据房屋面积自变量预测房价因变量、根据学习时长自变量预测考试分数因变量这些都是线性回归的典型应用。两大分类对应sklearn的LinearRegression类线性回归按自变量数量分为两类核心区别看特征个数类型自变量数量核心用途数学表达式简化版一元线性回归1个如面积分析单一特征对目标值的影响yw0w1xεy w_0 w_1x \varepsilonyw0​w1​xε多元线性回归2个及以上如面积房龄地段分析多个特征的联合影响yw0w1x1w2x2...wnxnεy w_0 w_1x_1 w_2x_2 ... w_nx_n \varepsilonyw0​w1​x1​w2​x2​...wn​xn​ε说明w0w_0w0​截距项当所有自变量为0时目标值的基准值w1,w2,...wnw_1, w_2,...w_nw1​,w2​,...wn​权重系数每个特征对目标值的影响程度ε\varepsilonε误差项模型无法拟合的随机噪声满足高斯分布实际预测时我们会通过数据拟合出最优参数w0^,w1^,...\hat{w_0}, \hat{w_1},...w0​^​,w1​^​,...此时预测公式简化为y^w0^w1^x1...wn^xn\hat{y} \hat{w_0} \hat{w_1}x_1 ... \hat{w_n}x_ny^​w0​^​w1​^​x1​...wn​^​xn​多元或y^w0^w1^x\hat{y} \hat{w_0} \hat{w_1}xy^​w0​^​w1​^​x一元二、核心重点损失函数衡量模型好坏的标尺模型拟合得好不好不能凭感觉得有量化标准——这就是损失函数也叫代价函数核心是计算「预测值」和「真实值」的差距。核心逻辑误差 预测值y^\hat{y}y^​ - 真实值yyy损失函数就是所有样本误差的“汇总统计”目标是让这个汇总值越小越好模型越准。三种常见损失函数数学表达通俗解释最小二乘法RSS定义所有样本误差的平方和避免正负误差抵消数学表达RSS∑i1m(yi−y^i)2RSS \sum_{i1}^{m}(y_i - \hat{y}_i)^2RSS∑i1m​(yi​−y^​i​)2mmm为样本数通俗理解把每个样本的误差平方后加起来越大说明模型越差均方误差MSE定义最小二乘法除以样本数消除样本量对结果的影响数学表达MSE1m∑i1m(yi−y^i)2MSE \frac{1}{m}\sum_{i1}^{m}(y_i - \hat{y}_i)^2MSEm1​∑i1m​(yi​−y^​i​)2通俗理解所有样本误差平方的平均值单位是目标值的平方比如房价预测中MSE的单位是“元²”平均绝对误差MAE定义所有样本误差绝对值的平均值对异常值更稳健数学表达MAE1m∑i1m∣yi−y^i∣MAE \frac{1}{m}\sum_{i1}^{m}|y_i - \hat{y}_i|MAEm1​∑i1m​∣yi​−y^​i​∣通俗理解所有样本误差的平均绝对值单位和目标值一致比如房价预测中单位是“元”小提醒线性回归中最常用的是MSE因为它的数学性质更优可导、凸函数方便后续求解最优参数。三、重难点突破如何让损失函数最小最优参数求解这是线性回归的核心难点——我们的目标是找到一组最优参数w0,w1,...wnw_0, w_1,...w_nw0​,w1​,...wn​让损失函数比如MSE达到最小值。常用两种方法正规方程法和梯度下降法。方法1正规方程法解析解直接算答案核心思想通过数学推导直接得到参数的最优值无需迭代。本质是对损失函数求导令导数为0函数极值点解方程组得到参数表达式。关键公式重点记多元情况对于多元线性回归参数向量W^\hat{W}W^包含w0,w1,...wnw_0, w_1,...w_nw0​,w1​,...wn​的最优解为W^(XTX)−1XTY\hat{W} (X^T X)^{-1} X^T YW^(XTX)−1XTYXXX特征矩阵m×(n1)m \times (n1)m×(n1)mmm样本数nnn特征数第一列全为1对应截距项w0w_0w0​YYY真实目标值向量m×1m \times 1m×1XTX^TXTXXX的转置矩阵(XTX)−1(X^T X)^{-1}(XTX)−1是(XTX)(X^T X)(XTX)的逆矩阵为什么能得到最优解因为线性回归的MSE损失函数是凸函数图像呈“碗状”只有一个全局最小值没有局部最小值。对凸函数求导并令导数为0得到的解就是全局最优解。优缺点初学者必知优点直接出结果无需调参比如学习率计算简单样本量小时速度快缺点① 当特征数nnn很大比如n10000n10000n10000时计算逆矩阵(XTX)−1(X^T X)^{-1}(XTX)−1的时间复杂度极高O(n3)O(n^3)O(n3)② 当特征存在多重共线性比如两个特征高度相关时XTXX^T XXTX不可逆无法求解。方法2梯度下降法迭代解逐步逼近最优核心思想如果把损失函数的图像想象成一座“山”我们的目标是走到山底最小值点。梯度下降法的逻辑是从山顶随机初始化参数θ\thetaθ出发计算当前位置的“坡度”梯度损失函数对参数的偏导数沿着坡度向下走一步负梯度方向因为梯度是上升最快的方向负梯度就是下降最快的方向重复2-3步直到走到山底损失函数收敛。关键公式参数更新规则θj:θj−α⋅∂J(θ)∂θj\theta_j : \theta_j - \alpha \cdot \frac{\partial J(\theta)}{\partial \theta_j}θj​:θj​−α⋅∂θj​∂J(θ)​j0,1,...nj0,1,...nj0,1,...nθj\theta_jθj​第jjj个参数比如w0,w1w_0, w_1w0​,w1​α\alphaα学习率步长控制每次走多远∂J(θ)∂θj\frac{\partial J(\theta)}{\partial \theta_j}∂θj​∂J(θ)​损失函数对θj\theta_jθj​的偏导数梯度为什么能得到最优解负梯度方向保证了每次更新都能让损失函数减小学习率α\alphaα控制步长避免“步子太大踩空”震荡不收敛或“步子太小走太慢”收敛效率低MSE是凸函数只要学习率合适最终一定会收敛到全局最优解。三种常见梯度下降类型实战常用类型每次迭代用的样本数优点缺点批量梯度下降BGD全部样本收敛稳定必达全局最优样本量大时速度极慢随机梯度下降SGD1个随机样本速度快内存占用低损失函数波动大收敛不稳定小批量梯度下降MBGD一小批样本如32/64个兼顾稳定性和效率需调参batch_size实战首选初学者避坑指南学习率α\alphaα选择建议从1e−31e-31e−3或1e−41e-41e−4开始尝试太小收敛慢太大可能发散收敛判断当相邻两次迭代的损失函数差值小于1e−61e-61e−6预设阈值或达到最大迭代次数即可停止特征归一化梯度下降对特征尺度敏感比如“面积”是100㎡“房龄”是5年需先做标准化StandardScaler或归一化MinMaxScaler。两种求解方法对比选哪种对比维度正规方程法梯度下降法适用场景样本少、特征少n1000n1000n1000样本多、特征多n10000n10000n10000计算复杂度O(n3)O(n^3)O(n3)O(m×n×epochs)O(m \times n \times epochs)O(m×n×epochs)可调节是否需要调参不需要需要调学习率、batch_size等多重共线性无法处理可通过正则化缓解四、模型评估欠拟合、过拟合与正则化训练出模型后不能直接用还要评估拟合效果——核心看模型是否能“举一反三”而不是“死记硬背”数据。三种拟合状态一看就懂欠拟合高偏差表现训练集和测试集的误差都很大模型太简单比如用一元线性回归拟合非线性数据原因模型没有捕捉到数据的核心规律比如忽略了重要特征解决增加特征维度比如用多项式回归、提高模型复杂度。正好拟合理想状态表现训练集误差小测试集误差也小模型能很好地捕捉数据规律且不依赖噪声目标我们训练模型的最终追求。过拟合高方差表现训练集误差极小几乎完美拟合但测试集误差极大模型“死记硬背”了训练数据的噪声原因模型复杂度太高比如特征数过多过度拟合了训练数据的随机波动解决正则化L1/L2、减少特征、增加训练数据。重点L1和L2正则化如何解决过拟合正则化的核心思想是给损失函数加“惩罚项”限制参数的绝对值大小让模型“变简单”从而避免过拟合。1. L2正则化岭回归Ridge Regression损失函数J(θ)MSEλ∑j1nθj2J(\theta) MSE \lambda \sum_{j1}^{n}\theta_j^2J(θ)MSEλ∑j1n​θj2​λ\lambdaλ是正则化强度λ\lambdaλ越大惩罚越重核心作用让参数θj\theta_jθj​的平方和尽可能小使得每个参数都很小接近0但不为0避免单个特征对模型影响过大特点保留所有特征仅削弱不重要特征的权重适合处理多重共线性问题通俗理解不让任何一个特征“一家独大”让所有特征都“适度贡献”。2. L1正则化套索回归Lasso Regression损失函数J(θ)MSEλ∑j1n∣θj∣J(\theta) MSE \lambda \sum_{j1}^{n}|\theta_j|J(θ)MSEλ∑j1n​∣θj​∣λ\lambdaλ是正则化强度λ\lambdaλ越大惩罚越重核心作用让参数θj\theta_jθj​的绝对值和尽可能小会使部分不重要特征的参数直接变为0相当于特征选择特点自动筛选特征适合特征数量多、部分特征冗余的场景通俗理解直接“删除”不重要的特征只保留关键特征。L1和L2正则化对比正则化类型惩罚项形式核心效果适用场景L2岭回归λ∑θj2\lambda \sum \theta_j^2λ∑θj2​参数趋近于0不删除特征特征少、有多重共线性L1套索回归$\lambda \sum\theta_j$五、实战代码用sklearn实现线性回归初学者入门理论看完直接上代码以“根据身高预测体重”为例用LinearRegression类实现一元线性回归包含训练、预测和评估。# 1. 导入库importnumpyasnpfromsklearn.linear_modelimportLinearRegressionfromsklearn.metricsimportmean_squared_error,mean_absolute_error# 2. 准备数据身高→体重# 训练集身高cm→ 体重kgx_train[[160],[166],[172],[174],[180]]# 自变量2D数组sklearn要求输入为2Dy_train[56.3,60.6,65.1,68.5,75.0]# 因变量# 测试集预测身高176cm的体重x_test[[176]]# 3. 初始化模型LinearRegression默认用正规方程法modelLinearRegression()# 4. 训练模型拟合参数model.fit(x_train,y_train)# 5. 查看最优参数print(f截距w0:{model.intercept_:.2f})# 输出截距项print(f权重w1:{model.coef_[0]:.2f})# 输出身高的权重系数# 6. 模型预测y_predmodel.predict(x_test)print(f身高176cm的预测体重:{y_pred[0]:.2f}kg)# 7. 模型评估用训练集评估实际应⽤用测试集y_train_predmodel.predict(x_train)msemean_squared_error(y_train,y_train_pred)maemean_absolute_error(y_train,y_train_pred)r2model.score(x_train,y_train)# R²值越接近1越好print(f训练集MSE:{mse:.2f})print(f训练集MAE:{mae:.2f})print(fR²值:{r2:.2f})输出结果解释截距w0: -58.67 权重w1: 0.75 身高176cm的预测体重: 73.33kg 训练集MSE: 0.59 训练集MAE: 0.66 R²值: 0.99模型公式体重 -58.67 0.75×身高身高每增加1cm体重平均增加0.75kgR²0.99接近1说明模型拟合效果极好MSE0.59很小说明预测值和真实值的差距很小。六、学习总结初学者必记线性回归是监督学习回归任务的基础核心是构建线性关系模型损失函数是衡量模型好坏的核心常用MSE数学性质优和MAE抗异常值最优参数求解小数据用正规方程法直接算大数据用梯度下降法迭代逼近过拟合是常见问题L1正则化特征选择和L2正则化削弱权重是有效解决方案实战中一定要做模型评估重点看R²和MSE避免欠拟合或过拟合。作为初学者线性回归的数学推导比如梯度下降的偏导数计算可能需要多花时间理解但核心逻辑并不复杂。建议先动手跑通代码再回头啃公式会轻松很多 后续还会分享逻辑回归、正则化实战等内容欢迎一起交流学习如果本文对你有帮助别忘了点赞收藏呀 有问题可以在评论区留言一起攻克机器学习入门难关