简介本资源面向需要掌握回归预测建模的Matlab用户提供一套基于逻辑回归Logistic Regression的多输入单输出数据回归预测方案适合具备一定机器学习基础、希望快速搭建预测模型并替换自有数据的学习者。压缩包共4个文件包含3个m脚本与1个xlsx数据表脚本分别承担主流程调度、训练与sigmoid函数实现数据表用于直接运行与验证整体约14KB结构精简、便于阅读与二次开发。代码质量较高评价指标涵盖MAE、RMSE等常用回归误差度量运行环境要求Matlab 2018版本及以上。目前已有310人学习下载读者可据此理解逻辑回归在回归任务中的建模思路、数据组织方式与指标计算流程并在此基础上替换数据、调整参数快速完成自己的预测实验。1. 逻辑回归做回归预测一份能直接跑的 MATLAB 多输入单输出模型很多人第一次看到「逻辑回归做回归预测」会愣一下——逻辑回归不是分类器吗这恰恰是这份资源最值得拆的地方。它用 MATLAB 把 Logistic Regression 从分类语境里拎出来改造成一个多输入单输出的连续值预测模型输入可以是多维特征输出是一个实数。适合谁手上有几组自变量、想预测一个连续目标值、又不想一上来就上神经网络的从业者。比如用几个传感器读数预测某个工况指标或者用若干工艺参数预测产出数值。这份资源给的不是概念演示是一套能改参数、能换数据、能直接跑出预测曲线的 MATLAB 实现。下面我按「先搞懂它为什么能这么用再动手复现最后说清楚哪里会翻车」的顺序拆一遍。2. 逻辑回归凭什么能做回归从 Sigmoid 到连续输出的改造逻辑2.1 标准逻辑回归和回归任务之间的那道墙标准逻辑回归的骨架是线性组合加 Sigmoid 激活z X·w b然后 p 1/(1e^(-z))输出被压在 0 到 1 之间再配一个 0.5 阈值就变成二分类。问题来了——如果我的目标值不是 0/1而是比如 3.7、12.5、-0.8 这种连续数直接套标准形式输出永远出不了 (0,1) 区间预测值全被截断误差大得没法看。这份资源的思路是保留逻辑回归的优化框架对数似然、梯度下降那一套但把输出层的处理改掉。常见做法有两种一种是对目标值先做归一化映射到 (0,1)训练完再反归一化回来另一种是干脆去掉 Sigmoid 的硬截断用线性输出配合逻辑回归的损失函数做拟合。资源里走的是前一种因为它在 MATLAB 里实现起来最稳数值不会炸。这里要理解一个关键点逻辑回归真正值钱的不是 Sigmoid 那个形状而是它用最大似然估计 梯度下降去拟合参数的那套机制。只要损失函数设计得合理输出层怎么改是自由的。多输入单输出的「多输入」体现在 X 是 n×m 矩阵n 个样本、m 个特征「单输出」体现在 y 是 n×1 向量整个模型的参数就是一个 m×1 的权重向量加一个偏置标量。2.2 多输入单输出的矩阵维度怎么对齐新手在这一步翻车最多。MATLAB 里矩阵是列优先但做批量运算时维度对不上报错信息又含糊。我一般会先把维度关系写死在注释里变量维度含义Xn × mn 个样本每个样本 m 个特征yn × 1每个样本一个连续目标值wm × 1权重向量b1 × 1偏置标量zn × 1线性组合结果y_hatn × 1预测输出维度对齐之后前向传播就是一行矩阵乘法z X * w b。注意 b 是标量MATLAB 会自动广播到每一行不需要手动 repmat。如果你从别的语言转过来习惯性地写 b * ones(n,1)反而多此一举还容易出错。2.3 为什么不用现成的 fitglm 而要自己写MATLAB 的 Statistics and Machine Learning Toolbox 里有 fitglm一行就能做广义线性模型。但这份资源选择手写梯度下降原因有三个一是 fitglm 默认走的是 IRLS 迭代重加权最小二乘遇到特征量级差异大的数据容易不收敛二是手写能让你看清每一步的损失变化调参有依据三是手写版本不依赖工具箱换台没装工具箱的机器照样跑。对于要理解原理、要改结构的人来说手写这一版更有价值。代价是你要自己处理学习率、迭代次数、收敛判据这些事。下面进入实操。3. 从零复现数据准备、前向传播与梯度下降的 MATLAB 实现3.1 数据准备与归一化别跳过这一步我见过太多人把原始数据直接丢进梯度下降然后抱怨「损失不下降」。十有八九是特征量级差太多——一个特征是 0.001 量级另一个是 10000 量级梯度方向被大特征主导小特征几乎不更新。归一化不是可选项。% 假设原始数据 X_raw 是 n×my_raw 是 n×1 % 特征归一化z-score 标准化 mu_X mean(X_raw, 1); % 每列均值1×m sigma_X std(X_raw, 0, 1); % 每列标准差1×m X (X_raw - mu_X) ./ sigma_X; % 广播除法n×m % 目标值归一化到 (0,1)为后面反归一化留好参数 y_min min(y_raw); y_max max(y_raw); y (y_raw - y_min) / (y_max - y_min); % n×1落在 (0,1) % 保存归一化参数预测新数据时必须用同一套 save(norm_params.mat, mu_X, sigma_X, y_min, y_max);逻辑说明特征用 z-score 是因为它对异常值比 min-max 温和且不改变分布形状。目标值用 min-max 是因为要压进 Sigmoid 的值域必须严格落在 (0,1)。这里有个坑——如果 y_max 等于 y_min所有目标值一样分母为零得加个判断。参数说明mean 的第二个参数 1 表示按列求均值std 的第二个参数 0 表示用 n-1 做分母样本标准差第三个参数 1 同样表示按列。3.2 前向传播与损失函数function [loss, y_hat] forward(X, y, w, b) % X: n×m, y: n×1, w: m×1, b: 标量 z X * w b; % n×1 线性组合 y_hat 1 ./ (1 exp(-z)); % Sigmoidn×1 % 交叉熵损失回归语境下用均方误差更直观这里给两种 eps_val 1e-12; % 防止 log(0) loss_ce -mean(y .* log(y_hat eps_val) ... (1 - y) .* log(1 - y_hat eps_val)); loss_mse mean((y_hat - y).^2); loss loss_mse; % 回归任务默认用 MSE end逻辑说明Sigmoid 把线性输出压到 (0,1)和目标值归一化后的范围一致。损失函数这里给了交叉熵和均方误差两种回归任务用 MSE 更直接梯度也好推。eps_val 是防止 log(0) 的后悔药不加的话当 y_hat 恰好等于 0 或 1 时会出现 Inf。参数说明mean 默认对整个向量求平均得到标量损失。3.3 梯度下降主循环% 初始化 [m_feat, ~] size(X, 2); % 特征数 w zeros(m_feat, 1); % 权重初始化为 0 b 0; % 偏置初始化为 0 lr 0.01; % 学习率 max_iter 2000; % 最大迭代次数 tol 1e-6; % 收敛判据 loss_history zeros(max_iter, 1); for iter 1:max_iter % 前向 z X * w b; y_hat 1 ./ (1 exp(-z)); % 反向MSE Sigmoid 的梯度 delta (y_hat - y) .* y_hat .* (1 - y_hat); % n×1 grad_w (X * delta) / length(y); % m×1 grad_b mean(delta); % 标量 % 更新 w w - lr * grad_w; b b - lr * grad_b; % 记录损失 loss_history(iter) mean((y_hat - y).^2); % 收敛判断 if iter 1 abs(loss_history(iter) - loss_history(iter-1)) tol loss_history loss_history(1:iter); fprintf(第 %d 次迭代收敛\n, iter); break; end end逻辑说明delta 这一项是 MSE 对 z 的偏导链式法则展开后是 (y_hat - y) 乘 Sigmoid 导数 y_hat*(1-y_hat)。grad_w 用 X 的转置乘 delta 再除以样本数得到平均梯度。参数说明lr 学习率是最敏感的参数0.01 是保守起点损失震荡就减半下降太慢就适当加max_iter 给 2000 是留足余量正常几百次就收敛tol 是相邻两次损失的差太小会白跑太大提前停。3.4 预测与反归一化% 用训练好的 w、b 预测新数据 X_new_norm (X_new_raw - mu_X) ./ sigma_X; z_new X_new_norm * w b; y_new_norm 1 ./ (1 exp(-z_new)); y_new_pred y_new_norm * (y_max - y_min) y_min; % 反归一化反归一化这一步必须用训练时保存的 y_min、y_max不能重新算。我见过有人预测时用新数据的 min/max结果预测值整体偏移还找不到原因。这就是黑匣子没打开看的下场。4. 避坑与排查逻辑回归回归预测里最容易翻车的五个点4.1 损失不下降反而震荡现象迭代几十次后损失在某个值附近来回跳甚至越来越大。原因学习率太大梯度更新步子迈过头越过了极小值点。解决把 lr 减半再跑或者改用自适应学习率每 100 次迭代乘 0.9。我一般先用 0.001 跑一遍看趋势确认方向对了再往上加。4.2 预测值全部挤在 0.5 附近现象反归一化后所有预测值都接近目标值的中位数没有区分度。原因特征没有归一化或者权重初始化后梯度被大特征主导小特征权重几乎没更新。解决检查 X 每一列的均值和标准差确认归一化生效把权重初始化改成小随机数而不是全零打破对称性。4.3 训练集表现好但新数据一塌糊涂现象训练集 MSE 很低换一组新数据预测误差巨大。原因过拟合特征太多而样本太少或者归一化参数用了新数据重算。解决减少特征数用相关性筛选增加样本确保预测时用的是训练阶段保存的归一化参数。这是最典型的踩坑没有之一。4.4 Sigmoid 饱和导致梯度消失现象损失下降极慢梯度值接近零。原因z 的绝对值太大Sigmoid 进入饱和区导数趋近于零。解决确认特征归一化做到位z 通常在 -3 到 3 之间学习率不要设太大必要时对 z 做裁剪。4.5 目标值范围超出 (0,1) 导致 NaN现象损失突然变成 NaN程序中断。原因目标值归一化时没做边界处理或者反归一化时参数用错导致 log 里出现负数。解决归一化后强制把 y 裁剪到 [0.001, 0.999]加 eps 保护。这个坑我在第一次跑的时候就踩了血泪经验。5. 进阶技巧用交叉验证选学习率用残差图验证模型模型能跑通只是第一步能不能信得过要看验证。我一般会做两件事一是用 k 折交叉验证扫一遍学习率二是画残差图看有没有系统性偏差。% 5 折交叉验证选学习率 lr_candidates [0.001, 0.005, 0.01, 0.05, 0.1]; k 5; n size(X, 1); fold_size floor(n / k); cv_mse zeros(length(lr_candidates), 1); for li 1:length(lr_candidates) lr_test lr_candidates(li); mse_sum 0; for fold 1:k % 划分训练/验证索引 val_idx (fold-1)*fold_size (1:fold_size); train_idx setdiff(1:n, val_idx); % 在训练折上训练复用前面的梯度下降逻辑 [w_cv, b_cv] train_logistic(X(train_idx,:), y(train_idx), lr_test); % 在验证折上评估 z_val X(val_idx,:) * w_cv b_cv; y_val_hat 1 ./ (1 exp(-z_val)); mse_sum mse_sum mean((y_val_hat - y(val_idx)).^2); end cv_mse(li) mse_sum / k; end [~, best_idx] min(cv_mse); fprintf(最佳学习率: %.4f交叉验证 MSE: %.6f\n, ... lr_candidates(best_idx), cv_mse(best_idx));逻辑说明把数据切成 k 份每次留一份做验证其余训练最后取平均 MSE。这样选出的学习率对新数据更有说服力比在训练集上拍脑袋靠谱。参数说明k 一般取 5 或 10样本少就取 5lr_candidates 覆盖两个数量级够用。残差图更简单训练完后画 scatter(y_hat, y - y_hat)如果残差围绕零线随机分布说明模型没有系统性偏差如果残差呈现喇叭形或曲线形说明模型结构或特征有问题得回去改。figure; scatter(y_hat, y - y_hat, 20, filled); hold on; yline(0, r--, LineWidth, 1.5); xlabel(预测值); ylabel(残差); title(残差分布检查); grid on;从那以后我每次跑完回归模型都强制走一遍交叉验证加残差图这两步再急也不跳过。模型能不能上线这两张图比损失曲线更能说明问题。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/20 21:57:48 · 阅读 1.2k 逻辑回归做回归预测：MATLAB多输入单输出模型实战
简介本资源面向需要掌握回归预测建模的Matlab用户提供一套基于逻辑回归Logistic Regression的多输入单输出数据回归预测方案适合具备一定机器学习基础、希望快速搭建预测模型并替换自有数据的学习者。压缩包共4个文件包含3个m脚本与1个xlsx数据表脚本分别承担主流程调度、训练与sigmoid函数实现数据表用于直接运行与验证整体约14KB结构精简、便于阅读与二次开发。代码质量较高评价指标涵盖MAE、RMSE等常用回归误差度量运行环境要求Matlab 2018版本及以上。目前已有310人学习下载读者可据此理解逻辑回归在回归任务中的建模思路、数据组织方式与指标计算流程并在此基础上替换数据、调整参数快速完成自己的预测实验。1. 逻辑回归做回归预测一份能直接跑的 MATLAB 多输入单输出模型很多人第一次看到「逻辑回归做回归预测」会愣一下——逻辑回归不是分类器吗这恰恰是这份资源最值得拆的地方。它用 MATLAB 把 Logistic Regression 从分类语境里拎出来改造成一个多输入单输出的连续值预测模型输入可以是多维特征输出是一个实数。适合谁手上有几组自变量、想预测一个连续目标值、又不想一上来就上神经网络的从业者。比如用几个传感器读数预测某个工况指标或者用若干工艺参数预测产出数值。这份资源给的不是概念演示是一套能改参数、能换数据、能直接跑出预测曲线的 MATLAB 实现。下面我按「先搞懂它为什么能这么用再动手复现最后说清楚哪里会翻车」的顺序拆一遍。2. 逻辑回归凭什么能做回归从 Sigmoid 到连续输出的改造逻辑2.1 标准逻辑回归和回归任务之间的那道墙标准逻辑回归的骨架是线性组合加 Sigmoid 激活z X·w b然后 p 1/(1e^(-z))输出被压在 0 到 1 之间再配一个 0.5 阈值就变成二分类。问题来了——如果我的目标值不是 0/1而是比如 3.7、12.5、-0.8 这种连续数直接套标准形式输出永远出不了 (0,1) 区间预测值全被截断误差大得没法看。这份资源的思路是保留逻辑回归的优化框架对数似然、梯度下降那一套但把输出层的处理改掉。常见做法有两种一种是对目标值先做归一化映射到 (0,1)训练完再反归一化回来另一种是干脆去掉 Sigmoid 的硬截断用线性输出配合逻辑回归的损失函数做拟合。资源里走的是前一种因为它在 MATLAB 里实现起来最稳数值不会炸。这里要理解一个关键点逻辑回归真正值钱的不是 Sigmoid 那个形状而是它用最大似然估计 梯度下降去拟合参数的那套机制。只要损失函数设计得合理输出层怎么改是自由的。多输入单输出的「多输入」体现在 X 是 n×m 矩阵n 个样本、m 个特征「单输出」体现在 y 是 n×1 向量整个模型的参数就是一个 m×1 的权重向量加一个偏置标量。2.2 多输入单输出的矩阵维度怎么对齐新手在这一步翻车最多。MATLAB 里矩阵是列优先但做批量运算时维度对不上报错信息又含糊。我一般会先把维度关系写死在注释里变量维度含义Xn × mn 个样本每个样本 m 个特征yn × 1每个样本一个连续目标值wm × 1权重向量b1 × 1偏置标量zn × 1线性组合结果y_hatn × 1预测输出维度对齐之后前向传播就是一行矩阵乘法z X * w b。注意 b 是标量MATLAB 会自动广播到每一行不需要手动 repmat。如果你从别的语言转过来习惯性地写 b * ones(n,1)反而多此一举还容易出错。2.3 为什么不用现成的 fitglm 而要自己写MATLAB 的 Statistics and Machine Learning Toolbox 里有 fitglm一行就能做广义线性模型。但这份资源选择手写梯度下降原因有三个一是 fitglm 默认走的是 IRLS 迭代重加权最小二乘遇到特征量级差异大的数据容易不收敛二是手写能让你看清每一步的损失变化调参有依据三是手写版本不依赖工具箱换台没装工具箱的机器照样跑。对于要理解原理、要改结构的人来说手写这一版更有价值。代价是你要自己处理学习率、迭代次数、收敛判据这些事。下面进入实操。3. 从零复现数据准备、前向传播与梯度下降的 MATLAB 实现3.1 数据准备与归一化别跳过这一步我见过太多人把原始数据直接丢进梯度下降然后抱怨「损失不下降」。十有八九是特征量级差太多——一个特征是 0.001 量级另一个是 10000 量级梯度方向被大特征主导小特征几乎不更新。归一化不是可选项。% 假设原始数据 X_raw 是 n×my_raw 是 n×1 % 特征归一化z-score 标准化 mu_X mean(X_raw, 1); % 每列均值1×m sigma_X std(X_raw, 0, 1); % 每列标准差1×m X (X_raw - mu_X) ./ sigma_X; % 广播除法n×m % 目标值归一化到 (0,1)为后面反归一化留好参数 y_min min(y_raw); y_max max(y_raw); y (y_raw - y_min) / (y_max - y_min); % n×1落在 (0,1) % 保存归一化参数预测新数据时必须用同一套 save(norm_params.mat, mu_X, sigma_X, y_min, y_max);逻辑说明特征用 z-score 是因为它对异常值比 min-max 温和且不改变分布形状。目标值用 min-max 是因为要压进 Sigmoid 的值域必须严格落在 (0,1)。这里有个坑——如果 y_max 等于 y_min所有目标值一样分母为零得加个判断。参数说明mean 的第二个参数 1 表示按列求均值std 的第二个参数 0 表示用 n-1 做分母样本标准差第三个参数 1 同样表示按列。3.2 前向传播与损失函数function [loss, y_hat] forward(X, y, w, b) % X: n×m, y: n×1, w: m×1, b: 标量 z X * w b; % n×1 线性组合 y_hat 1 ./ (1 exp(-z)); % Sigmoidn×1 % 交叉熵损失回归语境下用均方误差更直观这里给两种 eps_val 1e-12; % 防止 log(0) loss_ce -mean(y .* log(y_hat eps_val) ... (1 - y) .* log(1 - y_hat eps_val)); loss_mse mean((y_hat - y).^2); loss loss_mse; % 回归任务默认用 MSE end逻辑说明Sigmoid 把线性输出压到 (0,1)和目标值归一化后的范围一致。损失函数这里给了交叉熵和均方误差两种回归任务用 MSE 更直接梯度也好推。eps_val 是防止 log(0) 的后悔药不加的话当 y_hat 恰好等于 0 或 1 时会出现 Inf。参数说明mean 默认对整个向量求平均得到标量损失。3.3 梯度下降主循环% 初始化 [m_feat, ~] size(X, 2); % 特征数 w zeros(m_feat, 1); % 权重初始化为 0 b 0; % 偏置初始化为 0 lr 0.01; % 学习率 max_iter 2000; % 最大迭代次数 tol 1e-6; % 收敛判据 loss_history zeros(max_iter, 1); for iter 1:max_iter % 前向 z X * w b; y_hat 1 ./ (1 exp(-z)); % 反向MSE Sigmoid 的梯度 delta (y_hat - y) .* y_hat .* (1 - y_hat); % n×1 grad_w (X * delta) / length(y); % m×1 grad_b mean(delta); % 标量 % 更新 w w - lr * grad_w; b b - lr * grad_b; % 记录损失 loss_history(iter) mean((y_hat - y).^2); % 收敛判断 if iter 1 abs(loss_history(iter) - loss_history(iter-1)) tol loss_history loss_history(1:iter); fprintf(第 %d 次迭代收敛\n, iter); break; end end逻辑说明delta 这一项是 MSE 对 z 的偏导链式法则展开后是 (y_hat - y) 乘 Sigmoid 导数 y_hat*(1-y_hat)。grad_w 用 X 的转置乘 delta 再除以样本数得到平均梯度。参数说明lr 学习率是最敏感的参数0.01 是保守起点损失震荡就减半下降太慢就适当加max_iter 给 2000 是留足余量正常几百次就收敛tol 是相邻两次损失的差太小会白跑太大提前停。3.4 预测与反归一化% 用训练好的 w、b 预测新数据 X_new_norm (X_new_raw - mu_X) ./ sigma_X; z_new X_new_norm * w b; y_new_norm 1 ./ (1 exp(-z_new)); y_new_pred y_new_norm * (y_max - y_min) y_min; % 反归一化反归一化这一步必须用训练时保存的 y_min、y_max不能重新算。我见过有人预测时用新数据的 min/max结果预测值整体偏移还找不到原因。这就是黑匣子没打开看的下场。4. 避坑与排查逻辑回归回归预测里最容易翻车的五个点4.1 损失不下降反而震荡现象迭代几十次后损失在某个值附近来回跳甚至越来越大。原因学习率太大梯度更新步子迈过头越过了极小值点。解决把 lr 减半再跑或者改用自适应学习率每 100 次迭代乘 0.9。我一般先用 0.001 跑一遍看趋势确认方向对了再往上加。4.2 预测值全部挤在 0.5 附近现象反归一化后所有预测值都接近目标值的中位数没有区分度。原因特征没有归一化或者权重初始化后梯度被大特征主导小特征权重几乎没更新。解决检查 X 每一列的均值和标准差确认归一化生效把权重初始化改成小随机数而不是全零打破对称性。4.3 训练集表现好但新数据一塌糊涂现象训练集 MSE 很低换一组新数据预测误差巨大。原因过拟合特征太多而样本太少或者归一化参数用了新数据重算。解决减少特征数用相关性筛选增加样本确保预测时用的是训练阶段保存的归一化参数。这是最典型的踩坑没有之一。4.4 Sigmoid 饱和导致梯度消失现象损失下降极慢梯度值接近零。原因z 的绝对值太大Sigmoid 进入饱和区导数趋近于零。解决确认特征归一化做到位z 通常在 -3 到 3 之间学习率不要设太大必要时对 z 做裁剪。4.5 目标值范围超出 (0,1) 导致 NaN现象损失突然变成 NaN程序中断。原因目标值归一化时没做边界处理或者反归一化时参数用错导致 log 里出现负数。解决归一化后强制把 y 裁剪到 [0.001, 0.999]加 eps 保护。这个坑我在第一次跑的时候就踩了血泪经验。5. 进阶技巧用交叉验证选学习率用残差图验证模型模型能跑通只是第一步能不能信得过要看验证。我一般会做两件事一是用 k 折交叉验证扫一遍学习率二是画残差图看有没有系统性偏差。% 5 折交叉验证选学习率 lr_candidates [0.001, 0.005, 0.01, 0.05, 0.1]; k 5; n size(X, 1); fold_size floor(n / k); cv_mse zeros(length(lr_candidates), 1); for li 1:length(lr_candidates) lr_test lr_candidates(li); mse_sum 0; for fold 1:k % 划分训练/验证索引 val_idx (fold-1)*fold_size (1:fold_size); train_idx setdiff(1:n, val_idx); % 在训练折上训练复用前面的梯度下降逻辑 [w_cv, b_cv] train_logistic(X(train_idx,:), y(train_idx), lr_test); % 在验证折上评估 z_val X(val_idx,:) * w_cv b_cv; y_val_hat 1 ./ (1 exp(-z_val)); mse_sum mse_sum mean((y_val_hat - y(val_idx)).^2); end cv_mse(li) mse_sum / k; end [~, best_idx] min(cv_mse); fprintf(最佳学习率: %.4f交叉验证 MSE: %.6f\n, ... lr_candidates(best_idx), cv_mse(best_idx));逻辑说明把数据切成 k 份每次留一份做验证其余训练最后取平均 MSE。这样选出的学习率对新数据更有说服力比在训练集上拍脑袋靠谱。参数说明k 一般取 5 或 10样本少就取 5lr_candidates 覆盖两个数量级够用。残差图更简单训练完后画 scatter(y_hat, y - y_hat)如果残差围绕零线随机分布说明模型没有系统性偏差如果残差呈现喇叭形或曲线形说明模型结构或特征有问题得回去改。figure; scatter(y_hat, y - y_hat, 20, filled); hold on; yline(0, r--, LineWidth, 1.5); xlabel(预测值); ylabel(残差); title(残差分布检查); grid on;从那以后我每次跑完回归模型都强制走一遍交叉验证加残差图这两步再急也不跳过。模型能不能上线这两张图比损失曲线更能说明问题。希望帮到你。本文还有配套的精品资源点击获取