简介一份面向人工智能初学者与算法入门者的系统综述文档内容整理自通信工程专业课程作业系统归纳了盲目式搜索、启发式搜索、局部搜索与人工神经网络等主流算法旨在帮助读者快速理解各类算法的原理、特点、适用场景及相互比较适合作为算法选型与复习的参考手册。资源为单个doc文档整体约93KB内含摘要、关键词、引言、分章节算法详解及展望与参考文献目录结构清晰便于按需查阅。目前已有160人学习下载。文档重点覆盖广度优先、深度优先、A*、AO*、爬山、模拟退火、遗传、蚁群、粒子群以及多种神经网络模型并结合专家系统、模式识别、机器人学等应用领域展开说明对建立人工智能算法知识框架具有较高的参考价值。1. “人工智能算法综述”到底在综述什么先把范围和坐标系立起来当“人工智能算法综述”作为标题出现时它通常不是一篇论文的题目而是一份课程作业、毕业设计开题报告、或项目文档的技术铺垫章节。但正因为标题过于宽泛最容易写成的样子是从图灵测试写到Transformer每样都提一句每样都没说透。这种综述对读者没有信息增量对作者也没有沉淀价值。我一般会建议把“综述”拆成两层第一层是算法谱系的分类框架第二层是每类算法的数学本质与适用边界。只有两层交织着写综述才有骨架和血肉。本文的路径是这样的先给出算法谱系的分类坐标再分别对监督学习、非监督学习、强化学习里的代表算法做推导和落地对比最后落到模型验证和调参的实战技巧上。新手指着章节顺序就能一步步读完熟手则可以直接跳到参数对比表和验证技巧部分找自己踩过的坑。2. 分类坐标按学习范式拆解而不是按“热门程度”罗列2.1 三种学习范式的基本边界人工智能算法的分类方式有很多种按学习范式分为监督学习、非监督学习、强化学习按任务类型分为分类、回归、聚类、降维、决策与控制按模型结构分为线性模型、树模型、神经网络、概率图模型。做综述时我习惯先按学习范式搭框架再在每个范式内部按任务类型挂算法而不是按年份或者“当前热门”罗列。原因很实际学习范式决定了数据标注的要求、模型优化的目标、以及评估指标的选择这三点才是一个算法落地时最先要回答的问题。2.2 监督学习怎么定义、评估指标怎么选监督学习的标准定义是给定输入特征 ( x ) 和标注 ( y )学习映射 ( f: x \rightarrow y )。这里的数学表达不只是公式好看它直接决定了损失函数怎么写。分类问题的损失函数用交叉熵或合页损失回归问题用均方误差或绝对误差如果选错整个训练过程都会偏离。评估指标方面分类任务看准确率、精确率、召回率、F1回归任务看均方根误差RMSE和平均绝对误差MAE。任务类型典型算法损失函数主要评估指标二分类逻辑回归、SVM交叉熵 / 合页损失准确率、AUC多分类Softmax回归、随机森林交叉熵Top-1准确率、宏F1回归线性回归、决策树回归均方误差RMSE、MAE排序LambdaRank、GBDT排序Listwise损失NDCG、MAP提示多分类问题如果类别严重不平衡先别急着上过采样先检查正负样本的分布再看评估指标是不是有问题——准确率在极端不平衡数据上是欺骗性最高的指标。3. 监督学习核心算法的原理与最小实现从线性模型到集成学习3.1 线性模型与逻辑回归为什么是“第一个要跑通”的算法逻辑回归虽然名字里有“回归”但它解决的是分类问题。它的核心思想是把线性组合 ( w^T x b ) 的结果通过Sigmoid函数映射到0到1之间输出被解释为正类的概率。训练时用极大似然估计推导出交叉熵损失再用梯度下降迭代更新权重。为什么几乎所有入门项目都要从逻辑回归开始因为它的可解释性好、训练快、对特征工程的要求最高——在同样的特征下逻辑回归和复杂模型的差距往往没有想象中大它先建立了一个“合理基线”。import numpy as np def sigmoid(z): return 1 / (1 np.exp(-z)) def train_logistic(X, y, lr0.01, epochs100): m, n X.shape w np.zeros(n) b 0.0 for _ in range(epochs): z np.dot(X, w) b a sigmoid(z) dw np.dot(X.T, (a - y)) / m db np.sum(a - y) / m w - lr * dw b - lr * db return w, b这段代码是逻辑回归最朴素的批量梯度下降实现。dw是损失函数对权重的梯度推导自交叉熵损失对权重求导的结果db是偏置的梯度。学习率lr的取值一般从 0.01 起步如果损失震荡就调小如果收敛太慢就适当调大但超过 0.1 容易发散。3.2 决策树与随机森林为什么“剪枝”比“长得深”更靠谱决策树的思想是按特征逐层划分样本目标是让每个叶子节点的纯度尽量高。CART树的分类用基尼指数回归用方差作为划分依据。树模型的优势是不需要特征归一化、天然处理非线性关系但单棵树对噪声敏感深度过大几乎必然过拟合。剪枝策略分为预剪枝和后剪枝预剪枝在节点分裂前判断分裂后泛化能力是否提升后剪枝则等树长成后再用验证集自底向上回缩。随机森林在单棵树的基础上引入两个随机性每棵树的训练样本用Bootstrap有放回采样、每个节点的候选特征从全局特征中随机抽取。这个策略的动机总结如下样本扰动和特征扰动共同降低了树之间的相关性而袋外错误率OOB Error又可以直接用来评估泛化能力而不额外划分验证集。from sklearn.ensemble import RandomForestClassifier model RandomForestClassifier( n_estimators100, max_depth10, min_samples_split5, max_featuressqrt, random_state42 ) model.fit(X_train, y_train)n_estimators是树的数量超过 200 后收益递减且训练成本线性增长max_depth控制树深度我一般从 10 开始网格搜索max_featuressqrt是分类问题的默认选项回归任务常用全量特征。这些参数看着琐碎但它们直接决定了偏差方差权衡。3.3 K折交叉验证与网格搜索参数选型的标准动作模型选型不能凭感觉拍脑袋。常见做法是将训练集划分为 K 折习惯用5或10每次用 K-1 折训练、剩余折验证计算 K 次验证结果的平均值和标准差再用网格搜索或随机搜索在这个评估框架里遍历参数组合。下面以 XGBoost 举例from sklearn.model_selection import GridSearchCV from xgboost import XGBClassifier param_grid { max_depth: [4, 6, 8], learning_rate: [0.05, 0.1], n_estimators: [100, 200] } xgb XGBClassifier(use_label_encoderFalse) search GridSearchCV(xgb, param_grid, cv5, scoringf1, n_jobs-1) search.fit(X_train, y_train)这里cv5指定 5 折交叉验证scoringf1把评估指标换成F1而不是默认的准确率——在类别不平衡且更关注少数类召回的场景下F1 比准确率更能反映真实效果。n_jobs-1意味着用满所有CPU核。4. 非监督学习聚类和降维的算法选择与边界判断4.1 K-Means 聚类的初始点选择与 K 值确定K-Means 是最常用的聚类算法目标是把样本分成 K 类使类内平方和最小。它的流程是随机选 K 个初始中心交替执行“分配”和“更新”两步直到收敛。但初始点选择的随机性会导致局部最优K 值的设定也没有绝对标准。常见的修正方案是 K-Means 初始化原理是让初始中心相互距离尽量远。K 值的选择则通常用肘部法观察类内距离平方和随 K 值变化的拐点。from sklearn.cluster import KMeans from sklearn.datasets import make_blobs X, _ make_blobs(n_samples500, centers4, cluster_std0.8, random_state1) inertia_list [] for k in range(2, 11): kmeans KMeans(n_clustersk, initk-means, n_init10, random_state42) kmeans.fit(X) inertia_list.append(kmeans.inertia_)这段代码分别用 K2 到 10 跑聚类记录inertia类内距离平方和。绘制折线图后曲线下降变缓的那个拐点点就是建议的 K 值。4.2 PCA 降维保留多少主成分要讲数学依据主成分分析是一种线性降维方法它的原理是找到数据方差最大的正交投影方向。注意它的底层操作涉及计算协方差矩阵的特征值分解或对数据做奇异值分解SVD。保留主成分的数量通常根据累积解释方差比来确定。from sklearn.decomposition import PCA pca PCA(n_components0.95) X_pca pca.fit_transform(X_scaled) print(pca.explained_variance_ratio_.cumsum())n_components0.95的含义是自动选择能保留 95% 方差的最少主成分数。这里有个细节PCA 对特征的尺度极其敏感必须先做标准化否则量纲大的特征会主导主成分方向。5. 强化学习与前沿算法从 Q-Learning 到深度强化学习的演进逻辑5.1 MDP、奖励函数、策略评估的基本概念链强化学习的核心是马尔可夫决策过程要素包括状态集合、动作集合、状态转移概率、奖励函数、折扣因子。智能体的目标不是最大化当前一步的奖励而是最大化长期累积折扣回报。策略评估就是给定一个策略计算每个状态的价值函数即期望回报。有了价值函数策略改进就是贪心地选择使价值最大的动作。5.2 时序差分、Q-Learning 与 DQN 的结构对照表格型 Q-Learning 用一张 Q 表来存储每个状态动作对的价值估计更新公式为( Q(s,a) \leftarrow Q(s,a) \alpha [r \gamma \max_{a} Q(s,a) - Q(s,a)] )。但状态数量一旦变多Q 表无法存储DQN 用神经网络把状态映射为各个动作的 Q 值同时引入经验回放和目标网络解决样本相关性和训练不稳定问题。这里把两种方法的差异用一张表呈现对比项Q-LearningDQNQ值存储表格神经网络参数样本使用单步在线更新经验回放抽取批次目标计算直接取下一状态最大Q目标网络计算适用场景状态空间离散且小高维状态空间6. 模型优化与验证的实战技巧偏差方差、学习曲线与早停法6.1 学习曲线怎么读欠拟合还是过拟合学习曲线的横轴是训练样本数量纵轴是训练误差和验证误差。如果两条曲线在数据量增大时逐渐靠近且误差都偏高说明模型处于欠拟合状态如果训练误差远低于验证误差且间距不缩小说明过拟合。读完曲线再做下一步行动而不是盲目加数据或者加正则化。6.2 早停法与模型保存的配合早停法的原理是在训练过程中监控验证集指标当指标连续 N 个轮次不再提升时终止训练并恢复到指标最优时刻的模型参数。实现时通常配合ModelCheckpoint保存最优模型再在训练结束后重新加载该模型。6.3 验证集上的数据泄漏排查数据泄漏是数据集划分时最常见的隐患。排查方向有采样方式是否混入了未来信息、特征标准化是否在划分后执行、重复样本是否同时出现在训练集和验证集。先检查这几点再看模型效果的可信度。最终模型的泛化性能始终由验证策略决定。本文还有配套的精品资源点击获取 
长河君 · 2026/9/17 12:19:16 · 阅读 1.2k 人工智能算法综述：从监督学习到强化学习的核心原理与应用边界
简介一份面向人工智能初学者与算法入门者的系统综述文档内容整理自通信工程专业课程作业系统归纳了盲目式搜索、启发式搜索、局部搜索与人工神经网络等主流算法旨在帮助读者快速理解各类算法的原理、特点、适用场景及相互比较适合作为算法选型与复习的参考手册。资源为单个doc文档整体约93KB内含摘要、关键词、引言、分章节算法详解及展望与参考文献目录结构清晰便于按需查阅。目前已有160人学习下载。文档重点覆盖广度优先、深度优先、A*、AO*、爬山、模拟退火、遗传、蚁群、粒子群以及多种神经网络模型并结合专家系统、模式识别、机器人学等应用领域展开说明对建立人工智能算法知识框架具有较高的参考价值。1. “人工智能算法综述”到底在综述什么先把范围和坐标系立起来当“人工智能算法综述”作为标题出现时它通常不是一篇论文的题目而是一份课程作业、毕业设计开题报告、或项目文档的技术铺垫章节。但正因为标题过于宽泛最容易写成的样子是从图灵测试写到Transformer每样都提一句每样都没说透。这种综述对读者没有信息增量对作者也没有沉淀价值。我一般会建议把“综述”拆成两层第一层是算法谱系的分类框架第二层是每类算法的数学本质与适用边界。只有两层交织着写综述才有骨架和血肉。本文的路径是这样的先给出算法谱系的分类坐标再分别对监督学习、非监督学习、强化学习里的代表算法做推导和落地对比最后落到模型验证和调参的实战技巧上。新手指着章节顺序就能一步步读完熟手则可以直接跳到参数对比表和验证技巧部分找自己踩过的坑。2. 分类坐标按学习范式拆解而不是按“热门程度”罗列2.1 三种学习范式的基本边界人工智能算法的分类方式有很多种按学习范式分为监督学习、非监督学习、强化学习按任务类型分为分类、回归、聚类、降维、决策与控制按模型结构分为线性模型、树模型、神经网络、概率图模型。做综述时我习惯先按学习范式搭框架再在每个范式内部按任务类型挂算法而不是按年份或者“当前热门”罗列。原因很实际学习范式决定了数据标注的要求、模型优化的目标、以及评估指标的选择这三点才是一个算法落地时最先要回答的问题。2.2 监督学习怎么定义、评估指标怎么选监督学习的标准定义是给定输入特征 ( x ) 和标注 ( y )学习映射 ( f: x \rightarrow y )。这里的数学表达不只是公式好看它直接决定了损失函数怎么写。分类问题的损失函数用交叉熵或合页损失回归问题用均方误差或绝对误差如果选错整个训练过程都会偏离。评估指标方面分类任务看准确率、精确率、召回率、F1回归任务看均方根误差RMSE和平均绝对误差MAE。任务类型典型算法损失函数主要评估指标二分类逻辑回归、SVM交叉熵 / 合页损失准确率、AUC多分类Softmax回归、随机森林交叉熵Top-1准确率、宏F1回归线性回归、决策树回归均方误差RMSE、MAE排序LambdaRank、GBDT排序Listwise损失NDCG、MAP提示多分类问题如果类别严重不平衡先别急着上过采样先检查正负样本的分布再看评估指标是不是有问题——准确率在极端不平衡数据上是欺骗性最高的指标。3. 监督学习核心算法的原理与最小实现从线性模型到集成学习3.1 线性模型与逻辑回归为什么是“第一个要跑通”的算法逻辑回归虽然名字里有“回归”但它解决的是分类问题。它的核心思想是把线性组合 ( w^T x b ) 的结果通过Sigmoid函数映射到0到1之间输出被解释为正类的概率。训练时用极大似然估计推导出交叉熵损失再用梯度下降迭代更新权重。为什么几乎所有入门项目都要从逻辑回归开始因为它的可解释性好、训练快、对特征工程的要求最高——在同样的特征下逻辑回归和复杂模型的差距往往没有想象中大它先建立了一个“合理基线”。import numpy as np def sigmoid(z): return 1 / (1 np.exp(-z)) def train_logistic(X, y, lr0.01, epochs100): m, n X.shape w np.zeros(n) b 0.0 for _ in range(epochs): z np.dot(X, w) b a sigmoid(z) dw np.dot(X.T, (a - y)) / m db np.sum(a - y) / m w - lr * dw b - lr * db return w, b这段代码是逻辑回归最朴素的批量梯度下降实现。dw是损失函数对权重的梯度推导自交叉熵损失对权重求导的结果db是偏置的梯度。学习率lr的取值一般从 0.01 起步如果损失震荡就调小如果收敛太慢就适当调大但超过 0.1 容易发散。3.2 决策树与随机森林为什么“剪枝”比“长得深”更靠谱决策树的思想是按特征逐层划分样本目标是让每个叶子节点的纯度尽量高。CART树的分类用基尼指数回归用方差作为划分依据。树模型的优势是不需要特征归一化、天然处理非线性关系但单棵树对噪声敏感深度过大几乎必然过拟合。剪枝策略分为预剪枝和后剪枝预剪枝在节点分裂前判断分裂后泛化能力是否提升后剪枝则等树长成后再用验证集自底向上回缩。随机森林在单棵树的基础上引入两个随机性每棵树的训练样本用Bootstrap有放回采样、每个节点的候选特征从全局特征中随机抽取。这个策略的动机总结如下样本扰动和特征扰动共同降低了树之间的相关性而袋外错误率OOB Error又可以直接用来评估泛化能力而不额外划分验证集。from sklearn.ensemble import RandomForestClassifier model RandomForestClassifier( n_estimators100, max_depth10, min_samples_split5, max_featuressqrt, random_state42 ) model.fit(X_train, y_train)n_estimators是树的数量超过 200 后收益递减且训练成本线性增长max_depth控制树深度我一般从 10 开始网格搜索max_featuressqrt是分类问题的默认选项回归任务常用全量特征。这些参数看着琐碎但它们直接决定了偏差方差权衡。3.3 K折交叉验证与网格搜索参数选型的标准动作模型选型不能凭感觉拍脑袋。常见做法是将训练集划分为 K 折习惯用5或10每次用 K-1 折训练、剩余折验证计算 K 次验证结果的平均值和标准差再用网格搜索或随机搜索在这个评估框架里遍历参数组合。下面以 XGBoost 举例from sklearn.model_selection import GridSearchCV from xgboost import XGBClassifier param_grid { max_depth: [4, 6, 8], learning_rate: [0.05, 0.1], n_estimators: [100, 200] } xgb XGBClassifier(use_label_encoderFalse) search GridSearchCV(xgb, param_grid, cv5, scoringf1, n_jobs-1) search.fit(X_train, y_train)这里cv5指定 5 折交叉验证scoringf1把评估指标换成F1而不是默认的准确率——在类别不平衡且更关注少数类召回的场景下F1 比准确率更能反映真实效果。n_jobs-1意味着用满所有CPU核。4. 非监督学习聚类和降维的算法选择与边界判断4.1 K-Means 聚类的初始点选择与 K 值确定K-Means 是最常用的聚类算法目标是把样本分成 K 类使类内平方和最小。它的流程是随机选 K 个初始中心交替执行“分配”和“更新”两步直到收敛。但初始点选择的随机性会导致局部最优K 值的设定也没有绝对标准。常见的修正方案是 K-Means 初始化原理是让初始中心相互距离尽量远。K 值的选择则通常用肘部法观察类内距离平方和随 K 值变化的拐点。from sklearn.cluster import KMeans from sklearn.datasets import make_blobs X, _ make_blobs(n_samples500, centers4, cluster_std0.8, random_state1) inertia_list [] for k in range(2, 11): kmeans KMeans(n_clustersk, initk-means, n_init10, random_state42) kmeans.fit(X) inertia_list.append(kmeans.inertia_)这段代码分别用 K2 到 10 跑聚类记录inertia类内距离平方和。绘制折线图后曲线下降变缓的那个拐点点就是建议的 K 值。4.2 PCA 降维保留多少主成分要讲数学依据主成分分析是一种线性降维方法它的原理是找到数据方差最大的正交投影方向。注意它的底层操作涉及计算协方差矩阵的特征值分解或对数据做奇异值分解SVD。保留主成分的数量通常根据累积解释方差比来确定。from sklearn.decomposition import PCA pca PCA(n_components0.95) X_pca pca.fit_transform(X_scaled) print(pca.explained_variance_ratio_.cumsum())n_components0.95的含义是自动选择能保留 95% 方差的最少主成分数。这里有个细节PCA 对特征的尺度极其敏感必须先做标准化否则量纲大的特征会主导主成分方向。5. 强化学习与前沿算法从 Q-Learning 到深度强化学习的演进逻辑5.1 MDP、奖励函数、策略评估的基本概念链强化学习的核心是马尔可夫决策过程要素包括状态集合、动作集合、状态转移概率、奖励函数、折扣因子。智能体的目标不是最大化当前一步的奖励而是最大化长期累积折扣回报。策略评估就是给定一个策略计算每个状态的价值函数即期望回报。有了价值函数策略改进就是贪心地选择使价值最大的动作。5.2 时序差分、Q-Learning 与 DQN 的结构对照表格型 Q-Learning 用一张 Q 表来存储每个状态动作对的价值估计更新公式为( Q(s,a) \leftarrow Q(s,a) \alpha [r \gamma \max_{a} Q(s,a) - Q(s,a)] )。但状态数量一旦变多Q 表无法存储DQN 用神经网络把状态映射为各个动作的 Q 值同时引入经验回放和目标网络解决样本相关性和训练不稳定问题。这里把两种方法的差异用一张表呈现对比项Q-LearningDQNQ值存储表格神经网络参数样本使用单步在线更新经验回放抽取批次目标计算直接取下一状态最大Q目标网络计算适用场景状态空间离散且小高维状态空间6. 模型优化与验证的实战技巧偏差方差、学习曲线与早停法6.1 学习曲线怎么读欠拟合还是过拟合学习曲线的横轴是训练样本数量纵轴是训练误差和验证误差。如果两条曲线在数据量增大时逐渐靠近且误差都偏高说明模型处于欠拟合状态如果训练误差远低于验证误差且间距不缩小说明过拟合。读完曲线再做下一步行动而不是盲目加数据或者加正则化。6.2 早停法与模型保存的配合早停法的原理是在训练过程中监控验证集指标当指标连续 N 个轮次不再提升时终止训练并恢复到指标最优时刻的模型参数。实现时通常配合ModelCheckpoint保存最优模型再在训练结束后重新加载该模型。6.3 验证集上的数据泄漏排查数据泄漏是数据集划分时最常见的隐患。排查方向有采样方式是否混入了未来信息、特征标准化是否在划分后执行、重复样本是否同时出现在训练集和验证集。先检查这几点再看模型效果的可信度。最终模型的泛化性能始终由验证策略决定。本文还有配套的精品资源点击获取