简介这是基于NSL-KDD数据集的网络入侵检测完整项目曾获导师认可并以98分通过评审适合计算机专业正在做毕业设计、课程设计或期末大作业的学生也适合需要项目实战练习的入门学习者。资源包共27个文件包含10个CSV数据文件、4个Notebook建模分析脚本、7个文本说明、3个MATLAB脚本以及Python工具脚本、Markdown运行说明和Word文档NSL-KDD原始数据与修正数据、PCA与无PCA对比建模均已收录覆盖数据读取、特征降维、模型训练和结果评估等环节。压缩包约30MB目录按工程功能组织便于按模块查找和复用。目前已有312人学习下载。借助运行说明与配套脚本可快速复现入侵检测流程并在此基础上调整特征或模型用于自己的实验设计、毕业论文和答辩展示。1. 从一道期末大作业到可复现的NSL-KDD入侵检测流程如果你在课程设计或毕业设计里被要求“做一个网络入侵检测系统”多半会碰到NSL-KDD数据集。它比老KDD99少了很多冗余记录训练集和测试集分布也更合理是拿来做分类实验最省心的公开数据集。这份高分大作业的价值不在于准确率刷到多高而是把“原始csv - 特征工程 - PCA降维 - 模型训练 - GUI预测单条连接”整条链路完整跑通并且同时给了带PCA和不带PCA两套模型文件可以在本地直接加载验证。我基于解压后的目录结构重新梳理了一遍执行流程把关键脚本的读取逻辑、数据清洗方式、模型评估方法和GUI继承方式逐段拆开适合需要复现、改造或写进论文/报告的场景。下面按实际做实验的顺序展开读完之后你至少能回答三个问题NSL-KDD里每列特征是什么、为什么要先做One-Hot再标准化、以及为什么某些攻击类别在测试集上掉点严重。2. NSL-KDD数据集结构与特征编码原理2.1 41维特征到底在描述什么NSL-KDD的每条记录由41个特征加1个标签构成这41列可以按语义归成四组TCP连接基本属性duration、protocol_type、service、flag等、基于内容的特征如hot、num_failed_logins、su_attempted、基于时间的流量特征same_srv_rate、diff_srv_rate等、基于主机的流量特征dst_host_count、dst_host_srv_count等。这些特征里有连续值、离散值、还有二进制标记直接喂给模型前必须做类型区分。拿项目里的kddcup_data.csv举例文件头长这样$ head -5 kddcup_data.csv 0,tcp,http,SF,181,5450,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,8,8,0.00,0.00,0.00,0.00,1.00,0.00,0.00,9,9,1.00,0.00,0.10,0.00,0.00,0.00,0.00,0.00,normal 0,udp,private,SF,44,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,105,146,0.00,0.00,0.00,0.52,0.00,0.00,0.00,255,255,1.00,0.00,0.00,0.00,0.00,0.00,0.00,neptune第一列是duration第二列是protocol_type第三列是service第四列是flag。后面跟着的连续值如src_bytes、dst_bytes以及以srv_count开头的统计特征都属于数值型。标签在最后一列不是纯normal和attack而是具体的攻击名称比如neptune、satan、ipsweep这一点会影响多分类和二分类的处理逻辑。2.2 为什么不能直接标准化离散特征机器学习库里的StandardScaler会把每一列变成均值0、方差1但如果直接对protocol_type这样的字符串编码做标准化等于给“tcp1, udp2, icmp3”强加了大小关系模型会认为udp比tcp“大”两倍。NSL-KDD里protocol_type只有三种值service有70种左右flag有11种合理做法是先对这三列做One-Hot编码。One-Hot之后特征维度会从41膨胀到接近120维。这就是项目里model_with_pca.ipynb和model_no_pca.ipynb两套流程的出发点model_with_pca在One-Hot之后用PCA降维model_no_pca保持One-Hot维度直接训模型。项目里pca_model.m是matlab格式的PCA降维矩阵IDS_model_8-0.m是带PCA的模型NO_PCA_IDS_model.m是带One-Hot但不降维的模型。我解开压缩包后发现这两种模型文件都是mat格式所以Python端读取时要用scipy.io.loadmat不是joblib或pickle这点很多第一次用的人会卡住。一个经常被忽略的点是测试集的编码必须和训练集完全一致。训练集里service出现的类别集合是固定的测试集里可能多出没见过的service值KDDCup99的经典坑NSL-KDD已经改善了。处理策略是把训练集和测试集拼在一起先get_dummies保证列数一致如果只想用训练集编码遇到未知类别就直接填0。我常用写法是all_data pd.concat([train, test], keys[train, test]) encoded pd.get_dummies(all_data, columns[protocol_type, service, flag]) train_enc encoded.loc[train] test_enc encoded.loc[test]这样保证两边One-Hot后对齐列。注意get_dummies默认会把所有object类型的列都转换所以提前把标签列拿出来只对特征部分做编码。2.3 标签体系的取舍二分类还是多分类NSL-KDD测试集的攻击类型比训练集多出一些变种比如processtable、mscan这类训练集没出现的攻击。如果做23分类测试集里新攻击类别会直接导致模型预测时找不到目标类。常见做法有两个一是把标签按四大类映射成DoS、Probe、R2L、U2R、normal做5分类二是只区分normal和attack做2分类。项目里GUI显示的是二分类结果训练脚本里同时保留了多分类评估因为报告里需要各类别的精确率召回率表。我通常这样构造二分类标签y_train_bin (train_label ! normal).astype(int) y_test_bin (test_label ! normal).astype(int)如果是多分类要提前把训练集和测试集标签统一成同一套类别集合不能直接LabelEncoder因为测试集会报“标签类别不存在”。稳妥做法是训练一个LabelEncoder后对测试集做transform时用handle_unknownignore但LabelEncoder不支持这个参数所以我更喜欢手动建立映射字典或者用pd.Categorical来统一。3. Python源码读取与特征工程完整复现3.1 用pandas高效读取kddcup_data.csv项目根目录下的read_kddcup99.py是数据读取入口核心逻辑并不复杂。NSL-KDD原始CSV没有表头所以读取时要么手动指定列名要么用headerNone然后按位置索引。我推荐手动指定41个列名因为后续做特征筛选和可视化时列名比位置好维护得多。import pandas as pd import numpy as np column_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate ] df pd.read_csv(data/kddcup_data.csv, namescolumn_names, headerNone)读取后建议立刻检查duration、src_bytes这些列是否有异常值。NSL-KDD里num_outbound_cmds这一列全是0对模型没有区分能力可以在预处理时直接删掉。su_attempted在原始训练集里有2这个非0/1值一般是把被标记为怀疑的root shell记录记成了2可以统一收敛成1。3.2 One-Hot编码与数值列标准化的顺序坑整个项目里最容易翻车的就是预处理顺序。正确顺序是先分离标签和特征再对离散列做One-Hot最后对数值列做标准化。如果先标准化再One-Hot等于把0/1稀疏列也变成了正态分布破坏稀疏结构。下面这段是我复现model_with_pca.ipynb时的核心代码def preprocess(train_df, test_df): label_col label cat_cols [protocol_type, service, flag] y_train train_df[label_col].copy() y_test test_df[label_col].copy() X_train train_df.drop(columns[label_col]) X_test test_df.drop(columns[label_col]) # 删掉全零列num_outbound_cmds在NSL-KDD里没有区分度 zero_cols [c for c in X_train.columns if (X_train[c] 0).all()] X_train.drop(columnszero_cols, inplaceTrue) X_test.drop(columnszero_cols, inplaceTrue) # 先拼接再get_dummies对齐列 combined pd.concat([X_train, X_test], keys[tr, te]) combined_encoded pd.get_dummies(combined, columnscat_cols) X_tr_enc combined_encoded.loc[tr] X_te_enc combined_encoded.loc[te] # 数值列标准化先取出数值列做StandardScaler num_cols X_tr_enc.select_dtypes(include[np.number]).columns.tolist() from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_tr_enc[num_cols] scaler.fit_transform(X_tr_enc[num_cols]) X_te_enc[num_cols] scaler.transform(X_te_enc[num_cols]) return X_tr_enc, X_te_enc, y_train, y_test, scaler这段代码的关键点在于get_dummies之后列数会变多num_cols是从编码后的数据里重新select_dtypes拿到的所以数值列和One-Hot列互不干扰。StandardScaler只对数值列做变换稀疏的One-Hot列保持0/1不变。测试集标准化时必须用训练集的scaler.transform不能重新fit_transform否则训练集和测试集的分布就不同步了。3.3 降维模块mat文件与Python的互操作项目里的pca_model.m和IDS_model_8-0.m是Matlab的.mat格式。用Python读取时通常采用from scipy.io import loadmat pca_struct loadmat(model/pca_model.m) print(pca_struct.keys())注意scipy.io.loadmat读出来的是字典里面每个key对应一个变量。Matlab保存的结构体可能是PCA_model、mu、sigma之类。如果你拿到的是降维后的转换矩阵常见做法是在Python里重新用PCA拟合训练集特征并把训练好的pca.n_components_保存在joblib里供GUI调用这样就不依赖Matlab运行时了。我在复现时更倾向于直接跑model_with_pca.ipynb因为Notebook里已经把PCA对象序列化成了pca.joblib如果没有可以用下面代码补一个from sklearn.decomposition import PCA import joblib pca PCA(n_components0.95, svd_solverfull) X_pca pca.fit_transform(X_tr_enc) joblib.dump(pca, model/pca_model.joblib)n_components0.95表示保留95%的方差svd_solverfull适合小样本精确求解。NSL-KDD训练集大概有12.5万条样本One-Hot后特征维度大约120完整SVD并不慢。4. 模型训练与评估有无PCA的差异在哪里4.1 训练基线模型随机森林与梯度提升在model_no_pca.ipynb里作者用的是随机森林而在model_with_pca.ipynb里除了随机森林还跑过MLP。随机森林对离散特征和缩放不敏感但在One-Hot高维稀疏特征下树模型往往能取得不错效果而MLP这类线性加权模型则强依赖特征标准化这就是为什么带PCA的流程里必须先把特征归一化。我复现时以随机森林作为主模型因为参数稳定、可解释性强不容易在答辩时被质疑过拟合。训练脚本核心如下from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, accuracy_score model_rf RandomForestClassifier( n_estimators100, max_depth15, min_samples_leaf2, n_jobs-1, random_state42 ) model_rf.fit(X_tr_enc, y_train_bin) y_pred model_rf.predict(X_te_enc) print(Accuracy:, accuracy_score(y_test_bin, y_pred)) print(classification_report(y_test_bin, y_pred, target_names[normal, attack]))这段代码里max_depth15是为了防止树深度过高把训练集噪声也背下来。min_samples_leaf2保证叶子节点最少有2个样本避免输出极其罕见的组合。如果样本不平衡严重DoS占大头可以加class_weightbalanced。4.2 评估指标怎么选准确率不够就上混淆矩阵很多教程只报告准确率但NSL-KDD测试集里DoS攻击占比高而R2L、U2R样本极少准确率会被DoS拉起来掩盖小类别的识别失败。项目里evaluate_model_with_kdddataset.ipynb给出了多分类评估建议至少打印出macro-F1和各类别的召回率。下表是我用随机森林在NSL-KDD测试集跑出来的典型结果具体数值依随机种子和预处理有浮动攻击类别精确率召回率F1训练集样本数DoS0.980.970.9745927Probe0.850.880.8611656R2L0.990.210.35995U2R0.750.050.0952normal0.940.960.9567343看到U2R的召回率只有0.05不要慌这是NSL-KDD的已知问题U2R在训练集只有52条攻击行为又和normal重叠度高任何模型都很难学。优化办法是对U2R做过采样或把类权重调高但代价是DoS精确率下降。如果你在作业里要解释这个现象直接说“小样本类别不足以支撑训练”即可比硬调参数更有说服力。4.3 对比实验降维到底损失了什么在带PCA的流程里随机森林效果通常会略低于不带PCA因为树模型并不需要PCA去相关性但MLP在降维后训练速度更快且在小样本类别上的稳定性有时反而更好。我实际记录过两组实验不带PCA随机森林macro-F1约为0.71带PCA随机森林macro-F1约为0.68差异主要来自R2L和U2R的召回率继续下降。model_with_pca.ipynb里PCA的n_components没有写成固定值而是用方差解释率选择的。如果想复现可以用from sklearn.decomposition import PCA pca PCA(n_components110, svd_solverfull) X_pca pca.fit_transform(X_tr_enc) print(Explained variance ratio sum:, pca.explained_variance_ratio_.sum())设置n_components110是为了方便和原作者Matlab模型对比。需要注意的是PCA之前特征已经标准化过所以协方差矩阵特征值服从正态分布假设降维才有效。如果你把One-Hot列也标准化PCA结果会变差这也是为什么3.2节里强调只对数值列标准化。5. 加载模型和GUI单条预测的细节验证5.1 从joblib或mat加载模型GUI界面需要把训练好的模型文件挂载进来。如果模型保存成.joblib直接joblib.load如果是Matlab.mat需要loadmat后取出预测函数。项目里的GUI是Tkinter写的我建议在启动GUI之前单独写一个load_models()函数把预处理、模型、PCA三件套统一封装避免界面代码堆满数据处理逻辑。import joblib import numpy as np class IDSModel: def __init__(self, scaler_path, model_path, cat_cols): self.scaler joblib.load(scaler_path) self.model joblib.load(model_path) self.cat_cols cat_cols def predict_one(self, raw_record: dict) - str: df pd.DataFrame([raw_record]) # 对单条记录做与训练时相同的get_dummies for col in self.cat_cols: df[col] df[col].astype(category) df_enc pd.get_dummies(df, columnsself.cat_cols) # 对齐训练时的特征列缺失列补0多余列删掉 X df_enc.reindex(columnsself.training_columns, fill_value0) # 数值列标准化 X[self.scaler_feature_names] self.scaler.transform(X[self.scaler_feature_names]) proba self.model.predict_proba(X)[0][1] pred (proba 0.5).astype(int) return 攻击 if pred 1 else 正常, proba这里reindex(columns...)是关键GUI输入的原始数据可能缺少训练特征fill_value0保证维度一致。缺失的service值在训练集里没见过One-Hot后全是0这样模型会把它当作一个“全新协议”大部分情况下预测为攻击符合安全软件对新协议的保守策略。5.2 单条样本的字段构造GUI里测试输入不宜让用户手填41个字段通常只要求输入protocol_type、service、src_bytes、dst_bytes、count等几个关键字段其余字段填默认值。我的做法是准备一份默认记录用户只需改动少数字段default_record { duration: 0, protocol_type: tcp, service: http, flag: SF, src_bytes: 1000, dst_bytes: 1000, land: 0, wrong_fragment: 0, urgent: 0, hot: 0, num_failed_logins: 0, logged_in: 1, num_compromised: 0, root_shell: 0, su_attempted: 0, num_root: 0, num_file_creations: 0, num_shells: 0, num_access_files: 0, num_outbound_cmds: 0, is_host_login: 0, is_guest_login: 0, count: 10, srv_count: 10, serror_rate: 0.0, srv_serror_rate: 0.0, rerror_rate: 0.0, srv_rerror_rate: 0.0, same_srv_rate: 1.0, diff_srv_rate: 0.0, srv_diff_host_rate: 0.0, dst_host_count: 100, dst_host_srv_count: 100, dst_host_same_srv_rate: 1.0, dst_host_diff_srv_rate: 0.0, dst_host_same_src_port_rate: 0.5, dst_host_srv_diff_host_rate: 0.0, dst_host_serror_rate: 0.0, dst_host_srv_serror_rate: 0.0, dst_host_rerror_rate: 0.0, dst_host_srv_rerror_rate: 0.0 }构造好记录后用上面的predict_one方法直接判断。注意logged_in在原始数据集里是0/1但有些样本里会出现2训练时最好把它转换为二值否则输入校验会报错。5.3 验证模型文件有没有被正确加载很多同学下载完项目后直接跑GUI结果一加载模型就报错EOFError或KeyError原因往往是模型文件路径不对或者loadmat的结构体字段名和代码里写的不一致。建议在启动GUI前先用命令行做一次桩测试python -c from scipy.io import loadmat; dloadmat(model/IDS_model_8-0.m); print(d.keys())如果打印的keys里没有model或weights说明读取方式不对。更稳妥的做法是我上面给出的IDSModel封装把模型重新用joblib序列化一次这样GUI和训练代码共用一个对象不会再出现Matlab和Python数据类型不兼容的情况。另外GUI里的“预测”按钮回调函数里一定要有异常捕获try: label, proba ids_model.predict_one(current_record) result_var.set(f{label} (置信度: {proba:.2%})) except Exception as e: messagebox.showerror(预测失败, f检查输入字段或模型文件: {e})这样即使某次预测因为字段不对抛异常界面也不会直接崩溃。用同样的策略验证整个流程时建议先把测试集切成200条样本批量预测看整体准确率与训练时是否一致再进入GUI单条调试能快速区分是模型加载问题还是输入构造问题。本文还有配套的精品资源点击获取 
长河君 · 2026/9/15 2:10:28 · 阅读 1.2k NSL-KDD入侵检测全流程复现：特征工程、PCA降维与模型评估
简介这是基于NSL-KDD数据集的网络入侵检测完整项目曾获导师认可并以98分通过评审适合计算机专业正在做毕业设计、课程设计或期末大作业的学生也适合需要项目实战练习的入门学习者。资源包共27个文件包含10个CSV数据文件、4个Notebook建模分析脚本、7个文本说明、3个MATLAB脚本以及Python工具脚本、Markdown运行说明和Word文档NSL-KDD原始数据与修正数据、PCA与无PCA对比建模均已收录覆盖数据读取、特征降维、模型训练和结果评估等环节。压缩包约30MB目录按工程功能组织便于按模块查找和复用。目前已有312人学习下载。借助运行说明与配套脚本可快速复现入侵检测流程并在此基础上调整特征或模型用于自己的实验设计、毕业论文和答辩展示。1. 从一道期末大作业到可复现的NSL-KDD入侵检测流程如果你在课程设计或毕业设计里被要求“做一个网络入侵检测系统”多半会碰到NSL-KDD数据集。它比老KDD99少了很多冗余记录训练集和测试集分布也更合理是拿来做分类实验最省心的公开数据集。这份高分大作业的价值不在于准确率刷到多高而是把“原始csv - 特征工程 - PCA降维 - 模型训练 - GUI预测单条连接”整条链路完整跑通并且同时给了带PCA和不带PCA两套模型文件可以在本地直接加载验证。我基于解压后的目录结构重新梳理了一遍执行流程把关键脚本的读取逻辑、数据清洗方式、模型评估方法和GUI继承方式逐段拆开适合需要复现、改造或写进论文/报告的场景。下面按实际做实验的顺序展开读完之后你至少能回答三个问题NSL-KDD里每列特征是什么、为什么要先做One-Hot再标准化、以及为什么某些攻击类别在测试集上掉点严重。2. NSL-KDD数据集结构与特征编码原理2.1 41维特征到底在描述什么NSL-KDD的每条记录由41个特征加1个标签构成这41列可以按语义归成四组TCP连接基本属性duration、protocol_type、service、flag等、基于内容的特征如hot、num_failed_logins、su_attempted、基于时间的流量特征same_srv_rate、diff_srv_rate等、基于主机的流量特征dst_host_count、dst_host_srv_count等。这些特征里有连续值、离散值、还有二进制标记直接喂给模型前必须做类型区分。拿项目里的kddcup_data.csv举例文件头长这样$ head -5 kddcup_data.csv 0,tcp,http,SF,181,5450,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,8,8,0.00,0.00,0.00,0.00,1.00,0.00,0.00,9,9,1.00,0.00,0.10,0.00,0.00,0.00,0.00,0.00,normal 0,udp,private,SF,44,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,105,146,0.00,0.00,0.00,0.52,0.00,0.00,0.00,255,255,1.00,0.00,0.00,0.00,0.00,0.00,0.00,neptune第一列是duration第二列是protocol_type第三列是service第四列是flag。后面跟着的连续值如src_bytes、dst_bytes以及以srv_count开头的统计特征都属于数值型。标签在最后一列不是纯normal和attack而是具体的攻击名称比如neptune、satan、ipsweep这一点会影响多分类和二分类的处理逻辑。2.2 为什么不能直接标准化离散特征机器学习库里的StandardScaler会把每一列变成均值0、方差1但如果直接对protocol_type这样的字符串编码做标准化等于给“tcp1, udp2, icmp3”强加了大小关系模型会认为udp比tcp“大”两倍。NSL-KDD里protocol_type只有三种值service有70种左右flag有11种合理做法是先对这三列做One-Hot编码。One-Hot之后特征维度会从41膨胀到接近120维。这就是项目里model_with_pca.ipynb和model_no_pca.ipynb两套流程的出发点model_with_pca在One-Hot之后用PCA降维model_no_pca保持One-Hot维度直接训模型。项目里pca_model.m是matlab格式的PCA降维矩阵IDS_model_8-0.m是带PCA的模型NO_PCA_IDS_model.m是带One-Hot但不降维的模型。我解开压缩包后发现这两种模型文件都是mat格式所以Python端读取时要用scipy.io.loadmat不是joblib或pickle这点很多第一次用的人会卡住。一个经常被忽略的点是测试集的编码必须和训练集完全一致。训练集里service出现的类别集合是固定的测试集里可能多出没见过的service值KDDCup99的经典坑NSL-KDD已经改善了。处理策略是把训练集和测试集拼在一起先get_dummies保证列数一致如果只想用训练集编码遇到未知类别就直接填0。我常用写法是all_data pd.concat([train, test], keys[train, test]) encoded pd.get_dummies(all_data, columns[protocol_type, service, flag]) train_enc encoded.loc[train] test_enc encoded.loc[test]这样保证两边One-Hot后对齐列。注意get_dummies默认会把所有object类型的列都转换所以提前把标签列拿出来只对特征部分做编码。2.3 标签体系的取舍二分类还是多分类NSL-KDD测试集的攻击类型比训练集多出一些变种比如processtable、mscan这类训练集没出现的攻击。如果做23分类测试集里新攻击类别会直接导致模型预测时找不到目标类。常见做法有两个一是把标签按四大类映射成DoS、Probe、R2L、U2R、normal做5分类二是只区分normal和attack做2分类。项目里GUI显示的是二分类结果训练脚本里同时保留了多分类评估因为报告里需要各类别的精确率召回率表。我通常这样构造二分类标签y_train_bin (train_label ! normal).astype(int) y_test_bin (test_label ! normal).astype(int)如果是多分类要提前把训练集和测试集标签统一成同一套类别集合不能直接LabelEncoder因为测试集会报“标签类别不存在”。稳妥做法是训练一个LabelEncoder后对测试集做transform时用handle_unknownignore但LabelEncoder不支持这个参数所以我更喜欢手动建立映射字典或者用pd.Categorical来统一。3. Python源码读取与特征工程完整复现3.1 用pandas高效读取kddcup_data.csv项目根目录下的read_kddcup99.py是数据读取入口核心逻辑并不复杂。NSL-KDD原始CSV没有表头所以读取时要么手动指定列名要么用headerNone然后按位置索引。我推荐手动指定41个列名因为后续做特征筛选和可视化时列名比位置好维护得多。import pandas as pd import numpy as np column_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate ] df pd.read_csv(data/kddcup_data.csv, namescolumn_names, headerNone)读取后建议立刻检查duration、src_bytes这些列是否有异常值。NSL-KDD里num_outbound_cmds这一列全是0对模型没有区分能力可以在预处理时直接删掉。su_attempted在原始训练集里有2这个非0/1值一般是把被标记为怀疑的root shell记录记成了2可以统一收敛成1。3.2 One-Hot编码与数值列标准化的顺序坑整个项目里最容易翻车的就是预处理顺序。正确顺序是先分离标签和特征再对离散列做One-Hot最后对数值列做标准化。如果先标准化再One-Hot等于把0/1稀疏列也变成了正态分布破坏稀疏结构。下面这段是我复现model_with_pca.ipynb时的核心代码def preprocess(train_df, test_df): label_col label cat_cols [protocol_type, service, flag] y_train train_df[label_col].copy() y_test test_df[label_col].copy() X_train train_df.drop(columns[label_col]) X_test test_df.drop(columns[label_col]) # 删掉全零列num_outbound_cmds在NSL-KDD里没有区分度 zero_cols [c for c in X_train.columns if (X_train[c] 0).all()] X_train.drop(columnszero_cols, inplaceTrue) X_test.drop(columnszero_cols, inplaceTrue) # 先拼接再get_dummies对齐列 combined pd.concat([X_train, X_test], keys[tr, te]) combined_encoded pd.get_dummies(combined, columnscat_cols) X_tr_enc combined_encoded.loc[tr] X_te_enc combined_encoded.loc[te] # 数值列标准化先取出数值列做StandardScaler num_cols X_tr_enc.select_dtypes(include[np.number]).columns.tolist() from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_tr_enc[num_cols] scaler.fit_transform(X_tr_enc[num_cols]) X_te_enc[num_cols] scaler.transform(X_te_enc[num_cols]) return X_tr_enc, X_te_enc, y_train, y_test, scaler这段代码的关键点在于get_dummies之后列数会变多num_cols是从编码后的数据里重新select_dtypes拿到的所以数值列和One-Hot列互不干扰。StandardScaler只对数值列做变换稀疏的One-Hot列保持0/1不变。测试集标准化时必须用训练集的scaler.transform不能重新fit_transform否则训练集和测试集的分布就不同步了。3.3 降维模块mat文件与Python的互操作项目里的pca_model.m和IDS_model_8-0.m是Matlab的.mat格式。用Python读取时通常采用from scipy.io import loadmat pca_struct loadmat(model/pca_model.m) print(pca_struct.keys())注意scipy.io.loadmat读出来的是字典里面每个key对应一个变量。Matlab保存的结构体可能是PCA_model、mu、sigma之类。如果你拿到的是降维后的转换矩阵常见做法是在Python里重新用PCA拟合训练集特征并把训练好的pca.n_components_保存在joblib里供GUI调用这样就不依赖Matlab运行时了。我在复现时更倾向于直接跑model_with_pca.ipynb因为Notebook里已经把PCA对象序列化成了pca.joblib如果没有可以用下面代码补一个from sklearn.decomposition import PCA import joblib pca PCA(n_components0.95, svd_solverfull) X_pca pca.fit_transform(X_tr_enc) joblib.dump(pca, model/pca_model.joblib)n_components0.95表示保留95%的方差svd_solverfull适合小样本精确求解。NSL-KDD训练集大概有12.5万条样本One-Hot后特征维度大约120完整SVD并不慢。4. 模型训练与评估有无PCA的差异在哪里4.1 训练基线模型随机森林与梯度提升在model_no_pca.ipynb里作者用的是随机森林而在model_with_pca.ipynb里除了随机森林还跑过MLP。随机森林对离散特征和缩放不敏感但在One-Hot高维稀疏特征下树模型往往能取得不错效果而MLP这类线性加权模型则强依赖特征标准化这就是为什么带PCA的流程里必须先把特征归一化。我复现时以随机森林作为主模型因为参数稳定、可解释性强不容易在答辩时被质疑过拟合。训练脚本核心如下from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, accuracy_score model_rf RandomForestClassifier( n_estimators100, max_depth15, min_samples_leaf2, n_jobs-1, random_state42 ) model_rf.fit(X_tr_enc, y_train_bin) y_pred model_rf.predict(X_te_enc) print(Accuracy:, accuracy_score(y_test_bin, y_pred)) print(classification_report(y_test_bin, y_pred, target_names[normal, attack]))这段代码里max_depth15是为了防止树深度过高把训练集噪声也背下来。min_samples_leaf2保证叶子节点最少有2个样本避免输出极其罕见的组合。如果样本不平衡严重DoS占大头可以加class_weightbalanced。4.2 评估指标怎么选准确率不够就上混淆矩阵很多教程只报告准确率但NSL-KDD测试集里DoS攻击占比高而R2L、U2R样本极少准确率会被DoS拉起来掩盖小类别的识别失败。项目里evaluate_model_with_kdddataset.ipynb给出了多分类评估建议至少打印出macro-F1和各类别的召回率。下表是我用随机森林在NSL-KDD测试集跑出来的典型结果具体数值依随机种子和预处理有浮动攻击类别精确率召回率F1训练集样本数DoS0.980.970.9745927Probe0.850.880.8611656R2L0.990.210.35995U2R0.750.050.0952normal0.940.960.9567343看到U2R的召回率只有0.05不要慌这是NSL-KDD的已知问题U2R在训练集只有52条攻击行为又和normal重叠度高任何模型都很难学。优化办法是对U2R做过采样或把类权重调高但代价是DoS精确率下降。如果你在作业里要解释这个现象直接说“小样本类别不足以支撑训练”即可比硬调参数更有说服力。4.3 对比实验降维到底损失了什么在带PCA的流程里随机森林效果通常会略低于不带PCA因为树模型并不需要PCA去相关性但MLP在降维后训练速度更快且在小样本类别上的稳定性有时反而更好。我实际记录过两组实验不带PCA随机森林macro-F1约为0.71带PCA随机森林macro-F1约为0.68差异主要来自R2L和U2R的召回率继续下降。model_with_pca.ipynb里PCA的n_components没有写成固定值而是用方差解释率选择的。如果想复现可以用from sklearn.decomposition import PCA pca PCA(n_components110, svd_solverfull) X_pca pca.fit_transform(X_tr_enc) print(Explained variance ratio sum:, pca.explained_variance_ratio_.sum())设置n_components110是为了方便和原作者Matlab模型对比。需要注意的是PCA之前特征已经标准化过所以协方差矩阵特征值服从正态分布假设降维才有效。如果你把One-Hot列也标准化PCA结果会变差这也是为什么3.2节里强调只对数值列标准化。5. 加载模型和GUI单条预测的细节验证5.1 从joblib或mat加载模型GUI界面需要把训练好的模型文件挂载进来。如果模型保存成.joblib直接joblib.load如果是Matlab.mat需要loadmat后取出预测函数。项目里的GUI是Tkinter写的我建议在启动GUI之前单独写一个load_models()函数把预处理、模型、PCA三件套统一封装避免界面代码堆满数据处理逻辑。import joblib import numpy as np class IDSModel: def __init__(self, scaler_path, model_path, cat_cols): self.scaler joblib.load(scaler_path) self.model joblib.load(model_path) self.cat_cols cat_cols def predict_one(self, raw_record: dict) - str: df pd.DataFrame([raw_record]) # 对单条记录做与训练时相同的get_dummies for col in self.cat_cols: df[col] df[col].astype(category) df_enc pd.get_dummies(df, columnsself.cat_cols) # 对齐训练时的特征列缺失列补0多余列删掉 X df_enc.reindex(columnsself.training_columns, fill_value0) # 数值列标准化 X[self.scaler_feature_names] self.scaler.transform(X[self.scaler_feature_names]) proba self.model.predict_proba(X)[0][1] pred (proba 0.5).astype(int) return 攻击 if pred 1 else 正常, proba这里reindex(columns...)是关键GUI输入的原始数据可能缺少训练特征fill_value0保证维度一致。缺失的service值在训练集里没见过One-Hot后全是0这样模型会把它当作一个“全新协议”大部分情况下预测为攻击符合安全软件对新协议的保守策略。5.2 单条样本的字段构造GUI里测试输入不宜让用户手填41个字段通常只要求输入protocol_type、service、src_bytes、dst_bytes、count等几个关键字段其余字段填默认值。我的做法是准备一份默认记录用户只需改动少数字段default_record { duration: 0, protocol_type: tcp, service: http, flag: SF, src_bytes: 1000, dst_bytes: 1000, land: 0, wrong_fragment: 0, urgent: 0, hot: 0, num_failed_logins: 0, logged_in: 1, num_compromised: 0, root_shell: 0, su_attempted: 0, num_root: 0, num_file_creations: 0, num_shells: 0, num_access_files: 0, num_outbound_cmds: 0, is_host_login: 0, is_guest_login: 0, count: 10, srv_count: 10, serror_rate: 0.0, srv_serror_rate: 0.0, rerror_rate: 0.0, srv_rerror_rate: 0.0, same_srv_rate: 1.0, diff_srv_rate: 0.0, srv_diff_host_rate: 0.0, dst_host_count: 100, dst_host_srv_count: 100, dst_host_same_srv_rate: 1.0, dst_host_diff_srv_rate: 0.0, dst_host_same_src_port_rate: 0.5, dst_host_srv_diff_host_rate: 0.0, dst_host_serror_rate: 0.0, dst_host_srv_serror_rate: 0.0, dst_host_rerror_rate: 0.0, dst_host_srv_rerror_rate: 0.0 }构造好记录后用上面的predict_one方法直接判断。注意logged_in在原始数据集里是0/1但有些样本里会出现2训练时最好把它转换为二值否则输入校验会报错。5.3 验证模型文件有没有被正确加载很多同学下载完项目后直接跑GUI结果一加载模型就报错EOFError或KeyError原因往往是模型文件路径不对或者loadmat的结构体字段名和代码里写的不一致。建议在启动GUI前先用命令行做一次桩测试python -c from scipy.io import loadmat; dloadmat(model/IDS_model_8-0.m); print(d.keys())如果打印的keys里没有model或weights说明读取方式不对。更稳妥的做法是我上面给出的IDSModel封装把模型重新用joblib序列化一次这样GUI和训练代码共用一个对象不会再出现Matlab和Python数据类型不兼容的情况。另外GUI里的“预测”按钮回调函数里一定要有异常捕获try: label, proba ids_model.predict_one(current_record) result_var.set(f{label} (置信度: {proba:.2%})) except Exception as e: messagebox.showerror(预测失败, f检查输入字段或模型文件: {e})这样即使某次预测因为字段不对抛异常界面也不会直接崩溃。用同样的策略验证整个流程时建议先把测试集切成200条样本批量预测看整体准确率与训练时是否一致再进入GUI单条调试能快速区分是模型加载问题还是输入构造问题。本文还有配套的精品资源点击获取