大家读完觉得有帮助记得关注和点赞摘要研究与教育网络RENs作为科学发现的关键基础设施面临着独特的安全悖论其正常流量模式以大规模、突发性的大象流为特征在传统监控系统中与DDoS等流量型攻击在统计上难以区分。这种相似性导致异常检测中的高误报率使安全运营人员对真正的威胁视而不见。在本文中我们提出并评估了一个高保真流量预测框架旨在为REN建立动态安全基线。利用一个为期57天的独家Internet2数据集涵盖10台骨干路由器137亿个数据包我们在此领域进行了首次大规模异常感知预测模型基准测试。我们系统地评估了从SARIMA到最先进长序列架构TiDE、PatchTST的六个模型家族涵盖960种实验配置。结果表明这些先进架构尤其是TiDE相比传统方法将基线预测误差降低了30-42%p0.001p0.001显著改善了对合法科学突发与潜在异常的区分能力。此外我们引入了一种新颖的异常集成策略在存在噪声的情况下将模型鲁棒性提高了3.3%。本研究为区分科学工作流与网络攻击提供了首个经过统计验证的框架实现了更自主、更具韧性的网络安全运营。索引词网络安全、异常检测、流量预测、研究与教育网络、深度学习、Internet2、DDoS缓解I 引言研究与教育网络RENs如Internet2和ESnet构成了现代科学的神经系统为高能物理、基因组学和气候研究提供PB级数据传输[monga2018sdn]。作为关键基础设施这些网络是网络威胁的高价值目标需要强大的、AI驱动的网络安全框架来保护它们[ahamed2025ai]。然而保护REN面临一个独特的挑战REN的正常行为往往模仿流量型攻击的特征。单个科学工作流可以使100 Gbps链路饱和数小时产生极端突发性和流量峰值传统入侵检测系统IDS可能将其标记为分布式拒绝服务DDoS攻击[dart2013science]。这种模糊性造成了严重的运营安全风险。如果安全运营人员将检测阈值设置得过宽他们会错过真正的攻击假阴性。如果设置得过紧合法的科学传输会触发警报假阳性导致警报疲劳并可能自动阻止关键研究数据。为解决这一问题REN安全需要一个动态基线——一个高度准确的预测模型能够描述任何给定时刻正常科学流量的样貌从而将真正的异常攻击、故障与预测的大象流区分开来。尽管存在这种需求当前REN中的安全基线技术仍然相当初级。三个基本障碍阻碍了进展1数据稀缺性由于隐私问题真实世界的REN数据集很少能用于安全研究[nottingham2020challenges]2缺乏基准测试在这些环境中对于创建鲁棒安全基线的现代深度学习架构没有系统的比较3异常盲目性现有的预测模型往往未能考虑训练数据中异常的存在导致基线被污染从而使攻击模式被正常化。在本研究中我们通过开发一个鲁棒的、异常感知的预测框架来应对这些挑战用于动态安全基线。我们利用来自Internet2骨干网的独家57天数据集对六个模型家族进行基准测试从经典统计方法到现代Transformer。通过将无监督异常检测孤立森林、局部离群因子直接集成到预测流水线中我们展示了如何构建对噪声具有韧性且能够高保真预测合法突发的模型。我们对网络安全和测量的贡献是1我们分析了来自10台Internet2路由器的137亿个数据包提供了对关键科学基础设施基线流量模式的罕见洞察2我们首次对先进长序列架构包括基于MLP的TiDE和基于Transformer的PatchTST与REN流量的传统基线进行系统评估证明Transformer为安全基线提供了更优的保真度3我们引入并评估了四种将异常检测集成到预测循环中的策略表明在训练期间屏蔽异常可显著提高基于RNN的安全模型的鲁棒性4我们分析了基线准确性与计算成本之间的权衡为部署实时异常检测支持系统提供了可操作的建议。II 相关工作与定位II-A REN中的流量特征与安全风险研究与教育网络RENs展现的流量模式在根本上不同于商业广域网为安全监控带来了独特挑战。Rogers和Christensen首次证明Internet2流量缺乏商业网络的自相似、人类驱动模式而是遵循重尾分布其中不到1%的流量占总体积的80%以上[rogers2001fluid]。这种运营现实由Science DMZ等架构模式塑造后者通过绕过传统防火墙来优先保障吞吐量[dart2013science]。从安全角度来看这产生了显著的遮蔽效应。如Kiran和Chhabra所述REN工作负载是非平稳且不可预测的[kiran2019understanding]。这种非平稳性使得基于阈值的入侵检测系统IDS难以区分合法的100 Gbps科学传输与流量型DDoS攻击。Barford等人使用信号处理分析此类异常强调了将闪击人群事件与恶意攻击区分开来的困难[barford2002signal]。NERSC的Giannakou等人最近的工作进一步强调了现代HPC环境中数据移动模式的复杂性需要更自适应的基线技术[giannakou2024understanding]。II-B 高速网络中的异常检测挑战高速网络中的异常检测是一个研究充分的领域然而仍然存在重大挑战。Chandola等人提供了技术的全面综述[chandola2009anomaly]但由于语义鸿沟和假阳性的高成本将其应用于网络入侵检测充满困难[sommer2010outside]。Gates和Taylor挑战了传统异常检测范式指出正常流量很少是静态的[gates2006challenging]这一观点得到Mahoney和Chan的支持他们提出学习非平稳模型以检测新型攻击[mahoney2002learning]。由于标记攻击数据的稀缺性通常需要无监督方法。Eskin等人提出了无监督检测的几何框架[eskin2002geometric]我们使用孤立森林[liu2008isolation]和局部离群因子LOF[breunig2000lof]将其概念操作化。虽然Lakhina等人证明了子空间方法PCA在诊断骨干网络异常方面的实用性[lakhina2004diagnosing]我们的工作通过将这些无监督检测器直接集成到预测流水线中创建了一个鲁棒的、动态的基线来推进这一领域。II-C 用于安全基线的预测模型预测模型是动态异常检测的基础。Papagiannaki等人的基础工作探索了早期骨干网络上的长期预测[papagiannaki2005long]但这些模型早于当前的PB级流量。最近使用SARIMA的研究报告了在科学规模突发期间的高误差率[mohammed2021predicting]而Liu等人强调了经典基线在容量规划中的不足[liu2018comprehensive]。深度学习的出现带来了更先进的架构。Shariff等人的先前研究在2台路由器上展示了混合GRU-LSTM的有效性[shariff2025traffic]。最近图神经网络GNNs如DCRNN在时空建模方面显示出潜力[andreoletti2019network]而APRIL等系统已开始使用预测进行智能负载均衡[8737537]。然而仍然存在一个关键空白这些先进的长序列架构包括现代基于MLP的编码器如TiDE[das2023long]和Transformer如PatchTST[nie2022time]从未被系统地基准测试其在大型REN骨干网上作为安全基线的能力。表I总结了这一空白。表I与先前REN预测和安全研究的定位研究路由器时长模型异常Mohammed等人[mohammed2021predicting]130天SARIMA无Liu等人[liu2018comprehensive]1365天统计无Andreoletti等人[andreoletti2019network]23~30天DCRNNGNN无Shariff等人[shariff2025traffic]230天GRU-LSTM无本研究1057天6个家族4种策略III 方法论与数据集分析我们利用了一个为期57天的独家Internet2数据集包含来自10台地理分布骨干路由器的3.14亿条流和137亿个数据包提供了迄今最大、最多样化的REN安全基线语料库。表II总结了路由器级别的规模和覆盖范围。图1十台Internet2路由器的地理分布。 该骨干数据集的多特性使我们能够测试安全基线在高容量枢纽和较小区域节点之间的泛化能力。表II按路由器划分的Internet2流量语料库摘要路由器原始GB流量百万数据包十亿小时数亚特兰大8.4928.030.611369达拉斯47.76149.782.421322巴吞鲁日28.4380.061.291343波士顿0.140.390.02789埃尔帕索3.339.360.321378杰克逊4.7913.400.231369杰克逊维尔6.9519.430.701338路易斯维尔1.123.150.281466菲尼克斯3.128.770.271369里诺12.6635.500.47861总计147.7314.013.712,604该数据集表现出显著的路由器异质性达拉斯处理最高流量1.4978亿条流24.2亿个数据包而波士顿处理最小负载39万条流2000万个数据包。主要研究机构间流量量级的380倍变化和地理分布使得在多样化流量条件下进行全面的模型评估成为可能。由于数据可用性窗口每台路由器的覆盖范围从789到1466小时不等所有路由器均提供了足够的时域范围以进行鲁棒的训练/验证/测试分割。虽然存在网络范围的时空依赖关系但我们专注于单变量、每路由器建模因为这代表了基于边缘的入侵检测系统IDS的标准部署模型。通过为每台核心路由器建立独立的基线我们确保安全警报是本地化的且可操作的。我们的探索性分析揭示了将REN流量与商业网络区分的三个关键特征1减弱的高峰周期夜间流量仅下降约15%图3反映了机器驱动的工作流2极端重尾分布前1%的流量占总量的80%3显著的路由器异质性表II。这证明了我们多站点、每路由器基准测试方法的合理性。III-A 可扩展ETL流水线传统的内存数据处理在这种规模下会失败这是从大规模数据系统中提取可操作见解时的常见挑战[begum2023comparative]。为克服这一点我们设计了一个基于Dask的分布式ETL流水线如图2所示。该流水线首先执行数据摄取与解析以处理原始的、非标准JSON片段。数据随后进入Dask核外处理阶段使用惰性加载和Parquet转换来管理大规模数据。这通过汇总10台路由器每台的in_packets字段产生一个干净的、按小时聚合的单变量时间序列。这些干净数据有两个用途作为异常检测模块的输入并与异常分数结合在特征工程阶段以创建用于我们基准测试的最终四种数据变体。图2我们异常感知预测框架的端到端架构。 原始Internet2 NetFlow数据由多阶段、基于Dask的ETL流水线处理产生干净的、按小时聚合的时间序列。这些干净数据随后被输入异常检测模块以生成分数和标志这些在特征工程阶段被结合以创建四种不同的数据变体。最后这些变体被用于六个模型家族的全面基准测试生成960组实验预测用于性能分析。在解析和按小时聚合之后我们按时间顺序分割时间序列70/15/15%以实现现实的预测。图3展示了所有路由器上减弱的高峰周期模式夜间流量相比高峰时段仅下降15%远低于商业WAN中典型的50-70%降幅。这反映了科学工作流持续的、机器驱动的特性其运行独立于人类活动周期。图3十台路由器的平均每小时流量。 减弱的高峰周期仅约15%变化和极端突发性使REN流量与商业流量可区分使传统的DDoS检测阈值复杂化。为区分合法科学突发与运营异常和潜在攻击我们按路由器部署了孤立森林IF和局部离群因子LOF。在REN安全的背景下我们将异常定义为任何显著偏离学习基线的流量模式。与商业网络中异常通常是恶意的如DDoS不同REN异常是双峰的它们可以是合法的科学大象流或实际的安全事件。我们的框架使用孤立森林不仅是为了标记离群点也是为了清理训练数据使预测模型能够学习合法流量的真实底层基线。这种分离对于减少下游IDS中的假阳性至关重要。IF的异常似然评分公式为LOF的评分公式为其中 E(h(x))E(h(x)) 是平均路径长度lrdklrdk 是局部可达密度。特征包括每小时计数、24小时滚动z分数和时段编码污染率0.01与观察到的异常频率匹配。我们特别纳入了24小时滚动z分数以捕获与绝对流量量无关的局部统计偏差。该特征使模型能够区分突发的、高速率的攻击式突发与渐进的、合法的工作负载增长。通过将其与时段编码结合检测器学会在已知的高峰运营时段抑制假阳性使安全基线适应网络的节律。我们系统地测试了四种注入异常信息的方式1原始无异常2屏蔽3分数作为特征以及4两者组合。通用预测公式如式3所示其中 XX 是历史流量AA 是异常上下文ff 是建立动态基线的预测模型。模型基准测试涵盖960个实验10台路由器 × 6个模型 × 4个预测范围 × 4种异常模式。所有实验使用时间顺序分割、早停法和跨模型归一化。配对的t检验与Bonferroni校正、报告的置信区间以及硬件控制NVIDIA A40 GPU确保了统计严谨性。IV 安全基线的实验设计基于我们的异常感知流水线我们现在详述用于压力测试这些模型作为动态安全基线的实验设置。为应对区分合法科学流与流量型攻击的挑战我们对六个代表性模型家族进行基准测试每个模型被选择用于评估基线韧性的特定属性统计刚性、计算效率或长期时间感知能力。IV-A 模型组合与安全理由混合深度学习架构的设计和选择是跨多个领域系统性能的关键因素[shariff2025novel, hossain2020novel]。对于本研究我们选择了涵盖基线生成技术谱系的六个模型家族• SARIMA统计基线提供刚性的、基于季节性的基线。用于测试简单统计边界是否足以用于REN安全。• XGBoost树集成在低推理延迟下擅长非线性预测使其成为高速边缘安全设备的候选。• GRU-LSTM混合循环DL结合GRU和LSTM以捕获状态化时间依赖测试记忆在区分攻击与正常突发中的价值。• N-BEATS可解释DL使用堆叠架构进行趋势建模。该模型不支持外生特征使我们能够测试其固有的架构鲁棒性而无需显式异常分数。• TiDE时间序列密集编码器一种先进的基于MLP的架构利用密集编码器-解码器块和残差连接在没有自注意力机制开销的情况下高效学习长程相关性。• PatchTST基于分块的Transformer将序列划分为分块以提高计算效率。我们的实现不支持外生异常分数作为纯Transformer性能的对照。这种特征支持的差异性使我们能够基准测试架构固有鲁棒性与显式异常感知这对安全系统设计是一个关键区分。对于我们的基于注意力的模型PatchTST捕获对过滤合法大象流至关重要的长程上下文的核心自注意力机制如式4所示IV-B 实验协议该因子设计探索了地理多样性、模型类别、预测范围和异常处理如何交互影响安全基线的鲁棒性。我们采用全因子设计产生960个不同的实验• 路由器10个地理分布的Internet2节点。• 模型上述6个家族。• 预测范围1、6、12和24小时预测提前期以评估基线在运营轮班中的稳定性。• 异常模式四种策略原始、屏蔽、分数作为特征和组合以测试对数据投毒的韧性。数据按时间顺序分割70%训练15%验证15%测试以模拟现实的安全部署其中未来攻击是未知的。所有深度学习模型在NVIDIA A40 GPU上使用早停法耐心20训练以防止过拟合噪声超参数通过网格搜索调优表III。表III通过网格搜索确定的关键超参数配置模型关键设置SARIMA(1,1,1)×(1,1,1)24(1,1,1)×(1,1,1)24AIC优化XGBoostn_estimators500, max_depth6, lr0.05, early_stop50GRU-LSTM128单元/层, window48h, 410 epochs, pat20N-BEATS30 stacks, 256单元/层, 250 epochsTiDE160万参数, window48h, 130 epochs, lr1e-3PatchTST53.4万参数, window336h, patch_len16, stride8IV-C 基线保真度的评估指标我们使用五个互补指标评估安全基线的保真度总结于表IV。统计显著性使用配对的t检验α0.05α0.05与Bonferroni校正验证。表IV基线保真度评估指标V 结果基线分析与韧性分析V-A 基线保真度与计算成本我们的基准测试揭示了模型建立高保真安全基线能力的明确层级。如图4所示先进的长序列架构显著优于传统方法提供对正常流量模式的最紧密拟合从而具有最低的假阳性可能性。图4所有预测范围的基线保真度中位MAE。 基于Transformer的模型TiDE提供最紧密的安全基线最小化导致假阳性的残差噪声。第一梯队——密集编码器主导TiDE变体实现中位MAE为 5.66×1075.66×107 个数据包相比传统基线减少了30-42%的误差表Vp0.001p0.001。对于安全运营这种卓越的保真度至关重要意味着合法的突发被正确预测为正常防止它们在下游IDS中触发误报。第二梯队——现代深度学习N-BEATS和PatchTST形成强大的中间梯队。虽然它们缺乏TiDE的外生异常集成能力但它们固有的架构深度使它们比RNN优出25-30%。第三梯队——轻量级基线XGBoost9.5×1079.5×107 MAE在准确性上落后但在计算效率上表现出色。如表V所示XGBoost训练时间6.7秒和推理延迟可忽略。这使其成为资源受限的边缘安全设备的可行候选在这些设备中超低延迟优先于最大基线精度。表V安全基线性能与成本中位值模型MAERMSEsMAPEP99训练秒TiDE (scF)5.66e77.5e760.41.9e81.6N-BEATS6.4e79.5e765.72.9e82.6PatchTST6.4e79.2e788.12.1e80.4GRU-LSTM8.8e71.3e887.13.9e81.8SARIMA8.1e71.2e8122.52.9e81.9XGBoost9.5e71.1e886.43.4e86.7接下来我们分析这些模型在包含未标记异常的投毒数据上训练时的鲁棒性图5。图5可视化噪声埃尔帕索路由器上的合法流量突发红点。 一个鲁棒的安全模型必须预测这些峰值以避免将有效的科学流标记为流量型攻击。V-B 对数据投毒的韧性安全基线通常必须在包含未验证异常的历史数据上训练。我们的消融研究表VI测量了每个模型对这种训练噪声的韧性。RNN脆弱性GRU-LSTM模型对训练噪声高度敏感。屏蔽异常屏蔽策略产生3.3%的MAE降低p0.01p0.01确认RNN需要干净的训练数据来建立稳定的安全基线。密集编码器鲁棒性TiDE从分数作为特征策略中获益最多1.11%改进p0.05p0.05。这表明深度密集编码器可以有效地使用异常分数作为上下文信号来区分正常的高量级传输与统计离群点。固有稳定性基于树的模型XGBoost对异常集成策略的敏感性最小表明它们对离群点具有固有鲁棒性——这是设置即忘记安全部署的宝贵特性。表VI对训练数据噪声的韧性ΔΔMAE%按策略模型原始屏蔽分数作为特征两者组合GRU-LSTM0.0-3.3*-0.7*3.4TiDE0.00.06-1.11**0.86N-BEATS0.0-1.14**N/A^aN/A^aPatchTST0.05.89N/A^bN/A^bXGBoost0.0-0.2-0.10.1显著性p0.05p0.05** p0.01p0.01*** p0.001p0.001^a N-BEATS不支持外生特征。^b 所使用的PatchTST实现不支持外生特征。V-C 运营安全窗口运营安全窗口指的是安全团队能够提前多少时间可靠地预测流量模式以配置主动防御。图6运营安全窗口。 高达6小时的急剧误差增加定义了主动安全规划和规则配置的最佳提前窗口。1-6小时窗口RMSE在短期内急剧增加约38%中位增加。这反映了预测科学工作流精确起始时间的困难。在此窗口内运行的安全系统必须保持高度自适应性。6-24小时稳定性6小时后误差增长显著趋缓。这识别出一个6小时的最佳点用于安全规划。运营人员可以可靠地使用6小时预测来区分预期的大象流与持续型流量型攻击设置足够宽松以容纳科学工作但又足够紧密以捕捉威胁的阈值。基线误差增长遵循幂律其中 R20.89R20.89为安全阈值提供了可预测的误差边界。V-D 基线的地理一致性全局安全策略需要适用于不同网络段的基线。我们的分析揭示了显著的异质性图7按路由器的基线一致性热图24小时MAE。 较低的排名较亮颜色表示更好的性能。TiDE变体顶行在大多数路由器上一致的高排名展示了其鲁棒性和适用于网络范围安全部署的特性。高可预测性节点像波士顿和里诺这样的区域节点具有稳定的流量模式允许非常严格的安全阈值低P99误差。高方差枢纽像达拉斯和杰克逊维尔这样的核心枢纽表现出巨大的方差。这里的安全基线必须更宽松以避免假阳性。部署启示一刀切的异常阈值将失败。安全团队必须部署每路由器基线根据该节点的特定可预测性配置文件由TiDE一致的一流表现所建模调整灵敏度。虽然我们当前的评估仅限于Internet2骨干网但我们的框架成功建模了区域节点如波士顿和国际交换枢纽如达拉斯之间极端方差的能力提供了有力证据表明该方法将推广到具有多样化拓扑的其他REN环境。VI 讨论、结论与未来工作我们的结果为基线保真度提供了明确的判定并为保护REN环境所需的架构特性提供了深刻洞察。先进的长序列模型表现出明显的优越性。对于PatchTST这归因于自注意力公式4并行处理序列的能力。对于TiDE优越性源于其深度多层感知器MLP编码器-解码器结构该结构有效捕获长程依赖关系并通过将异常映射到密集潜空间而表现出对异常的固有鲁棒性。VI-A 运营安全建议基于我们的全面评估我们提供了第一个基于证据的REN安全基线部署框架总结于表VII。安全策略我们的分析确认6小时预测范围在基线准确性和可操作的提前期之间提供了最佳平衡。这使安全团队能够为预期的大象流预配置防火墙和QoS策略。每路由器优化的需求对于避免在多样化网络段中产生假阳性至关重要。韧性与成本对于资源受限的边缘设备XGBoost作为优秀的故障转移选项以最小延迟提供有竞争力的基线。对于核心路由器TiDE提供最高的保真度。建议每周重新训练以调整安全基线以适应演变的科学工作负载。更广泛的影响是显著的通过实现自主的、预测性的基线这项工作使安全系统能够过滤掉合法的突发将分析人员的注意力集中在真正的威胁上。表VII运营安全部署建议安全方面建议主要基线模型带异常分数集成的TiDE提前窗口6小时最佳保真度-效用平衡训练数据卫生RNNs使用屏蔽异常深度架构TiDE使用分数集成边缘 vs. 核心边缘用XGBoost核心用TiDE重训练频率每周以缓解概念漂移该框架将我们的关键发现综合为一套可操作指南用于在生产REN中部署鲁棒的安全基线。VI-B 结论与未来方向本研究首次在Internet2骨干网上进行了大规模、异常感知的流量预测基准测试。通过分析10台路由器上的137亿个数据包我们证明了现代长序列架构如TiDE可以将基线预测误差降低超过30%显著提高了安全系统区分合法科学突发与流量型攻击的能力。虽然我们的研究建立了坚实的基础但我们承认若干局限性这些局限性定义了明确的未来研究路径。首先我们57天的时域范围无法捕获与年度学术周期相关的长期季节效应需要进行延长的纵向研究。其次我们的单变量、每路由器方法作为必要的第一道防线但忽略了更广泛的网络范围空间依赖关系。最后需要在其他REN如ESnet、GÉANT上进行验证以确认泛化性。由于数据隐私限制原始NetFlow数据集无法公开发布。为缓解这一问题并确保可复现性我们承诺发布所有处理脚本、模型训练代码以及所有变体的完整综合评估报告。未来工作将集中在解决这些局限性的三个关键安全前沿• 对抗鲁棒性与时空建模评估这些基线在复杂的模型投毒攻击下的表现并扩展框架以纳入图神经网络GNNs来建模路由器间的空间依赖关系。• 隐私保护联邦学习开发协议使多个REN能够在不共享敏感流量数据的情况下协作训练安全模型。• 可解释AIXAI集成可解释性工具以帮助安全分析人员理解基线偏差发生的原因促进对自主响应系统的信任。最终这项工作实现了从反应式入侵检测到主动式预测韧性的转变确保了支撑现代科学的数字基础设施的安全性和可用性。 
长河君 · 2026/11/3 2:17:45 · 阅读 1.2k 增强研究网络中的异常韧性：动态安全基线的规模化预测基准
大家读完觉得有帮助记得关注和点赞摘要研究与教育网络RENs作为科学发现的关键基础设施面临着独特的安全悖论其正常流量模式以大规模、突发性的大象流为特征在传统监控系统中与DDoS等流量型攻击在统计上难以区分。这种相似性导致异常检测中的高误报率使安全运营人员对真正的威胁视而不见。在本文中我们提出并评估了一个高保真流量预测框架旨在为REN建立动态安全基线。利用一个为期57天的独家Internet2数据集涵盖10台骨干路由器137亿个数据包我们在此领域进行了首次大规模异常感知预测模型基准测试。我们系统地评估了从SARIMA到最先进长序列架构TiDE、PatchTST的六个模型家族涵盖960种实验配置。结果表明这些先进架构尤其是TiDE相比传统方法将基线预测误差降低了30-42%p0.001p0.001显著改善了对合法科学突发与潜在异常的区分能力。此外我们引入了一种新颖的异常集成策略在存在噪声的情况下将模型鲁棒性提高了3.3%。本研究为区分科学工作流与网络攻击提供了首个经过统计验证的框架实现了更自主、更具韧性的网络安全运营。索引词网络安全、异常检测、流量预测、研究与教育网络、深度学习、Internet2、DDoS缓解I 引言研究与教育网络RENs如Internet2和ESnet构成了现代科学的神经系统为高能物理、基因组学和气候研究提供PB级数据传输[monga2018sdn]。作为关键基础设施这些网络是网络威胁的高价值目标需要强大的、AI驱动的网络安全框架来保护它们[ahamed2025ai]。然而保护REN面临一个独特的挑战REN的正常行为往往模仿流量型攻击的特征。单个科学工作流可以使100 Gbps链路饱和数小时产生极端突发性和流量峰值传统入侵检测系统IDS可能将其标记为分布式拒绝服务DDoS攻击[dart2013science]。这种模糊性造成了严重的运营安全风险。如果安全运营人员将检测阈值设置得过宽他们会错过真正的攻击假阴性。如果设置得过紧合法的科学传输会触发警报假阳性导致警报疲劳并可能自动阻止关键研究数据。为解决这一问题REN安全需要一个动态基线——一个高度准确的预测模型能够描述任何给定时刻正常科学流量的样貌从而将真正的异常攻击、故障与预测的大象流区分开来。尽管存在这种需求当前REN中的安全基线技术仍然相当初级。三个基本障碍阻碍了进展1数据稀缺性由于隐私问题真实世界的REN数据集很少能用于安全研究[nottingham2020challenges]2缺乏基准测试在这些环境中对于创建鲁棒安全基线的现代深度学习架构没有系统的比较3异常盲目性现有的预测模型往往未能考虑训练数据中异常的存在导致基线被污染从而使攻击模式被正常化。在本研究中我们通过开发一个鲁棒的、异常感知的预测框架来应对这些挑战用于动态安全基线。我们利用来自Internet2骨干网的独家57天数据集对六个模型家族进行基准测试从经典统计方法到现代Transformer。通过将无监督异常检测孤立森林、局部离群因子直接集成到预测流水线中我们展示了如何构建对噪声具有韧性且能够高保真预测合法突发的模型。我们对网络安全和测量的贡献是1我们分析了来自10台Internet2路由器的137亿个数据包提供了对关键科学基础设施基线流量模式的罕见洞察2我们首次对先进长序列架构包括基于MLP的TiDE和基于Transformer的PatchTST与REN流量的传统基线进行系统评估证明Transformer为安全基线提供了更优的保真度3我们引入并评估了四种将异常检测集成到预测循环中的策略表明在训练期间屏蔽异常可显著提高基于RNN的安全模型的鲁棒性4我们分析了基线准确性与计算成本之间的权衡为部署实时异常检测支持系统提供了可操作的建议。II 相关工作与定位II-A REN中的流量特征与安全风险研究与教育网络RENs展现的流量模式在根本上不同于商业广域网为安全监控带来了独特挑战。Rogers和Christensen首次证明Internet2流量缺乏商业网络的自相似、人类驱动模式而是遵循重尾分布其中不到1%的流量占总体积的80%以上[rogers2001fluid]。这种运营现实由Science DMZ等架构模式塑造后者通过绕过传统防火墙来优先保障吞吐量[dart2013science]。从安全角度来看这产生了显著的遮蔽效应。如Kiran和Chhabra所述REN工作负载是非平稳且不可预测的[kiran2019understanding]。这种非平稳性使得基于阈值的入侵检测系统IDS难以区分合法的100 Gbps科学传输与流量型DDoS攻击。Barford等人使用信号处理分析此类异常强调了将闪击人群事件与恶意攻击区分开来的困难[barford2002signal]。NERSC的Giannakou等人最近的工作进一步强调了现代HPC环境中数据移动模式的复杂性需要更自适应的基线技术[giannakou2024understanding]。II-B 高速网络中的异常检测挑战高速网络中的异常检测是一个研究充分的领域然而仍然存在重大挑战。Chandola等人提供了技术的全面综述[chandola2009anomaly]但由于语义鸿沟和假阳性的高成本将其应用于网络入侵检测充满困难[sommer2010outside]。Gates和Taylor挑战了传统异常检测范式指出正常流量很少是静态的[gates2006challenging]这一观点得到Mahoney和Chan的支持他们提出学习非平稳模型以检测新型攻击[mahoney2002learning]。由于标记攻击数据的稀缺性通常需要无监督方法。Eskin等人提出了无监督检测的几何框架[eskin2002geometric]我们使用孤立森林[liu2008isolation]和局部离群因子LOF[breunig2000lof]将其概念操作化。虽然Lakhina等人证明了子空间方法PCA在诊断骨干网络异常方面的实用性[lakhina2004diagnosing]我们的工作通过将这些无监督检测器直接集成到预测流水线中创建了一个鲁棒的、动态的基线来推进这一领域。II-C 用于安全基线的预测模型预测模型是动态异常检测的基础。Papagiannaki等人的基础工作探索了早期骨干网络上的长期预测[papagiannaki2005long]但这些模型早于当前的PB级流量。最近使用SARIMA的研究报告了在科学规模突发期间的高误差率[mohammed2021predicting]而Liu等人强调了经典基线在容量规划中的不足[liu2018comprehensive]。深度学习的出现带来了更先进的架构。Shariff等人的先前研究在2台路由器上展示了混合GRU-LSTM的有效性[shariff2025traffic]。最近图神经网络GNNs如DCRNN在时空建模方面显示出潜力[andreoletti2019network]而APRIL等系统已开始使用预测进行智能负载均衡[8737537]。然而仍然存在一个关键空白这些先进的长序列架构包括现代基于MLP的编码器如TiDE[das2023long]和Transformer如PatchTST[nie2022time]从未被系统地基准测试其在大型REN骨干网上作为安全基线的能力。表I总结了这一空白。表I与先前REN预测和安全研究的定位研究路由器时长模型异常Mohammed等人[mohammed2021predicting]130天SARIMA无Liu等人[liu2018comprehensive]1365天统计无Andreoletti等人[andreoletti2019network]23~30天DCRNNGNN无Shariff等人[shariff2025traffic]230天GRU-LSTM无本研究1057天6个家族4种策略III 方法论与数据集分析我们利用了一个为期57天的独家Internet2数据集包含来自10台地理分布骨干路由器的3.14亿条流和137亿个数据包提供了迄今最大、最多样化的REN安全基线语料库。表II总结了路由器级别的规模和覆盖范围。图1十台Internet2路由器的地理分布。 该骨干数据集的多特性使我们能够测试安全基线在高容量枢纽和较小区域节点之间的泛化能力。表II按路由器划分的Internet2流量语料库摘要路由器原始GB流量百万数据包十亿小时数亚特兰大8.4928.030.611369达拉斯47.76149.782.421322巴吞鲁日28.4380.061.291343波士顿0.140.390.02789埃尔帕索3.339.360.321378杰克逊4.7913.400.231369杰克逊维尔6.9519.430.701338路易斯维尔1.123.150.281466菲尼克斯3.128.770.271369里诺12.6635.500.47861总计147.7314.013.712,604该数据集表现出显著的路由器异质性达拉斯处理最高流量1.4978亿条流24.2亿个数据包而波士顿处理最小负载39万条流2000万个数据包。主要研究机构间流量量级的380倍变化和地理分布使得在多样化流量条件下进行全面的模型评估成为可能。由于数据可用性窗口每台路由器的覆盖范围从789到1466小时不等所有路由器均提供了足够的时域范围以进行鲁棒的训练/验证/测试分割。虽然存在网络范围的时空依赖关系但我们专注于单变量、每路由器建模因为这代表了基于边缘的入侵检测系统IDS的标准部署模型。通过为每台核心路由器建立独立的基线我们确保安全警报是本地化的且可操作的。我们的探索性分析揭示了将REN流量与商业网络区分的三个关键特征1减弱的高峰周期夜间流量仅下降约15%图3反映了机器驱动的工作流2极端重尾分布前1%的流量占总量的80%3显著的路由器异质性表II。这证明了我们多站点、每路由器基准测试方法的合理性。III-A 可扩展ETL流水线传统的内存数据处理在这种规模下会失败这是从大规模数据系统中提取可操作见解时的常见挑战[begum2023comparative]。为克服这一点我们设计了一个基于Dask的分布式ETL流水线如图2所示。该流水线首先执行数据摄取与解析以处理原始的、非标准JSON片段。数据随后进入Dask核外处理阶段使用惰性加载和Parquet转换来管理大规模数据。这通过汇总10台路由器每台的in_packets字段产生一个干净的、按小时聚合的单变量时间序列。这些干净数据有两个用途作为异常检测模块的输入并与异常分数结合在特征工程阶段以创建用于我们基准测试的最终四种数据变体。图2我们异常感知预测框架的端到端架构。 原始Internet2 NetFlow数据由多阶段、基于Dask的ETL流水线处理产生干净的、按小时聚合的时间序列。这些干净数据随后被输入异常检测模块以生成分数和标志这些在特征工程阶段被结合以创建四种不同的数据变体。最后这些变体被用于六个模型家族的全面基准测试生成960组实验预测用于性能分析。在解析和按小时聚合之后我们按时间顺序分割时间序列70/15/15%以实现现实的预测。图3展示了所有路由器上减弱的高峰周期模式夜间流量相比高峰时段仅下降15%远低于商业WAN中典型的50-70%降幅。这反映了科学工作流持续的、机器驱动的特性其运行独立于人类活动周期。图3十台路由器的平均每小时流量。 减弱的高峰周期仅约15%变化和极端突发性使REN流量与商业流量可区分使传统的DDoS检测阈值复杂化。为区分合法科学突发与运营异常和潜在攻击我们按路由器部署了孤立森林IF和局部离群因子LOF。在REN安全的背景下我们将异常定义为任何显著偏离学习基线的流量模式。与商业网络中异常通常是恶意的如DDoS不同REN异常是双峰的它们可以是合法的科学大象流或实际的安全事件。我们的框架使用孤立森林不仅是为了标记离群点也是为了清理训练数据使预测模型能够学习合法流量的真实底层基线。这种分离对于减少下游IDS中的假阳性至关重要。IF的异常似然评分公式为LOF的评分公式为其中 E(h(x))E(h(x)) 是平均路径长度lrdklrdk 是局部可达密度。特征包括每小时计数、24小时滚动z分数和时段编码污染率0.01与观察到的异常频率匹配。我们特别纳入了24小时滚动z分数以捕获与绝对流量量无关的局部统计偏差。该特征使模型能够区分突发的、高速率的攻击式突发与渐进的、合法的工作负载增长。通过将其与时段编码结合检测器学会在已知的高峰运营时段抑制假阳性使安全基线适应网络的节律。我们系统地测试了四种注入异常信息的方式1原始无异常2屏蔽3分数作为特征以及4两者组合。通用预测公式如式3所示其中 XX 是历史流量AA 是异常上下文ff 是建立动态基线的预测模型。模型基准测试涵盖960个实验10台路由器 × 6个模型 × 4个预测范围 × 4种异常模式。所有实验使用时间顺序分割、早停法和跨模型归一化。配对的t检验与Bonferroni校正、报告的置信区间以及硬件控制NVIDIA A40 GPU确保了统计严谨性。IV 安全基线的实验设计基于我们的异常感知流水线我们现在详述用于压力测试这些模型作为动态安全基线的实验设置。为应对区分合法科学流与流量型攻击的挑战我们对六个代表性模型家族进行基准测试每个模型被选择用于评估基线韧性的特定属性统计刚性、计算效率或长期时间感知能力。IV-A 模型组合与安全理由混合深度学习架构的设计和选择是跨多个领域系统性能的关键因素[shariff2025novel, hossain2020novel]。对于本研究我们选择了涵盖基线生成技术谱系的六个模型家族• SARIMA统计基线提供刚性的、基于季节性的基线。用于测试简单统计边界是否足以用于REN安全。• XGBoost树集成在低推理延迟下擅长非线性预测使其成为高速边缘安全设备的候选。• GRU-LSTM混合循环DL结合GRU和LSTM以捕获状态化时间依赖测试记忆在区分攻击与正常突发中的价值。• N-BEATS可解释DL使用堆叠架构进行趋势建模。该模型不支持外生特征使我们能够测试其固有的架构鲁棒性而无需显式异常分数。• TiDE时间序列密集编码器一种先进的基于MLP的架构利用密集编码器-解码器块和残差连接在没有自注意力机制开销的情况下高效学习长程相关性。• PatchTST基于分块的Transformer将序列划分为分块以提高计算效率。我们的实现不支持外生异常分数作为纯Transformer性能的对照。这种特征支持的差异性使我们能够基准测试架构固有鲁棒性与显式异常感知这对安全系统设计是一个关键区分。对于我们的基于注意力的模型PatchTST捕获对过滤合法大象流至关重要的长程上下文的核心自注意力机制如式4所示IV-B 实验协议该因子设计探索了地理多样性、模型类别、预测范围和异常处理如何交互影响安全基线的鲁棒性。我们采用全因子设计产生960个不同的实验• 路由器10个地理分布的Internet2节点。• 模型上述6个家族。• 预测范围1、6、12和24小时预测提前期以评估基线在运营轮班中的稳定性。• 异常模式四种策略原始、屏蔽、分数作为特征和组合以测试对数据投毒的韧性。数据按时间顺序分割70%训练15%验证15%测试以模拟现实的安全部署其中未来攻击是未知的。所有深度学习模型在NVIDIA A40 GPU上使用早停法耐心20训练以防止过拟合噪声超参数通过网格搜索调优表III。表III通过网格搜索确定的关键超参数配置模型关键设置SARIMA(1,1,1)×(1,1,1)24(1,1,1)×(1,1,1)24AIC优化XGBoostn_estimators500, max_depth6, lr0.05, early_stop50GRU-LSTM128单元/层, window48h, 410 epochs, pat20N-BEATS30 stacks, 256单元/层, 250 epochsTiDE160万参数, window48h, 130 epochs, lr1e-3PatchTST53.4万参数, window336h, patch_len16, stride8IV-C 基线保真度的评估指标我们使用五个互补指标评估安全基线的保真度总结于表IV。统计显著性使用配对的t检验α0.05α0.05与Bonferroni校正验证。表IV基线保真度评估指标V 结果基线分析与韧性分析V-A 基线保真度与计算成本我们的基准测试揭示了模型建立高保真安全基线能力的明确层级。如图4所示先进的长序列架构显著优于传统方法提供对正常流量模式的最紧密拟合从而具有最低的假阳性可能性。图4所有预测范围的基线保真度中位MAE。 基于Transformer的模型TiDE提供最紧密的安全基线最小化导致假阳性的残差噪声。第一梯队——密集编码器主导TiDE变体实现中位MAE为 5.66×1075.66×107 个数据包相比传统基线减少了30-42%的误差表Vp0.001p0.001。对于安全运营这种卓越的保真度至关重要意味着合法的突发被正确预测为正常防止它们在下游IDS中触发误报。第二梯队——现代深度学习N-BEATS和PatchTST形成强大的中间梯队。虽然它们缺乏TiDE的外生异常集成能力但它们固有的架构深度使它们比RNN优出25-30%。第三梯队——轻量级基线XGBoost9.5×1079.5×107 MAE在准确性上落后但在计算效率上表现出色。如表V所示XGBoost训练时间6.7秒和推理延迟可忽略。这使其成为资源受限的边缘安全设备的可行候选在这些设备中超低延迟优先于最大基线精度。表V安全基线性能与成本中位值模型MAERMSEsMAPEP99训练秒TiDE (scF)5.66e77.5e760.41.9e81.6N-BEATS6.4e79.5e765.72.9e82.6PatchTST6.4e79.2e788.12.1e80.4GRU-LSTM8.8e71.3e887.13.9e81.8SARIMA8.1e71.2e8122.52.9e81.9XGBoost9.5e71.1e886.43.4e86.7接下来我们分析这些模型在包含未标记异常的投毒数据上训练时的鲁棒性图5。图5可视化噪声埃尔帕索路由器上的合法流量突发红点。 一个鲁棒的安全模型必须预测这些峰值以避免将有效的科学流标记为流量型攻击。V-B 对数据投毒的韧性安全基线通常必须在包含未验证异常的历史数据上训练。我们的消融研究表VI测量了每个模型对这种训练噪声的韧性。RNN脆弱性GRU-LSTM模型对训练噪声高度敏感。屏蔽异常屏蔽策略产生3.3%的MAE降低p0.01p0.01确认RNN需要干净的训练数据来建立稳定的安全基线。密集编码器鲁棒性TiDE从分数作为特征策略中获益最多1.11%改进p0.05p0.05。这表明深度密集编码器可以有效地使用异常分数作为上下文信号来区分正常的高量级传输与统计离群点。固有稳定性基于树的模型XGBoost对异常集成策略的敏感性最小表明它们对离群点具有固有鲁棒性——这是设置即忘记安全部署的宝贵特性。表VI对训练数据噪声的韧性ΔΔMAE%按策略模型原始屏蔽分数作为特征两者组合GRU-LSTM0.0-3.3*-0.7*3.4TiDE0.00.06-1.11**0.86N-BEATS0.0-1.14**N/A^aN/A^aPatchTST0.05.89N/A^bN/A^bXGBoost0.0-0.2-0.10.1显著性p0.05p0.05** p0.01p0.01*** p0.001p0.001^a N-BEATS不支持外生特征。^b 所使用的PatchTST实现不支持外生特征。V-C 运营安全窗口运营安全窗口指的是安全团队能够提前多少时间可靠地预测流量模式以配置主动防御。图6运营安全窗口。 高达6小时的急剧误差增加定义了主动安全规划和规则配置的最佳提前窗口。1-6小时窗口RMSE在短期内急剧增加约38%中位增加。这反映了预测科学工作流精确起始时间的困难。在此窗口内运行的安全系统必须保持高度自适应性。6-24小时稳定性6小时后误差增长显著趋缓。这识别出一个6小时的最佳点用于安全规划。运营人员可以可靠地使用6小时预测来区分预期的大象流与持续型流量型攻击设置足够宽松以容纳科学工作但又足够紧密以捕捉威胁的阈值。基线误差增长遵循幂律其中 R20.89R20.89为安全阈值提供了可预测的误差边界。V-D 基线的地理一致性全局安全策略需要适用于不同网络段的基线。我们的分析揭示了显著的异质性图7按路由器的基线一致性热图24小时MAE。 较低的排名较亮颜色表示更好的性能。TiDE变体顶行在大多数路由器上一致的高排名展示了其鲁棒性和适用于网络范围安全部署的特性。高可预测性节点像波士顿和里诺这样的区域节点具有稳定的流量模式允许非常严格的安全阈值低P99误差。高方差枢纽像达拉斯和杰克逊维尔这样的核心枢纽表现出巨大的方差。这里的安全基线必须更宽松以避免假阳性。部署启示一刀切的异常阈值将失败。安全团队必须部署每路由器基线根据该节点的特定可预测性配置文件由TiDE一致的一流表现所建模调整灵敏度。虽然我们当前的评估仅限于Internet2骨干网但我们的框架成功建模了区域节点如波士顿和国际交换枢纽如达拉斯之间极端方差的能力提供了有力证据表明该方法将推广到具有多样化拓扑的其他REN环境。VI 讨论、结论与未来工作我们的结果为基线保真度提供了明确的判定并为保护REN环境所需的架构特性提供了深刻洞察。先进的长序列模型表现出明显的优越性。对于PatchTST这归因于自注意力公式4并行处理序列的能力。对于TiDE优越性源于其深度多层感知器MLP编码器-解码器结构该结构有效捕获长程依赖关系并通过将异常映射到密集潜空间而表现出对异常的固有鲁棒性。VI-A 运营安全建议基于我们的全面评估我们提供了第一个基于证据的REN安全基线部署框架总结于表VII。安全策略我们的分析确认6小时预测范围在基线准确性和可操作的提前期之间提供了最佳平衡。这使安全团队能够为预期的大象流预配置防火墙和QoS策略。每路由器优化的需求对于避免在多样化网络段中产生假阳性至关重要。韧性与成本对于资源受限的边缘设备XGBoost作为优秀的故障转移选项以最小延迟提供有竞争力的基线。对于核心路由器TiDE提供最高的保真度。建议每周重新训练以调整安全基线以适应演变的科学工作负载。更广泛的影响是显著的通过实现自主的、预测性的基线这项工作使安全系统能够过滤掉合法的突发将分析人员的注意力集中在真正的威胁上。表VII运营安全部署建议安全方面建议主要基线模型带异常分数集成的TiDE提前窗口6小时最佳保真度-效用平衡训练数据卫生RNNs使用屏蔽异常深度架构TiDE使用分数集成边缘 vs. 核心边缘用XGBoost核心用TiDE重训练频率每周以缓解概念漂移该框架将我们的关键发现综合为一套可操作指南用于在生产REN中部署鲁棒的安全基线。VI-B 结论与未来方向本研究首次在Internet2骨干网上进行了大规模、异常感知的流量预测基准测试。通过分析10台路由器上的137亿个数据包我们证明了现代长序列架构如TiDE可以将基线预测误差降低超过30%显著提高了安全系统区分合法科学突发与流量型攻击的能力。虽然我们的研究建立了坚实的基础但我们承认若干局限性这些局限性定义了明确的未来研究路径。首先我们57天的时域范围无法捕获与年度学术周期相关的长期季节效应需要进行延长的纵向研究。其次我们的单变量、每路由器方法作为必要的第一道防线但忽略了更广泛的网络范围空间依赖关系。最后需要在其他REN如ESnet、GÉANT上进行验证以确认泛化性。由于数据隐私限制原始NetFlow数据集无法公开发布。为缓解这一问题并确保可复现性我们承诺发布所有处理脚本、模型训练代码以及所有变体的完整综合评估报告。未来工作将集中在解决这些局限性的三个关键安全前沿• 对抗鲁棒性与时空建模评估这些基线在复杂的模型投毒攻击下的表现并扩展框架以纳入图神经网络GNNs来建模路由器间的空间依赖关系。• 隐私保护联邦学习开发协议使多个REN能够在不共享敏感流量数据的情况下协作训练安全模型。• 可解释AIXAI集成可解释性工具以帮助安全分析人员理解基线偏差发生的原因促进对自主响应系统的信任。最终这项工作实现了从反应式入侵检测到主动式预测韧性的转变确保了支撑现代科学的数字基础设施的安全性和可用性。