【RT-DETR多模态创新改进】TGRS 2025 | 独家早期融合创新 | 引入MROD-YOLO的 MJRNet 多模态联合表征网络模块，对可见光与红外信息的早期深度融合、充分发挥多模态互补优势

一、本文介绍🔥本文给大家介绍使用MJRNet多模态联合表征网络模块改进 RT-DETR 多模态目标检测模型，其核心作用是在网络前端实现高质量的多模态联合表征学习，通过对可见光与红外信息的早期深度融合，为后续检测提供信息充分且对齐良好的输入特征。MJRNet 利用全局上下文注意力机制建模跨模态长程依赖关系，并结合掩膜增强与残差融合策略，突出不同模态中具有判别力的关键区域，同时有效抑制冗余与噪声信息，从而充分发挥多模态互补优势。相比直接拼接或简单加权的融合方式，MJRNet 在不显著增加计算开销的前提下，显著提升了融合特征的语义一致性与细节保留能力，使RT-DETR在复杂环境下能够更稳定地检测小目标和弱目标，降低漏检与误检，并保持良好的实时性与工程可部署性。🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进！🔥🔥RT-DETR多模态改进专栏目录：《独家RT-DETR多模态改进专栏目录 》全网独家创新，多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中🔥RT-DETR多模态创新订阅地址：RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中本文目录一、本文介绍二、MJRNet 多模态联合表征网络模块介绍2.1 MJRNet 多模态联合表征网络模块结构图2.2 MJRNet 多模态联合表征网络模块的作用2.3 MJRNet 多模态联合表征网络模块的原理2.4 MJRNet 多模态联合表征网络模块的优势三、完整核心代码四、手把手教你配置模块和修改tasks.py文件1.首先在ultralytics/nn/newsAddmodules创建一个.py文件2.在ultralytics/nn/newsAddmodules/__init__.py中引用3.修改tasks.py文件五、创建涨点yaml配置文件🚀 早期融合创新改进🔥: rtdetr-r18-earlyfusion-MJRNet.yaml六、正常运行二、MJRNet多模态联合表征网络模块介绍摘要：在资源有限的航空平台上，如何利用多模态遥感图像实现精准高效的小目标检测是一项极具挑战性的任务。现有解决方案大多依赖复杂网络提取目标特征，这往往会产生巨大的计算开销。本文提出 MROD -YOLO一种新型多模态目标检测框架，旨在提升遥感影像分析的准确性和效率。首先，我们设计了多模态联合表征网络（MJRNet），该网络采用全局上下文注意力模块（GCB）以最大化融合过程中的特征保留。MJRNet整合了多模态图像的互补特征，有效解决了复杂场景下单一模态方法的局限性。此外，我们在骨干网络的空间特征表征中引入了感受野扩展机制（RFEM）。最后，开发了多尺度迭代聚合（MSIA）模块，用于优化特征交互并提升复杂环境中小目标的检测效果。通过用特征金字塔网络（FPN）替代路径聚合网络（PANet），模型能有效保留纹理细节特征。实验结果表明， MROD -YOLO在mAP50指标上达到77.9%的准确率，较 SOT