3D 目标检测:从萌芽到前沿的技术演进之路

亲爱的小伙伴们😘,在求知的漫漫旅途中,若你对深度学习的奥秘、JAVA 、PYTHON与SAP 的奇妙世界,亦或是读研论文的撰写攻略有所探寻🧐,那不妨给我一个小小的关注吧🥰。我会精心筹备,在未来的日子里不定期地为大家呈上这些领域的知识宝藏与实用经验分享🎁。每一个点赞👍,都如同春日里的一缕阳光,给予我满满的动力与温暖,让我们在学习成长的道路上相伴而行,共同进步✨。期待你的关注与点赞哟🤗!

早期探索阶段

  • 在 3D 目标检测的早期,研究主要集中在基于手工特征和传统机器学习方法上。研究人员尝试利用物体的几何形状、颜色、纹理等特征,结合支持向量机(SVM)等分类器来识别和定位 3D 物体。然而,这些方法在复杂场景下的性能有限,难以处理大规模的数据和多样化的物体姿态。

基于点云的方法兴起

  • VoxelNet :2017 年提出的 VoxelNet 是 3D 目标检测领域的一个重要里程碑。它将点云数据划分为体素,并使用 3D 卷积神经网络(CNN)来学习体素特征,从而实现 3D 目标检测.
    • 论文:VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
    • 出处:CVPR 2018
    • 原理改进:以往的方法多是将点云转换为其他形式再进行处理,而 VoxelNet 直接对体素化的点云进行 3D 卷积操作,自动学习点云的特征表示,无需人工设计特征,提高了检测的准确性和鲁棒性。其具体流程包括提素分区、分组、随机抽样、堆叠体素特征编码等步骤,最后通过区域提议网络生成检测框.

多模态融合方法的发展

  • MV3D :2016 年的 MV3D 多视角 3D 网络,将激光雷达点云和 RGB 图像作为输入,预测定向 3D 边界框1.
    • 论文:Multi-View 3D Object Detection Network for Autonomous Driving
    • 出处:CVPR 2017
    • 原理改进:此前的方法多单独依赖于点云或图像数据,MV3D 充分利用了激光雷达和相机的互补信息,通过多视角特征融合,使得网络能够更好地理解场景和物体,尤其是对于远处和小目标的检测效果有了明显提升。它通过两个子网络分别生成 3D 对象提议和进行多视角特征融合,并设计了深度融合方案,结合来自多个视角的区域特征来提高检测性能。

基于深度学习的进一步优化

  • PointNet/PointNet++ :PointNet 及其升级版 PointNet++ 在 2017 年左右出现,它们直接处理点云数据,通过一系列的点云采样、分组和特征学习操作,有效地捕捉点云的局部和全局特征1.
    • 论文:PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation、PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space
    • 出处:CVPR 2017、NIPS 2017
    • 原理改进:与之前的方法相比,PointNet 系列能够更好地处理点云的无序性和置换不变性,直接在原始点云上进行操作,避免了体素化等预处理过程中可能导致的信息丢失,从而更准确地提取点云的特征,提高了对复杂形状物体的检测精度。PointNet++ 通过构建点的分层分组,逐步抽象更大的局部区域,学习深度点集特征,进一步提升了模型的性能.

多传感器融合与序列信息利用

  • PointPainting :2019 年提出的 PointPainting 方法,将激光雷达点投影到仅图像语义分割网络的输出中,并将类别评分追加到每个点上,然后将追加后的点云馈送到任何仅激光雷达的方法中,实现了点云和图像信息的有效融合,提升了检测性能 。
    • 论文:PointPainting: Sequential Fusion for 3D Object Detection
    • 出处:CVPR 2020
    • 原理改进:该方法巧妙地将图像的语义信息融入到点云数据中,弥补了点云在语义理解上的不足,使得点云数据能够更好地识别物体的类别和位置,增强了检测的准确性和可靠性。
  • MSF :2023 年的 MSF 方法利用目标运动的连续性来挖掘当前帧中用于目标检测的有用序列上下文。
    • 论文:MSF: An Efficient 3D Object Detection Network based on Point Cloud Sequence Fusion
    • 出处:公众号【自动驾驶之心】
    • 原理改进:传统的多帧检测方法通常遵循 “检测和融合” 框架,存在冗余计算和对先前帧结果的过度依赖问题。MSF 方法则只在当前帧生成提议并传播到先前帧挖掘特征,减少了计算量和对前序帧的依赖,同时双向特征聚合模块加强了跨帧提议之间的信息交换,提高了边界框预测的准确性 。

基于 Transformer 的方法探索

  • 近年来,Transformer 架构在自然语言处理领域取得了巨大成功后,也被引入到 3D 目标检测中。一些方法利用 Transformer 的自注意力机制来学习点云或多模态数据中的长程依赖关系,从而更好地捕捉物体之间的上下文信息,进一步提高了检测性能 。
    • 论文:TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers等
    • 出处:相关的计算机视觉会议和期刊
    • 原理改进:Transformer 的自注意力机制能够自适应地关注输入数据中的不同部分,对于处理 3D 目标检测中的复杂场景和多模态数据具有天然的优势。它可以更好地建模物体之间的关系,以及不同模态数据之间的相互作用,从而提升检测的精度和鲁棒性,尤其是在处理遮挡、重叠等复杂情况时表现出色 。

2024 最新技术

  • Shift-SSD :2024 年,港科大提出了一种新的基于点的 3D 探测器模型 Shift-SSD,用于自动驾驶中的精确 3D 物体检测.
    • 论文:Cross-Cluster Shifting for Efficient and Effective 3D Object Detection in Autonomous Driving
    • 出处:ICRA 2024
    • 原理改进:传统的基于点的 3D 目标检测器通常采用依赖于点的渐进式下采样的架构,会损害关键非局部信息的保存。Shift-SSD 引入了跨集群移位操作,通过移位相邻簇的部分通道来增强传统设计,从而实现与非局部区域的更丰富的交互,扩大簇的感受野,在检测精度和运行效率方面取得了最新性能。其整体架构由用于聚类点特征提取的主干网络和用于产生检测框的框预测网络组成,主干网络中的移位集抽象模块包括簇点选择、球分组、集合特征提取和跨簇移位层等操作.
  • MV ACon :2024 年提出的多视角关注上下文化(MV ACon)方法,用于改进基于查询的多视角三维(MV3D)目标检测中二维到三维特征提取.
    • 论文:Multi-View Attentive Contextualization for Multi-View 3D Object Detection
    • 出处:CVPR 2024
    • 原理改进:该方法采用一种具有表征密集性但计算稀疏性的关注特征上下文化方案,解决了现有方法在高分辨率 2D 特征利用和 3D 查询到多尺度 2D 特征的稀疏接地方面的不足,通过引入全局基于聚类的上下文有效地对 MV3D 目标检测的密集场景级上下文进行编码,在实验中表现出一致的检测性能提升,尤其是在增强位置、方向和速度预测方面表现出色.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/35587.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

C# WPF抽奖程序

C# WPF抽奖程序 using Microsoft.Win32; using System; using System.Collections.Generic; using System.Diagnostics; using System.IO; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Windows; using System.…

Master EDI 项目需求分析

Master Electronics 通过其全球分销网络,支持多种采购需求,确保能够为客户提供可靠的元件供应链解决方案,同时为快速高效的与全球伙伴建立合作,Master 选择通过EDI来实现与交易伙伴间的数据传输。 EDI为交易伙伴之间建立了一个安…

基于单片机的输液速度监控系统设计

本设计是以STM32F103C8T6单片机为控制核心,用户可通过按键模块来设置液体高度与点滴速度的阈值,采用液位传感器实时监测瓶内液体位置,若液位低于所设阈值,蜂鸣器进行声音报警提醒患者或医生。采用步进电机通过控制输液管直径大小从…

河工oj新生周赛第八周2024

A.小七的作业 小柒的作业 - 问题 - 软件学院OJ 代码 #include<bits/stdc.h> using namespace std;int main() {string s;cin >> s;int l, r;cin >> l >> r;string str s.substr(l,r-l1);cout << str;return 0; } B.小七的签到题 小柒的签到…

FPGA工作原理、架构及底层资源

FPGA工作原理、架构及底层资源 文章目录 FPGA工作原理、架构及底层资源前言一、FPGA工作原理二、FPGA架构及底层资源 1.FPGA架构2.FPGA底层资源 2.1可编程输入/输出单元简称&#xff08;IOB&#xff09;2.2可配置逻辑块2.3丰富的布线资源2.4数字时钟管理模块(DCM)2.5嵌入式块 …

低功耗蓝牙模块在高尔夫测距仪上的应用

在绿意盎然的高尔夫球场上&#xff0c;每一次挥杆都承载着球员对精准与完美的追求。随着科技的飞速发展&#xff0c;高尔夫运动也迎来了智能化的革新。一款集成了先进蓝牙模组的高尔夫测距仪&#xff0c;它不仅重新定义了高尔夫运动的测距精度&#xff0c;更以无线互联的便捷性…

如何在 cPanel 中创建子域名:分步指南

cPanel 是一个用于管理网站的工具&#xff0c;操作界面简单直观&#xff0c;常用于管理网站的各种功能&#xff0c;包括创建子域名。很多知名的网络服务提供商&#xff0c;如 Hostease&#xff0c;都提供了 cPanel 管理工具。 本文将详细介绍如何在 cPanel 中创建子域名&#x…

减少30%人工处理时间,AI OCR与表格识别助力医疗化验单快速处理

在医疗行业&#xff0c;化验单作为重要的诊断依据和数据来源&#xff0c;涉及大量的文字和表格信息&#xff0c;传统的手工输入和数据处理方式不仅繁琐&#xff0c;而且容易出错&#xff0c;给医院的运营效率和数据准确性带来较大挑战。随着人工智能技术的快速发展&#xff0c;…

Linux安装BellSoft JDK 17 LTS

原来使用的OpenJdk&#xff0c;看到SpringBoot官网推荐&#xff08;如下图&#xff09;贝尔实验室的JDK&#xff0c;打算换一下 官方下载链接 JKD下载 可以看到Win、Mac、Linux都提供了&#xff0c;并且还有x86架构和arm架构的 在Linux中我们可以使用 uname -a 查看当前操作系…

C++(九)

前言&#xff1a; 本文主要讲述运算符的优先顺序。 一&#xff0c;运算符的优先级。 请看以下表达式&#xff1a; a32*5 运算结果为&#xff1a;13. 可以看到&#xff0c;在此代码中&#xff0c;先运行了2*5的结果&#xff0c;在此基础上在进行3操作&#xff0c;因此结果…

学生公寓智能限电系统的功能和作用

学生公寓智能限电系统‌是一种用于管理和限制学生公寓用电的设备和技术&#xff0c;旨在确保用电安全、防止火灾事故&#xff0c;并促进节能减排。以下是关于学生公寓智能限电系统的详细介绍&#xff1a; 1、功能和作用 智能限电系统通过以下功能来管理和限制用电&#xff1a…

嵌入式入门Day25

数据结构Day 6,IO Day1 查找算法顺序查找折半查找&#xff08;二分查找&#xff09;哈希查找 IO概念标准IO创建递归索引&#xff08;用于查询结构体定义&#xff09; 文件IO标准IO缓冲区指针相关函数 查找算法 顺序查找 关键字&#xff1a;分为主关键字和次关键字主关键字&am…

内网代理转发工具

概念区分 端口转发 端口转发就是将一个端口&#xff0c;这个端口可以本机的端口也可以是本机可以访问到的任意主机的端口&#xff0c;转发到任意一台可以访问到的IP上&#xff0c;通常这个IP是公网IP。 适用端口转发的网络环境有以下几种&#xff1a; 服务器处于内网&#x…

MNIST_FC

前言 提醒&#xff1a; 文章内容为方便作者自己后日复习与查阅而进行的书写与发布&#xff0c;其中引用内容都会使用链接表明出处&#xff08;如有侵权问题&#xff0c;请及时联系&#xff09;。 其中内容多为一次书写&#xff0c;缺少检查与订正&#xff0c;如有问题或其他拓展…

掌握时间,从`datetime`开始

文章目录 掌握时间&#xff0c;从datetime开始第一部分&#xff1a;背景介绍第二部分&#xff1a;datetime库是什么&#xff1f;第三部分&#xff1a;如何安装这个库&#xff1f;第四部分&#xff1a;简单库函数使用方法1. 获取当前日期和时间2. 创建特定的日期3. 计算两个日期…

算法之括号匹配中最长有效字符串

目录 1. 题目2. 解释3. 思路4. 代码5. 总结 1. 题目 任何一个左括号都能找到和其正确配对的右括号任何一个右括号都能找到和其正确配对的左括号 求最长的有效的括号长度 2. 解释 例如&#xff0c;这里的括号 ((((()()()()()()()))()最长有效是&#xff1a;((()()()()()()(…

统信桌面专业版部署postgresql-14.2+postgis-3.2方法介绍

文章来源&#xff1a;统信桌面专业版部署postgresql-14.2postgis-3.2方法介绍 | 统信软件-知识分享平台 应用场景 CPU架构&#xff1a;X86&#xff08;海光C86-3G 3350&#xff09; OS版本信息&#xff1a;1070桌面专业版 软件信息&#xff1a;postgresql-14.2postgis-3.2 …

【书生大模型实战营】Python 基础知识-L0G2000

前言&#xff1a;本文是书生大模型实战营系列的第2篇文章&#xff0c;是入门岛的第二个任务&#xff0c;主题为&#xff1a;Python基础知识。 官方教程参考链接&#xff1a;Tutorial/docs/L0/Python at camp4 InternLM/Tutorial 1.任务概览 本关为Python基础关卡&#xff0…

智能安全新时代:大语言模型与智能体在网络安全中的革命性应用

一、引言 随着信息技术的飞速发展&#xff0c;网络安全问题日益严重&#xff0c;成为各行各业面临的重大挑战。传统的安全防护措施已难以应对日益复杂的网络威胁&#xff0c;人工智能&#xff08;AI&#xff09;技术的引入为网络安全带来了新的希望。特别是大语言模型&#xff…

数仓技术hive与oracle对比(三)

更新处理 oracle使用dblink透明网关连接其他数据库&#xff0c;mysql、sqlserver、oracle&#xff0c;然后用sql、plsql更新数据&#xff1b;或者使用etl工具实现更新。 hive使用sqoop连接mysql、sqlserver、oracle实现数据更新。 oracle oracle数据加载命令 批量sql脚本上…