HazyDet 数据集：包含 383,000 个基于无人机的雾霾场景目标检测设计的大规模数据集

2024年9月30日，中国人民解放军陆军工程大学、南开大学、南京邮电大学、南京理工大学的研究人员联合创建了数据集，解决无人机在环境条件下的环境感知问题。恶劣的天气条件。该数据集的推出极大地填补了相关基准测试的空白，为无人机目标检测技术的开发和评估提供了宝贵的资源。

一、研究背景：

随着无人机在精准农业、城市交通管理、军事侦察等各个领域的广泛应用，其摄像头的传感能力成为成功应用的关键。然而，在雾天等恶劣天气条件下，无人机拍摄的图像往往面临能见度低、色彩失真等问题，这对目标检测技术提出了更高的要求。

目前遇到的困难和挑战：

1、无人机图像中目标尺寸因高度、视角变化而变化较大，难以检测。

2、无人机图像中目标分布不均匀，与常规视角下的图像存在明显差异。

3.恶劣天气条件下的图像退化和特征域差异导致传统目标检测方法的性能下降。

数据集地址：|无人机数据集|物体检测数据集2.我们一起来看看数据集

它是一个专为雾天条件下无人机目标检测而设计的大规模数据集，包含从合成图像中收集的 383,000 个真实世界实例，模拟自然雾天环境和正常场景中的雾气效果。数据集构建：

研究人员在正常天气条件下收集了大量带注释的数据，并利用大气散射模型（ASM）模拟生成大雾条件下的大规模无人机探测数据集。此外，还创建了独立的真实模糊无人机集（RDDTS）来评估探测器在现实条件下的性能。

数据集特点：

1.真实度高，非常接近真实无人机拍摄的雾天情况；

2.包含丰富的标注信息，适合目标检测和图像修复研究；

3.该数据集从无人机角度展示了目标大小与深度之间的相关性，为无人机图像判读提供了重要背景。

该数据集提供了可用于训练和测试对象检测模型的合成和真实数据。研究人员可以利用这些数据来开发和评估在雾天条件下更稳健的物体检测算法。

基准：

通过对数据集的广泛评估，研究人员证明了所提出方法的灵活性和有效性，实现了显着的性能改进，并建立了基准和排名，以使研究界了解现有方法。限制和开发强大解决方案的平台。

无人机在恶劣天气下进行物体检测面临的挑战。 (a)和(b)分别展示了无人机视角引起的尺度变化和分布不均匀； (c)和(d)显示了恶劣天气引起的图像失真和特征域间隙。

图像和注释：第一行和第二行显示正常天气条件下的图像及其深度图；第三行显示合成雾霾图像；第四行显示来自 RDDTS 的真实数据。在(a)和(b)中，显示了视角的变化（例如，倾斜和垂直）；在(c)和(d)中，显示了场景的变化(例如，城市和乡村)； (e) 和 (f) 中，显示照明的变化

数据集的构建过程，重点关注数据的采集和处理方法。使用 ASM 模拟带注释的正常天气数据，而对于最初未注释的雾天气数据则使用半自动注释。

雾场景与其他数据集的真实性比较：客观指标（上）和主观视觉评估（下）

框架：

Depth-（深度）框架的功能使得无人机在雾天条件下检测目标时能够更加准确地识别和定位目标，即使在能见度低、颜色失真的情况下也能保持较高的检测性能。具体来说，这是通过几个关键组件实现的：

1.多尺度深度感知头（MDDH）：该组件使网络能够学习不同尺度的深度信息。这对于理解场景的全局分布（例如区分天空和地面）和提供详细的场景线索（有助于检测小目标）至关重要。

2.深度线索条件核（Depth-cue，DCK）模块：该模块根据深度线索动态生成特征过滤核，以调整分类和回归特征。这种方法允许网络根据像素级深度线索动态分配权重，优先考虑信息最丰富的视觉元素，从而提高适应不同空间位置的视觉模式的能力。

3. 尺度不变的翻新损失（Scale Loss，）：这是一种设计的损失函数，通过尺度不变的误差测量和标签翻新来实现稳定的深度学习。该损失函数关注对数深度值之间的差异而不是绝对尺度，帮助网络从噪声标签中学习准确的深度信息。

框架。利用多尺度深度传感检测头（MDDH）来学习深度信息，并使用深度图来计算尺度不变翻新（）。然后使用学习到的特征动态生成深度提示条件内核 (DCK)，该内核调节分类和回归特征以影响检测行为。

3.让我们期待一下该数据集的应用：

例如，我是一名无人机操作员

以往，当大雾笼罩森林或山区，登山者或露营者失踪时，我们通常会面临一个难题：如何在能见度极低的环境下快速定位失踪者？通常，我们依靠地面搜救队，但这种方法效率不高，特别是在地形复杂或面积广阔的地区。有时，我们也会出动无人机进行空中搜索，但由于雾太大，无人机上的摄像头很难看清地面情况。他们往往是“盲目的”，搜索结果并不理想。

然而，用该数据集训练的系统给我们的搜救工作带来了很大的改变。

现在，即使在大雾天气下，无人机也能清晰识别地面上的人物或其他重要地标。

例如，这次有一位徒步旅行者在山里失踪了。那些天，山区浓雾笼罩，能见度很低。过去，我们可能要等到天气好转才能开始空中搜索。但这一次，我们直接出动了配备最新识别系统的无人机。在浓雾中，无人机通过数据集训练的算法可以识别地面上的细微特征，例如失踪人员衣服的颜色、背包的形状，甚至是他们留下的脚印。

无人机飞越了失踪区域，通过实时传回图像，我们控制中心的操作人员可以清楚地看到地面的情况。不久之后，无人机在茂密的森林中发现了失踪者。我们迅速通知地面搜救队，地面搜救队迅速赶到指定地点，成功解救失踪人员。

现在，即使在恶劣的天气条件下，无人机也能成为我们可靠的“眼睛”，帮助我们尽快找到失踪人员，大大提高搜救的成功率和效率。这不仅节省了宝贵的救援时间，也提高了救援人员和失踪人员的安全。

来来来，我们一起走进|无人机数据集|物体检测数据集