TartanAviation：开启航空多模态数据新时代，助力空中交通管理智能化变革

TartanAviation 开源多模态数据集，涵盖图像、语音和 ADS - B 轨迹数据，为航空 AI 研究提供关键支撑。

　　### 一、研究背景与数据集概述
随着航空业的蓬勃发展，美国空中交通流量日益增长，2023 年平均每天有 45000 架次航班，运送超 290 万名乘客，已接近当前美国空中交通管制系统的饱和容量。先进空中机动性（AAM）运营的引入，预计将进一步增加飞行操作，这迫切需要提升空域容量。与航路空域相比，终端区域空中交通密度更高，对其进行有效管理至关重要，同时也需要数据支持以推动完全或部分自主 AAM 代理的发展。

在此背景下，TartanAviation 应运而生。它是一个开源的多模态数据集，专注于终端区域空域操作。该数据集通过在机场边界内安装设备，同步收集图像、语音和自动相关监视广播（ADS - B）轨迹数据，提供了机场环境的整体视图。数据采集持续数月，涵盖多个有塔台和无塔台机场，旨在捕捉飞机操作、季节、飞机类型和天气条件的多样性。TartanAviation 共提供 310 万张图像、3374 小时的空中交通管制语音数据和 661 天的 ADS - B 轨迹数据，还提供了经过同步、滤波和插值处理的后处理版本数据。此外，收集和预处理数据集的代码库也已开源，增强了数据的可访问性和可用性。

二、数据采集方法

在数据采集前，卡内基梅隆大学机构审查委员会（IRB）认定该项目不涉及人类受试者研究。在美国，ADS - B 传输和空中交通管制（ATC）通信是公开可访问的广播，根据相关法律，记录和共享这些数据是合法的，但其他地区的研究人员需遵循当地法律法规。

1. 视觉数据采集：视觉数据仅在阿勒格尼县机场（KAGC）采集，采集设备安装在北纬 40.351422 度，西经 - 79.923939 度。使用一组索尼 IMX 264 相机，通过 LI - JXAV - MIPI - ADPT - 6CAM 相机适配器连接到 NVIDIA Xavier AGX 32GB 开发套件，相机以 2048×2448 分辨率、24 帧 / 秒的速度采集数据。利用 ADS - B 数据在设备周围设置 8 公里的围栏，当飞机越过阈值时，相机自动开始录制，录制在 250 秒定时器结束或飞机离开 8 公里围栏时停止，如果录制超时飞机仍未离开，则会启动新的录制，数据采集从 2021 年 12 月 14 日至 2023 年 2 月 23 日，涵盖多个季节，从日出到日落进行。
2. 轨迹和天气数据采集：轨迹和天气数据在 KAGC 和匹兹堡 - 巴特勒地区机场（KBTP）采集。使用 Stratux ADS - B 接收器，能够接收 1090MHz 和 978MHz 频率的位置报告，接收器安装在每个机场的终端区域。数据采集时间为当地时间凌晨 1 点至晚上 11 点，以涵盖高峰和非高峰时段的所有航空运营。KBTP 的数据采集从 2020 年 9 月 18 日开始，至 2022 年 10 月 27 日结束；KAGC 的数据采集从 2021 年 10 月 31 日开始，至 2023 年 2 月 17 日结束。同时，通过爱荷华州立大学气象机场报告（METAR）存储库收集相应机场的天气报告，METAR 报告通常每小时发布一次，特殊情况下频率会变化，还会发布特殊报告（SPECIs）。
3. 语音数据采集：语音数据在 KAGC 和 KBTP 机场采集，使用 Bearcat SR30C 无线电接收器接收航空无线电频率。KAGC 的接收器调谐到 121.1MHz，这是其空中交通管制塔台频率；KBTP 的接收器调谐到 123.05MHz，即其通用交通咨询频率。音频以 44.1k 样本 / 秒的速率录制，录制触发机制与视觉设置类似，使用 ADS - B 数据，触发阈值设置为 10 公里，同时提供相应的原始 ADS - B 数据。

三、数据后处理

1. 视觉数据后处理：除了原始相机输出，TartanAviation 还提供各种有用的元数据，包括 ADS - B 和边界框标签。对于 ADS - B 数据，每个录制的视频序列都有一个 PKL 文件，包含录制时该区域所有飞行飞机的 GPS 坐标、唯一飞行 ID 和 N 编号（若飞行员提供）。通过解析联邦航空管理局（FAA）N 编号注册表查询网站获取更多信息，并将 ADS - B 数据插值到与相机录制频率（24Hz）匹配的地面真实信息。对于边界框标签，每个录制的视频序列都有一个压缩文件，包含单个视频帧的标签文件，标签文件为文本文件，每行提供视频中飞行飞机的边界框信息、唯一跟踪 ID、飞机距离、制造商、类型和型号。边界框标签通过自动标注和手动标签验证 / 生成两个主要模块生成，自动标注模块首先使用深度学习的飞机检测和跟踪系统 AirTrack 获取初始边界框假设，然后将 3D ADS - B 数据投影到图像帧中过滤误报并提供初始位置估计，最后手动逐帧验证和修正标签。
2. 轨迹和天气数据后处理：原始 ADS - B 数据首先去除损坏和重复的数据点，然后根据海拔高度和与机场的距离进行过滤，通常选择海拔 6000 英尺平均海平面（MSL）和机场周围 5 公里半径范围内的数据。之后将数据从全球坐标转换为以跑道末端为原点的本地笛卡尔坐标，并将原始 METAR 字符串处理为相对于跑道的本地框架中的风速和风向，最后对所有代理的轨迹数据每秒进行插值，同时提供处理后的数据以及原始轨迹和天气数据。
3. 语音数据后处理：对原始录音进行过滤，要求音频片段长于 1 秒且最大分贝水平高于 - 20db，以去除错误录制和无语音内容的片段。经过过滤，KAGC 音频有 33289 个音频文件，共 2131.9 小时音频，其中 327.714 小时高于 - 20db；KBTP 音频有 8534 个文件，1242.9 小时音频，其中 149.9 小时高于 - 20db，总计 41823 个文件，3374.8 小时音频，477.6 小时高于 - 20db 的音频。

四、数据记录

TartanAviation 数据集存储在卡内基梅隆大学计算机科学学院维护的开放访问服务器上，可通过https://github.com/castacks/TartanAviation.git上的下载脚本进行下载，提供了支持样本和部分数据下载的 Python 脚本，且与平台无关。每个模态都有文档列出执行脚本所需的任何依赖项。

1. 图像数据：图像数据集分为 550 个独立序列，每个序列的视觉数据文件夹包含多个压缩文件，与特定相机录制相关。每个压缩序列文件夹包含多种文件，除视频文件和标签外，还提供每个序列的 ADS - B 数据。
2. 轨迹和天气数据：为每个机场提供原始和处理后的数据，原始数据按采集日期分别存储在单独文件夹中，每个原始数据文件夹包含 CSV 文件，其字段在相关表格中有详细说明；处理后的文件为逗号分隔的 TXT 文件，字段也在表格中进行了描述。
3. 语音数据：数据集中包含原始和过滤后的音频文件，过滤后的数据按位置、年份、月份和日期进行目录结构组织，每天的数据单独压缩，包含 WAV 格式的音频文件和一个文本文件，文本文件记录音频片段的开始、结束和总时间。

五、技术验证

为确保数据集的可靠性，对每个数据模态采用了特定的验证方法。

1. 图像数据：通过展示示例图像和定量结果来验证，示例图像突出了照明条件、季节、云层覆盖、云层高度和飞机类型的变化，定量结果展示了飞机类型、云层高度和云层覆盖的分布情况。例如，单引擎陆地（SEL）飞机在数据集中占比 56%，56.4% 的图像无云，5.6% 的图像云层高度低于 2000 英尺地面高度（AGL），12.2% 的数据天空多云，6.4% 的数据有降水，12.4% 的数据能见度小于 10 法定英里。
2. 轨迹数据：通过绘制轨迹直方图来验证，展示了 KAGC 和 KBTP 机场的飞机占用频率，从直方图中可以清晰看到跑道几何形状对飞机轨迹的影响，以及不同机场的运营类型差异。KBTP 作为无塔台机场，有明显的左向交通模式，遵循联邦航空局（FAA）指南；KAGC 作为有塔台机场，除飞行学校外，还有医疗疏散直升机和商务喷气机交通，导致跑道的直线进出更多。
3. 语音数据：通过详细的频谱图分析验证，选择部分样本进行分析，确保关键语音频率得到充分捕捉。例如，从频谱图中可以明显看出飞行员说话和无线电静默的部分，在说话部分，0 - 3kHz 频段强度明显增加，而人类耳朵对 1 - 4kHz 频率高度敏感，研究表明该频率范围内的语音数据在清晰度方面具有较高准确性，验证了数据集中语音数据的有效性。

六、用法说明

在生成和后处理 TartanAviation 数据集时，数据组织格式被设计为易于被相关领域社区接受，便于与现有的数据加载器集成，用于基于视觉的小物体检测和轨迹预测等特定任务。论文发布的补充代码库中还提供了用于基于视觉的物体检测的 PyTorch 数据加载器。数据存储在高吞吐量服务器上，无付费墙或其他访问限制，提供的下载脚本可确保用户按指定大小下载数据集，便于在本地机器和大规模服务器上进行处理。该数据集的各个模态可以独立使用，也可以结合使用，不仅对语音到意图预测、物体检测和轨迹预测等现有任务的方法提出了挑战，还为在航空领域利用多模态数据开辟了新的途径。

TartanAviation 数据集的出现，为航空领域的研究和技术发展提供了丰富的数据资源，有望推动人工智能和机器学习技术在空管系统中的深度应用，助力自主飞行器在空域中的更广泛应用，为未来空中交通管理的智能化变革奠定坚实基础。