基于人类期望的球面全景图合成数据集生成及其在智能家居物体检测中的应用

本文提出了一种基于人类期望的智能家居物体检测数据集构建方法，并利用通用生成模型（如DALL-E 3和ChatGPT-4）生成球面全景图（equirectangular panoramas）合成数据集SPHEREA。研究通过增强提示词（prompt enhancement）策略，显著提升了合成数据的内容丰富度及其在物体检测模型训练与测试中的实用性，为智能家居环境下的算法验证提供了新范式。

　　

Highlight

• •
  一套基于人类期望的家庭环境物体检测数据集要求。
• •
  SPHEREA：一个通过两种提示方案生成的精心验证的新型合成数据集。使用我们的人类驱动要求作为提示增强，在数据集内容和物体检测算法性能方面均表现出优越性。
• •
  对PANDORA的额外标注：我们为PANDORA提供了新的标注，使其内容与人类驱动的要求保持一致，并解决了原始标注的不足。
• •
  合成数据与真实数据的综合分析——内容比较以及在不同数据组合上训练的物体检测模型的评估。

与现有工作和数据集相比，我们研究的新颖性不仅在于发布了有价值的资产，即一个新的合成球面全景图像数据集和一套针对广泛使用的PANDORA数据集的领域特定标注集，还在于结构化的数据集创建流程和支撑它们的系统化定义的标签集。该框架展示了如何将期望驱动的标签设计一致地应用于生成新资源和重新标注现有资源，从而在家庭室内环境中实现更有针对性和更有意义的基准测试。此外，通过对PANDORA数据集进行标注，我们说明了我们的方法论支持超越我们数据集的重用，允许研究人员和实践者将这些标签应用于全景和矩形室内图像。最后，我们的系统评估提供了关于这种方法优势的观察，展示了知识引导的标签构建如何能够带来更丰富的物体多样性和更有效的物体检测评估场景。

Conclusions

我们建立了一套基于人类期望的、用于家庭环境物体检测的球面全景图数据集的实用要求。这套要求可用于创建标注集和数据集基准测试。我们还提出了一种数据生成方案，该方案利用通用生成模型和收集到的要求集进行提示增强来创建合成数据集。我们检验了使用提示增强对数据集内容和物体检测性能的影响，特别强调了与真实世界数据的一致性。使用我们的要求来增强生成方案中的提示词，可以产生更丰富的数据内容，以及更具挑战性的测试和更高效的训练数据集。

Limitations

本研究的一个显著局限性可能在于依赖于涉及主观判断的手动数据集过滤。然而，这种方法是最准确的，并且最符合人类期望，特别是在考虑受访者在该领域的专业水平时。另一个重要因素是调查参与者的数量，这可以进一步增加。在本研究中，我们能够纳入15名领域专家，代表了最易接触的群体。虽然...