《Optics and Lasers in Engineering》：Image-free three-dimensional human pose estimation based on single-pixel imaging with extremely low sampling rate
编辑推荐：
本文提出基于单像素成像（SPI）和MMPose架构的无图三维人体姿态估计方法，通过哈达玛德变换与深度学习直接从低采样率信号提取3D姿态信息，消除原始图像重建需求，有效解决数据量大和隐私泄露问题，实验验证其在30米距离下自然光条件下仍保持高精度。
刘宇松|吴欣|周成|姚电雷|张启毅|黄继鹏|孟彦丽|宋丽军
中国吉林省长春市东北师范大学物理学院，邮编130024
摘要
三维（3D）姿态估计比二维姿态估计具有更强的位置信息获取能力，广泛应用于行为识别、人机交互、运动分析等领域。目前基于图像的人体姿态估计技术存在大量数据采集需求和隐私泄露风险，限制了其在安全敏感场景中的适用性。单像素成像（SPI）可以从一系列一维测量数据中获取图像、颜色及无需图像的关键信息。虽然已有基于SPI的二维姿态估计方法，但更具应用价值的无图像三维姿态估计研究仍大多未被探索。因此，为了解决这些问题，我们提出了一种利用SPI和MMPose架构的无图像3D姿态估计方法。该方法结合了基于哈达玛变换的SPI技术和深度学习算法，能够在无需完整图像重建的情况下直接从低采样率测量信号中提取3D人体姿态信息。在Human3.6M数据集上的仿真实验表明，即使在采样率为的情况下，也能准确预测3D人体姿态。实际实验在自然光照条件下，该方法在30米距离内的有效性也得到了验证。这种方法消除了对原始图像重建的需求，从而从源头上杜绝了隐私泄露风险，并大幅降低了数据传输和存储的开销。这项研究为医疗康复监测和智能安全监控等隐私敏感场景提供了高安全性和低成本的解决方案。
引言
人体姿态估计（HPE）作为计算机视觉领域的一个基础研究方向，近年来受到了学术界和工业界的持续关注[1]。该技术的核心目标是从视觉数据中准确识别和定位人体关键点，并构建相应的人体结构模型。其研究成果对医疗保健、运动科学和人机交互等多个学科产生了深远影响[2]。特别是3D人体姿态估计（3D HPE）技术专注于从图像或视频序列中精确预测人体关键点的3D空间坐标。其突破性进展对推动各行业的智能化转型和升级具有重要意义。
目前，人体姿态估计技术呈现出多样化的发展趋势，不同成像设备在不同应用场景中具有明显的优势。由于RGB相机在常规照明条件下的广泛可用性和技术成熟度，它们成为大多数日常应用的首选[3]，[4]。然而，这类设备在低光环境（夜间或昏暗环境）下的光敏度显著下降，导致图像质量恶化，从而影响人体姿态检测的准确性。尽管近红外（NIR）相机可以通过主动发射NIR光和反射信号分析在夜间实现清晰的人体检测[5]，但其高昂的成本大幅增加了系统部署成本，阻碍了大规模实际应用。
HPE技术的广泛应用场景显著加剧了传统方法固有的隐私风险。传统HPE技术通常需要对主体进行连续的高分辨率成像；在公共空间和住宅环境中普遍部署时，个体的敏感生物特征数据（面部特征、身体轮廓）在数据采集和处理过程中容易意外暴露。这种隐私泄露风险不仅限制了HPE在隐私敏感场景中的适用性，还加剧了公众对个人数据安全的担忧，成为进一步技术改进和大规模应用的重要障碍。
单像素成像（SPI）系统凭借其非传统的成像机制和技术优势，为传统相机和热成像相机在低光环境中的局限性提供了有效解决方案。通过单像素探测器捕获反射光信号，并利用压缩感知等算法重建图像，SPI克服了传统光学成像的基本限制，实现了在红外、太赫兹和紫外线等特殊光谱带的高效性能[6]。此外，SPI系统还具有多种优势：硬件成本远低于基于阵列探测器的系统，光谱响应范围覆盖非可见光带，操作简单且抗环境干扰能力强，能够捕捉超高动态范围的场景，并具有较高的信噪比和抗散射能力。因此，SPI技术在不牺牲性能的情况下满足了多样化的成像需求，展示了广泛的应用潜力[7]，[8]，[9]，[10]。
近年来，单像素成像技术取得了新的进展[11]，[12]，[13]，[14]，[15]，[16]。研究人员开始探索将SPI与加密技术相结合的新范式[17]，[18]，[19]。这种混合方法在物体识别和图像分割等高级视觉任务中展示了显著优势[20]，[21]，[22]，[23]，[24]，[25]，[26]，为安全光计算挑战提供了创新解决方案。深度学习（DL）的快速发展显著推动了端到端HPE的发展，实现了从原始图像数据直接预测3D人体姿态而无需中间处理阶段。然而，现有的基于DL的方法在隐私保护和计算效率之间仍存在权衡。因此，在保证高精度的同时降低计算开销并保护用户隐私已成为一个关键的研究方向。
基于上述研究背景和当前技术现状，本研究提出了一种基于单像素成像的低采样率、无图像的三维人体姿态估计方法。该方法将无图像单像素成像技术与深度学习算法深度集成，直接从低采样率的二维图像数据中重建三维人体姿态信息，从而避免了传统的全图像重建需求。这种创新方法在确保人体姿态估计准确性的同时，有效降低了隐私泄露风险，为安全敏感场景提供了高效、可靠且新颖的姿态估计解决方案。广泛的实验验证表明，该方法即使在低采样率条件下也能实现高精度的人体姿态估计，凸显了其重要的理论和实践意义。
方法部分
方法
所提出方法的核心思想是直接利用单像素探测器获取的检测信号进行3D人体姿态估计。该方法主要包括两个关键组成部分：（1）基于阵列的单像素图像采集；（2）基于深度学习的姿态估计算法。
仿真
为了验证所提出方法的有效性，我们在公开可用的Human3.6M数据集上进行了仿真。
实验
为了验证所提出方案的有效性，构建了一个基于哈达玛编码的单像素成像系统。该系统的核心组件包括：加载预设哈达玛编码模式的数字微镜装置（DMD）；收集来自DMD的调制光场的会聚透镜；捕捉目标场景光学信号的相机镜头；以及获取由DMD调制的光信号的单像素探测器。
如图4(b)所示，蓝色光束表示
结论与讨论
本研究提出了一种基于单像素成像的低采样率、无图像的3D人体姿态估计方法。通过将单像素成像与哈达玛变换和深度学习模型相结合，该方法实现了从低采样率单像素测量数据直接推断3D人体姿态的新目标。该方法有效解决了传统方法在数据采集需求和隐私保护方面的局限性。
CRediT作者贡献声明
刘宇松：撰写——原始草稿、数据整理、方法论、可视化。吴欣：撰写——审阅与编辑、方法论、监督。周成：撰写——审阅与编辑、方法论、资金获取、监督。姚电雷：撰写——原始草稿、数据整理、方法论。张启毅：撰写——原始草稿、数据整理、方法论。黄继鹏：资金获取、监督、验证、撰写——审阅与编辑。孟彦丽：资金获取、监督，
致谢
本工作得到了国家自然科学基金（62301140）；中央高校基本科研业务费（2412024QD005）；以及吉林省教育厅（JJKH20250305BS, JJKH20250302KJ）项目的支持。
