基于GPU并行计算与多模态混合现实的田间RGB植被指数实时可视化框架

《Advanced Intelligent Systems》：Multimodal Mixed Reality for In-Field Visualization of RGB-Based Vegetation Indices

　　

田间环境下作物生理健康评估仍受限于离线数据处理或静态2D显示，制约了实时空间解译能力。本文提出一种新型混合现实（MR）框架，利用消费级头戴式显示器在农田中直接计算、归一化并可视化20种基于RGB的植被指数（VIs）。该平台通过并行GPU计算着色器处理实时相机流，并结合动态查找表（LUT）色彩映射，在四种面向任务的交互模态（沉浸式、屏幕式、扫描式、马赛克式）下提供情境化反馈。在Meta Quest 3头显上进行的田间定量基准测试表明，GPU并行化消除了严重的CPU处理瓶颈，在田间行进过程中维持运动稳定的刷新率（≥72 Hz）且零陈旧帧，以防止晕动症。为在缺乏实证人体受试者试验的情况下评估界面工效学，研究人员基于Nielsen的10项可用性启发式和符号认知维度（CDN）框架开展了理论可用性评估。评估证实，该交互设计有效平衡了高光谱信息密度与低认知负荷，并保持了无遮挡的外周危险可见性。本工作为精准农业中的实时空间计算建立了可扩展基础，实现了经济高效的原位作物分析。

**研究背景与问题**

多光谱植被指数长期是评估植物生理健康的主要工具，其中归一化差异植被指数（NDVI）最为突出，主要通过卫星影像、无人机及地面传感平台获取。地面测量常借助配备近红外（NIR）相机的移动机器人平台或手持光谱辐射计，提供高分辨率局部读数以补充广域卫星覆盖。另一关键多光谱指标——归一化差异红边指数（NDRE）利用红边波长评估后期冠层活力与氮素状态。作为更易获取且经济高效的替代方案，基于RGB的植被指数已在精准农业中获得应用。已有研究证实，基于RGB的指数与多光谱指标可捕捉一致的冠层空间格局，三角绿度指数（TGI）等公式与植物健康状况高度相关。然而，尽管RGB植被指数具有实用性，现有工作流程仍受限于离线数据处理或静态2D屏幕显示，在实时空间解译方面存在持续缺口。虚拟、增强与混合现实（VR/AR/MR）技术在精准农业中的集成为弥合该缺口提供了前景，但已有工作缺乏能够在用户物理视野内实时逐像素光谱计算与动态可视化的统一多模态空间计算框架。为此，研究人员提出一种新型实时MR框架，利用消费级头戴式显示器在农田环境中直接计算、归一化并可视化20种不同的RGB植被指数，通过并行GPU计算着色器处理实时相机流，提供四种面向任务的交互模态：沉浸式（360度环境叠加）、屏幕式（浮动平视显示器HUD）、扫描式（局部感兴趣区域扫描）和马赛克式（20指数并行比较网格）。该工作的主要贡献包括四方面：系统架构与GPU计算管线、任务自适应空间交互方案、田间定量基准测试、理论可用性与认知评估。

**关键技术方法**

研究人员在Unity引擎中实现软件管线，基于Meta XR SDK在Meta Quest 3头显上运行，利用头显板载计算架构与集成传感器套件（双高分辨率RGB透视相机、四个红外跟踪传感器、结构光深度传感器）执行双层透视渲染。核心技术方法包括：（1）GPU计算着色器管线，将逐像素植被指数评估、动态范围归一化及LUT色彩插值卸载至并行GPU线程组执行；（2）动态查找表色彩映射，采用连续红-黄-绿色LUT将归一化指数值映射为RGBA颜色向量；（3）四种空间交互模态的渲染架构，沉浸式与扫描式采用原生透视管线在头显合成层上直接应用3D LUT，屏幕式与马赛克式采用计算着色器管线并行评估；（4）基于双手柄滑块的实时归一化边界（V_min、V_max）重校准机制。田间实验在加利福尼亚大学河滨分校柑橘研究中心（农业试验站，美国加州河滨市）开展，于正午直射阳光下由佩戴Meta Quest 3的操作员穿越柑橘林进行连续田间行进测试。

**研究结果**

**系统设计与需求**：研究人员提出五项核心系统设计需求（DR1–DR5），包括动态光谱范围归一化、任务自适应可视化模态、态势感知与田间安全、实时渲染与运动稳定性、硬件并行与处理效率， governing the MR框架架构，平衡计算效率、交互灵活性与空间感知。

**植被指数计算与色彩映射**：为满足DR1，处理管线将实时RGB相机输入转换为20种不同植被指数的标准化彩色映射视觉表示。采用连续红-黄-绿色LUT，将高植被活力映射为鲜绿色、中度胁迫或衰老映射为黄色、裸土或严重生理胁迫映射为红色。每个计算像素响应I_raw通过线性缩放动态归一化至标准区间[0,1]，归一化标量值采样256条目1D颜色纹理，alpha通道控制渲染植被指数彩色叠加层与底层真实世界相机透视的混合不透明度。

**多模态空间交互方案**：为适应不同操作需求（DR2）并防止视觉疲劳（DR3），框架提供四种空间交互模态：沉浸式模式通过头显立体透视相机将360度动态空间叠加投影至物理环境；屏幕式模式在操作员空间视野内渲染2D浮动HUD，保持外周视野物理透视不受修改；扫描式模式实现局部用户引导扫描窗口，操作员通过操纵杆在特定植物上操纵空间感兴趣区域框；马赛克式模式以4×5比较网格同时显示全部20种植被指数图。空间控制条集成双手柄滑块用于归一化边界实时重校准、模态切换操纵杆快捷键及透视不透明度调节，按需辅助窗口可切换显示指数定义与数学公式。

**GPU计算着色器管线与渲染引擎**：为实现DR4与DR5，逐像素植被指数评估、动态范围归一化及LUT色彩插值卸载至并行GPU计算着色器。渲染架构通过两条管线路径执行：原生透视管线在沉浸式与扫描模式下将3D LUT直接应用于头显原生合成层，宿主CPU管理LUT纹理更新与滑块参数调整，板载GPU在帧合成期间直接应用体积颜色变换；计算着色器管线在马赛克与屏幕模式下于GPU计算着色器上调度并行线程组，每个线程独立评估活跃植被指数表达式、执行动态范围钳制计算并直接在VRAM内采样LUT纹理。

**田间性能评估与基准测试**：在Meta Quest 3头显上跨四种可视化模态记录六项定量参数。原生透视模式（沉浸式与扫描式）实现最优性能，维持稳定73 Hz帧率与零陈旧帧，仅消耗775 μs应用GPU时间与22% GPU利用率。基于CPU的屏幕模式（无着色器）出现严重处理瓶颈，逐像素植被指数串行CPU循环使帧率降至43 Hz并产生30个陈旧帧，应用GPU时间达18 565 μs、GPU利用率达99%。将逐像素植被指数计算卸载至GPU计算着色器（屏幕着色器与马赛克着色器）成功缓解该瓶颈，GPU线程组并行执行将帧率稳定性恢复至72 Hz且零陈旧帧，尽管高密度多窗口布局使应用GPU时间增至2446 μs、GPU利用率增至37%，资源利用仍远在硬件热预算之内，证实了GPU计算着色器并行化对实时空间数据渲染的必要性。

**视觉质量与动态范围敏感性**：动态归一化框架允许操作员通过操纵杆控件实时重校准上（V_max）下（V_min）归一化边界。提高V_min将下光谱边界移向红色调，突出严重叶片胁迫或裸土斑块；降低V_max将上光谱边界压缩向绿色调，增强高活力冠层区域对比度。马赛克模式下执行每指数固定边界以保持20个并行指数面板间统一相对缩放。

**理论可用性评估**：在缺乏实证人体受试者试验的情况下，研究人员采用Nielsen的10项可用性启发式与CDN框架开展结构化评估。启发式评估表明，界面强调H1（系统状态可见性）与H8（极简设计），维持轻量空间HUD不遮挡外周物理透视，从而保障操作员安全（DR3）；H5（错误预防）在着色器层面通过数值保护与钳制归一化执行，防止极端光照条件下视觉伪影生成。CDN分析聚焦五个核心维度：可见性与并置性（马赛克模式优化并置，同时渲染全部20种指数实现即时跨指数比较）、扩散性与二次符号（扫描与屏幕模式将伪彩色渲染限制于局部视口）、隐藏依赖与角色表达性（空间辅助窗口明确链接每个缩写与数学表达式及物理通道分量）、过早承诺与渐进评估（操作员可以沉浸式模式启动广域调查，切换至扫描模式检查特定冠层异常，打开马赛克模式比较指数而不丢失田间物理位置）、困难心智操作与粘滞性（实时V_min与V_max滑块调整配合即时视觉色彩映射反馈，消除高粘滞性并卸载操作员认知负担）。综上，理论评估表明所提出的多模态MR界面有效平衡了信息密度与低认知负荷。

**讨论与结论**

本研究提出一种实时MR框架，利用消费级头戴式显示器在农业田间环境中直接计算、归一化并可视化20种基于RGB的植被指数。通过专用LUT执行逐像素光谱变换，平台在四种面向任务的交互模态下提供情境化视觉反馈。田间定量基准测试表明，将逐像素计算卸载至并行GPU计算着色器有效消除了严重CPU处理瓶颈，维持显示速率刷新跟踪（≥72 Hz）与零陈旧帧，以保持视觉运动稳定性并缓解操作员田间行进中的晕动症。虽然与农业利益相关者的直接实证用户测试超出本初始技术论文的主要范围，但用户评估代表了本研究建立的基础框架所启用的关键未来工作。研究人员采用Nielsen的10项可用性启发式与CDN框架开展了理论可用性评估，结构化评估证实空间交互设计有效平衡了高光谱信息密度与低认知负荷及无遮挡外周危险可见性。未来工作将沿三个关键维度扩展平台范围与分析能力：首先，将轻量NIR传感器集成至头显装置以实现包括NDVI和NDRE在内的多光谱指数实时计算；其次，与农学家、田间技术人员和种植者开展正式人体受试者试验，以实证量化田间条件下任务完成速度、空间决策准确性与视觉疲劳；最后，整合时空数据融合与自动光照补偿算法，支持多时相作物健康比较同时减轻户外环境条件的视觉影响。