《InfoMat》：A tunable microwave absorption metamaterial inspired by moths evading bat detection
编辑推荐：
本文报道了一种受飞蛾规避蝙蝠探测启发的可调谐微波吸收超材料。研究团队利用4D打印技术制备了热塑性聚氨酯增强的导电聚乳酸复合材料，该材料具备优异的形状记忆性能和可重构变形能力。通过模拟飞蛾表面纤毛的弯曲形态，设计了仿生超结构单元，并结合多单元编码策略和深度Q网络进行高维形态智能优化，最终实现的5×5阵列在5.6–18 GHz范围内展现出宽带可调的微波吸收特性。这项工作为电磁吸收材料从静态设计向可重构智能化演进开辟了新途径。
摘要
在当前无线技术飞速发展的背景下，环境中的电磁辐射变得复杂且难以控制。传统电磁材料在制备后具有固定的响应和性能，难以满足可重构和多频段防护的需求。受飞蛾通过表面纤毛弯曲来规避蝙蝠声纳探测的启发，本研究引入了一种具有宽带和可调谐微波吸收特性的超材料。在材料体系方面，采用聚氨酯弹性体增强导电聚乳酸基体，平衡了4D打印复合材料的力学性能和形状记忆性能，以满足多物理场下的形状可重构需求。在结构设计上，实施了多单元编码策略以扩大吸收调控的维度。在优化方法上，提供了深度Q网络高维形态智能优化设计方法。最终制备的5×5阵列在5.6–18 GHz范围内实现了宽带、可调的微波吸收效果。本工作展示了电磁吸收从静态设计向可重构智能化演进的新路径。
1 引言
随着第五代及未来第六代通信技术、毫米波雷达和高功率电子设备的快速发展，电磁波频谱的利用进入了新阶段。频谱的扩展在显著增加信号带宽和传输速率的同时，也导致了严重的电磁干扰和健康风险。这提升了对更有效、更可控的电磁波抑制技术的需求。直接的解决方案是使用电磁波吸收材料，包括介电损耗材料（如石墨烯、碳纳米管、炭黑）或磁损耗材料（如铁氧体、氧化铁、纳米合金）。然而，对这些MAMs的优化通常涉及通过原子掺杂、界面构建、形貌调控和多相复合等方法来控制介电常数和磁导率等电磁特性。难以根据外部电磁污染的强度来切换吸收状态。此外，传统的MAMs通常以涂层形式应用，易受环境温湿度变化影响，且不能拉伸或弯曲，进一步限制了其在极端环境或可穿戴设备中的实用价值。因此，如何制备结构功能一体化的MAMs以实现宽带、动态可调的吸收性能已成为一个关键问题。
为应对宽带和轻量化吸收的挑战，厘米尺度的宏观超材料设计已成为研究热点。宏观吸收超材料通过控制电磁波在结构表面和内部的传播，克服了天然材料的理论吸收极限。实践中，多谐振单元的组合是一种常见的设计方法。通过排列或堆叠具有不同谐振频率的多个单元，实现多峰互补吸收。此外，基于渐变阻抗的梯度阵列设计可以在轻量化条件下增强宽带和多角度吸收的鲁棒性。然而，超结构吸收体的研究历史相对较短，经验性设计方法的研究深度不足。相比之下，自然界中的生物结构经过数百万年的自然选择已近乎完美。从自然界汲取设计灵感已成为开发新型吸收结构的重要途径。受飞蛾复眼启发，研究人员开发了多层设计，创造了能够进行红外、雷达和可见光吸收的多波段隐身器件，该结构在8.04至17.88 GHz范围内实现了宽带吸收效果。然而，这些超结构吸收体在制备后表现出固定的电磁响应，无法适应复杂的动态电磁场环境。
受实际应用中对可调谐吸收体需求的驱动，通过外部场刺激（热、电、磁等）控制电磁行为的动态调整已成为研究重点。加载PIN二极管是构建可调谐吸收体结构的有效方法。Lee等人报道了一种基于PIN二极管的电可调谐吸收器件，实现了吸收频带从8.45–9.3 GHz到9.2–10.45 GHz的切换。通过改变PIN二极管的导通状态来切换电阻，从而改变电磁响应状态。然而，额外元件的引入会带来寄生电容，削弱衰减能力。基于此，一种通过外部场刺激发生可控变形且无寄生参数的新型智能MAMs受到关注。然而，这种具有复杂结构设计和外部场刺激响应的材料需要新的制造工艺。4D打印技术应运而生，它利用具有智能响应特性的材料，基于传统3D打印技术构建吸收结构单元。通过外部场刺激，材料能主动改变其几何形态和内部电磁参数。这种新型的4D打印智能MAMs是下一代可重构吸收器技术的有力候选者。同时，将4D打印与超材料设计相结合以动态调控电磁响应的研究尚未探索，集成化、智能化、多场、多模式自适应的4D打印超结构尚未开发。
在本研究中，我们介绍了一种具有可调MA特性的4D打印仿生超结构吸收体。通过响应外部场的变化，它可以改变自身形状，实现在C、X和Ku波段的动态电磁响应。该4D打印仿生超结构动态吸收体的设计灵感来源于飞蛾规避蝙蝠声纳探测。飞蛾通过表面纤毛的弯曲实现对声波的有效吸收。通过控制纤毛的弯曲程度，我们可以动态调控电磁波。为确保结构的可重构变形稳定性，采用TPU增强具有形状记忆特性和高电损耗特性的CPLA基体。该4D打印复合材料在可重构力学性能和形状记忆性能之间取得了平衡。引入了外部电场，使复合材料在电场刺激下表现出可控的焦耳热效应和形状记忆行为。随后设计了类飞蛾纤毛结构来调控MA性能。在研究不同纤毛弯曲角度对电磁波的调控效果后，对不同形态单元进行编码以最大化调谐范围。基于变形形态，多单元编码策略将阵列从1×1扩展到2×2，再到5×5阵列。为确保目标MA性能的合理有效优化，我们提出了一种深度强化学习Deep Q-Network高维形态智能优化设计方法。通过与环境的交互来设计最优的MA性能。最终，4D打印的仿生超结构5×5阵列在5.6–18 GHz频率范围内实现了动态可调的MA效果。我们的工作展示了一条智能动态可调吸收结构的技术路径，推动了电磁兼容技术向可编程、可重构和智能化方向发展。
2 结果与讨论
在自然界中，探测与反探测是一种古老而普遍的进化现象。不同的生物群根据其生存环境和需求进化出了不同的探测与反探测系统。蝙蝠类探测型生物在捕食过程中进化出了主动声纳系统，它们从喉咙发出高频超声波（20–60 kHz）。当超声波遇到物体时，会反射回来并被蝙蝠耳朵和鼻子上的特殊结构接收。通过分析发射波与回声的差异，它们可以精确判断前方物体的位置、大小、形状、结构和运动速度及方向。这种回声定位系统类似于典型双站雷达的原理，并指导了新型雷达技术的发展。在进化军备竞赛中，飞蛾进化出了隐身伪装系统，暂时在这场竞争中取得了胜利。我们以中华长尾蚕蛾为例，利用显微镜观察了其隐身伪装系统。由于声波探测首先遇到的是表面结构，飞蛾的表面结构决定了其隐身伪装效果。飞蛾的表面结构如图所示，可见其翅膀上覆盖着密集的、纤毛状的微观结构。弯曲后，纤毛近乎平行于翅脉和表面排列，形成一层薄薄的吸声超材料。Thomas Neil发现，表面的平行纤毛充当了平行阵列的吸声体，由许多相互连接的细长谐振器组成。当声波进入纤毛区域时，会经历多次散射、局域共振以及与空气微振动的耦合，不断转化为热耗散和粘性损耗以耗散能量，实现共振吸收效果。最令人惊讶的是，飞蛾翅膀将许多调谐在不同频率上的单独谐振器组装成一系列吸收体，共同创建一个宽带吸收体，可以充当声学超材料。
对于类飞蛾声波吸收体，在相同几何尺寸但不同形态配置下，表面纤毛表现出不同的声波传播和能量耗散路径。纤毛的弯曲和垂直排列导致波传输路径的变化。由于蝙蝠的回声定位系统与双站雷达原理相似，这启发我们基于飞蛾纤毛设计MA结构。类纤毛吸收体可以通过优化几何特征来调节散射、反射和共振，实现宽带吸收效果。遗憾的是，宽带吸收体的结构固定为单一的电磁响应模式，一旦制造完成就无法改变。与动物体表的固定结构不同，材料科学的进步使得在不同结构形状之间切换成为可能。我们对结构有了更多的调制空间。对类纤毛吸收结构单元进行动态处理，可以克服先前提出的宽带吸收体固定响应的局限性。如图所示，每个纤毛单元被抽象编码为三个值：-1, 0, 1，分别对应纤毛结构的左弯、直立和右弯状态。将单元合并为阵列层次进行可重构调整。在不改变材料或整体厚度的情况下，可以实现对吸收峰位置、带宽和入射角稳定性的可控调谐。类纤毛动态吸收结构的控制不仅需要结构编码，还需要材料创新以实现动态调整策略。
尽管飞蛾翅膀上的纤毛结构在超声波范围内具有反探测效果，但在雷达波范围内却不具备此种效果。这是由于未能有效控制材料的介电性能。材料的介电特性在很大程度上决定了其电磁响应能力。基于我们之前的工作，将高导电性生物质碳材料与聚乳酸混合形成复合材料CPLA，通过结构设计平衡高衰减率和低反射率，实现了宽带吸收。PLA是一种环保的形状记忆材料。然而，较高的脆性限制了其应用。可重构动态变形结构需要材料具有足够的柔韧性和回弹性。采用柔性且低电磁参数的TPU作为增强相，一方面可以增强复合材料的变形能力，另一方面可以改善阻抗匹配。因此，将高损耗的CPLA与不同含量的TPU混合，制备4D打印材料并调控材料的可重构效果。
FT-IR光谱显示复合材料的光谱对应于各组分光谱的加和，且没有其他明显的峰位移，这使得各组分的优势得以最大化，并展示了复合材料的通用性。由于TPU和PLA材料的特征温度不同，需要研究混合体系的特征温度。随着TPU含量的增加，总热流降低，整体热流呈下降趋势。TPU的柔软长链插入PLA的刚性分子链中，起到增塑剂的作用，增加了链段的流动性。这可能会降低PLA基复合材料的形状记忆效应，但反过来提高了PLA基材料在大角度弯曲下的韧性和延展性。此外，TPU的添加与复合材料的Tg、Tcc和Tm呈负相关。添加不同比例TPU的样品的断裂伸长率显著提高，而拉伸强度和弯曲强度略有下降。TPU在低温下提供了优异的弹性和延展性。当与PLA形成混合相容复合材料时，材料在加载过程中可以吸收和分散更多的应变能。在确保可重构结构的变形稳定性后，通过DMA研究了材料在不同温度下的响应。随着TPU含量的增加，样品的储能模量和损耗模量逐渐降低，而损耗因子呈上升趋势。然而，过高的损耗因子会导致形状记忆过程中能量损失过多，从而降低恢复效率。CPLA85TPU15表现出相对平衡的力学和形状记忆性能。结合DMA测试，可以确定材料的形状记忆激活温度约为65°C。
但由于TPU含量不同，样品表现出不同的形状恢复率。利用DMA设备的拉伸应力模式详细讨论了样品的4D打印性能。可以清楚地观察到，随着TPU含量的增加，形状记忆过程后的残余应变也增加。形状固定参数Rf和形状恢复参数Rr可以进行定量计算。随着TPU含量的增加，样品的形状固定率基本保持不变，但形状恢复率逐渐下降。这种变化是由于TPU的添加在高温拉伸过程中导致了不可逆变形，从而引起形状恢复率的下降。选择表现出力学性能和形状记忆性能平衡组合的CPLA85TPU15样品作为后续测试的最佳样品。图2J说明了这种热驱动4D打印材料的形状记忆循环过程。在这项工作中，PLA的玻璃化微区作为可逆相。达到相变温度后，PLA分子链从玻璃态转变为橡胶态。分子链发生拉伸和取向。冷却后，PLA回到玻璃态，将相变能量冻结在分子链内。TPU作为固定相和增强相，保持复合材料的整体形状稳定性。当再次达到相变温度时，PLA的分子链在熵弹性驱动下释放冻结的能量，导致整体形状恢复到初始状态。独特的热机械性能赋予复合材料热控变形4D打印特性。
此外，由于添加到样品中的生物质基高导电碳材料具有独特的介电响应特性，该材料具有多物理场控制变形的潜力。使用矢量网络分析仪测试了样品的介电响应特性。一系列样品的介电参数如图所示。根据Maxwell-Garnett模型可以观察到，随着TPU含量的增加，样品的导电网络在一定程度上被稀释。样品介电常数的实部和虚部呈现显著下降趋势。值得注意的是，介电常数的降低通常有助于降低反射率，从而提高电磁波进入材料并发生衰减的效率。通过计算波阻抗系数Z和反射系数Γ之间的关系，可以进一步揭示阻抗匹配特性。通过调节TPU含量，可以精细调节材料阻抗与空气阻抗之间的差异，从而在更宽的频率范围内实现更低的反射系数。此外，样品在不同板厚下的MA性能也显示出一定的改善。通过区分介电参数来描述电磁波损耗机制。虚部ε"可以分为电导损耗ε"c和极化损耗ε"p。结果表明，导电损耗在所有样品中起主导作用，而极化损耗作为增强衰减的补充因素。极化损耗主要是当材料受到振荡电场作用时，电荷载流子在材料内部的动态极化弛豫耗散电磁能。导电损耗是由传导电流通过电介质产生的。这种能量转换方式可用于实现外部电场和温度场的结合。电阻率测试表明，随着TPU含量的增加，打印样品的电阻率分别为33.11 Ω·cm、48.02 Ω·cm、62.73 Ω·cm和90.53 Ω·cm。此外，根据焦耳定律，可以精确计算材料电场与热场之间的转换关系。选择优化的CPLA85TPU15样品进行测试。图2M展示了材料在直流电压下的温度-电压-时间变化。可以观察到，随着电压的升高，样品的温度按有序梯度上升。最终，在25 V的安全电压下可以达到150°C的温度。一方面，这满足了电场的形状记忆功能，便于通过外部电场进行变形控制；另一方面，满足了寒冷环境下除雾除霜的要求。基于电压与温度的关系，选择25 V电压进行60秒加载测试。值得注意的是，经过多次直流电压加载循环后，样品仍保持优异的循环加热稳定性。这可以满足多次形状记忆应用的要求。使用红外热像仪验证了CPLA85TPU15样品焦耳热效应的动态演变。可以观察到，随着外部电场持续时间的增加，U形结构的表面温度从中心向两侧扩散。在30秒时，整体温度超过70°C，适合用作形状记忆开关。在50秒时，温度超过120°C，满足除冰和除雾要求。随后，在外部电场激活下，对不同TPU含量的样品进行了形状记忆测试。结果表明，样品的形状有一定程度的恢复，但都保留了轻微的曲率。随着TPU含量的增加，样品的形状记忆性能呈现逐渐改善的趋势。低电阻导致更高的电流流动，而过高的温度会削弱形状记忆效应并导致脆性增加。CPLA85TPU15样品在施加电场下的动态形状记忆效应过程如图2Q所示。到20秒时，形状恢复过程基本完成。这一系列过程清晰地描述了电场驱动的4D打印形状记忆恢复过程，不仅证明了温度扩散的空间均匀性，也表明该材料具有在多物理场下变形的潜力。
在超结构设计中，我们借鉴了自然界中飞蛾纤毛的多形态构型特性。将微观层面声波的宽带吸收机制转移到电磁波吸收领域。考虑到飞蛾纤毛在垂直方向上呈现细长、锥形的形态，最终设计如图所示。圆锥形结构在垂直方向上相对于空气的体积分数呈现阻抗梯度，有利于改善与空气的阻抗匹配。此外，由于该结构在实际应用中必须放置在导电金属层上方，导电金属和介电MAMs之间存在显著的阻抗差异。因此，仿生结构设计了一定厚度H的基底。该基底不仅作为结构支撑和变形承载平台，还在波传输路径中引入了额外的相位延迟和损耗通道。由于该仿生超结构的性能与其形状相关，根据材料变形约束设计了不同的弯曲角度（0, 50, 100, 150, 200, 250, 300度）。图S9显示了仿生超结构在不同弯曲配置下的等效阻抗。归一化输入阻抗的实部和虚部在很大带宽范围内保持接近1和0，表明与空气具有良好的阻抗匹配。更重要的是，随着弯曲角度的增加，阻抗曲线在多个频段表现出明显的优化趋势。特别是在低频段（2–5 GHz），输入阻抗实部和虚部的大小趋于接近理想的阻抗匹配条件。这与飞蛾纤毛弯曲防止声波探测的原理一致。当变形角度最大时，结构的阻抗匹配特性最优。为增强宽带MA性能，系统优化了300°弯曲下结构参数与MA性能的关系。基底板厚度H引起吸收效率的显著变化。H的增加会导致吸收峰向低频移动。圆锥顶底直径D1和D2主要影响C波段和X波段吸收峰的幅度。随着直径增大，吸收强度增加。但过大的直径会限制变形和恢复效率。圆锥高度B对整体性能影响较小。考虑轻量化设计和材料变形约束，优化参数为H = 2.5 mm, D1 = 2 mm, D2 = 6 mm, B = 12.5 mm。当弯曲角度为300°时，该配置在5.8–14.8 GHz和16.6–18 GHz实现了宽带吸收。
优化结构参数后，分析了结构变形-性能关系。图3B展示了不同弯曲形状的反射损耗曲线。可以观察到，随着变形角度的增加，仿生吸收体的吸收强度和峰值位置发生显著变化。在直立状态下，仅在8 GHz附近存在弱吸收峰。然而，随着结构变形，仿生吸收体在13 GHz和17 GHz附近表现出两个强吸收峰。此外，随着变形角度的增加，吸收幅度呈现正相关趋势。由于材料主要表现出介电响应，结构的变形响应机制可以通过功率损耗密度和电场方向来阐明。设置了场监视器来观察三个吸收峰位置的功率损耗和电场分布，研究结构电场变化与响应机制之间的关系。可以观察到，在低频时，损耗集中在仿生结构的底部边缘。结合电场方向发现，圆锥结构的强边缘衍射效应促进了该位置的电磁波衰减。随着频率升高，波长变短，入射到结构表面的电磁波形成一定角度并向不同方向反射。因此，在13 GHz和17 GHz时，仿生超结构上出现强功率损耗。随着变形角度增加，结构对电磁波的衍射效应也增强。当结构弯曲到一定角度时，电磁波从结构衍射到基底，增加了反射次数。这通过多次反射实现了调控MA性能的效果。使用图S11所示的架构系统测量了直立状态和最大弯曲角度的反射率进行验证。结果表明，由于打印误差，仿生吸收体的反射率与模拟值略有差异，但整体匹配良好。
此外，还研究了不同入射角下的MA性能。根据电磁场理论，当波斜入射时，还必须考虑横电波和横磁波的影响。图3E,F显示了在0°到60°范围内不同极化入射角下的MA性能。可以观察到，在TE极化下，材料的MA性能逐渐下降。但在0°–50°范围内仍能保持吸收稳定性。在TM极化下，随着入射角增加，MA性能呈现相反的趋势。这是由于纤毛结构变形后具有不对称特性。当波垂直入射时，结构沿纵轴具有较大的电长度，磁场失配导致显著差异。随着角度增加，电场分量减小，导致表面电流下降，电共振强度急剧减弱。由于角度增加导致等效电感减小，原始共振频率点发生高频漂移。磁场分量呈现聚焦增强，补偿了电共振的衰减，从而改善了MA性能。通过材料的4D打印效应，不仅可以调控垂直入射下的吸收性能，还可以控制入射角。
单个结构的形态变化对整体性能有显著影响。然而，在实际应用中，MAMs通常由多个结构单元组成，其尺寸和排列需要根据保护目标的形状和面积进行设计。因此，研究一定区域内结构单元的变化为性能调谐提供了更大的灵活性。基于先前对单个单元几何参数和形态的优化结果，定义了X个单元的阵列形态变化以研究性能调谐变化。首先，将单元阵列从1×1单元推进到2×2阵列。由于先前研究发现弯曲形态为300°时对性能影响最大，因此选择阵列中每个单元的运动模式为300°。每个单元定义为三种运动：-1、0和1，分别对应-300°、0°和300°的角度。运动状态总数为34，即阵列中每个单元变换三次后，有81种运动状态变化。这涵盖了从所有单元直立到所有单元完全弯曲的全部运动状态范围。然而，考虑到镜像对称和中心对称，81种动作状态中的某些共振特性是等效的。我们选择了16种动作状态进行比较，并使用传输线方法进行了反射率计算。发现与单胞相比，由于胞元间的相互作用，2×2阵列的MA性能更加多样化。可以清楚地观察到，随着单元内弯曲元件数量的增加，结构的MA性能逐步提高。当某些单元弯曲时，由于其自身形状，共振频率发生失谐。此外，相邻直立或相反弯曲单元之间的相位差和反射路径差可能形成新的干涉图样。这种模式叠加效应显著拓宽了吸收频带的可调范围，特别是在中高频段表现出更复杂的峰谷结构。
此处根据阵列结构的整体对称性选择了四种典型结构进行损耗特性分析，以揭示阵列中多胞元之间的协同损耗机制。计算了这五种结构在中心频率10 GHz下的功率损耗密度和电场分布。在[-1, -1, -1, -1]结构中，吸收性能较差。由于高度对称的几何形态，单元间的电磁相互作用较弱。吸收行为主要依赖于单个单元的固有共振，形成局域电场增强。单元间缺乏相互作用，导致功率损耗密度相对较低。MA性能受限于局域共振，导致带宽窄、吸收强度有限。相比之下，[-1, -1, 1, 1]通过打破部分对称性增强了功率损耗，导致MA性能略有改善。功率损耗密度在单元的侧壁和结构间隙处显著增强。偶极耦合效应初步出现，导致局域能量耗散增加。此外，对称性变化引入了相位差，导致相邻结构之间产生弱相位失配和电场扰动，进而发生一定程度的电磁波传播和散射。然而，打破这种垂直对称性显著增加了损耗。[1, 1, -1, -1]阵列模式使耦合机制超越偶极耦合，包括电四极和多极模式激发。这些结构形成高度协同的共振状态，其特征是在更广区域上的高损耗密度和复杂的电场干涉图样。由于增强的多极耦合机制，吸收效率和带宽都得到显著改善，使其成为协同共振增强吸收结构的典型例子。最终，[1, -1, 1, -1]结构通过彻底打破对称性实现了最佳的MA性能。单元间高度连续的边界使得电磁波能够在整个结构表面形成平面共振和耦合传播。这种协同损耗状态结构不仅在低频和高频段均保持高吸收率，而且在整个频率带宽内实现了性能平衡，显著扩大了可调范围并实现了最优的MA性能。
可以清楚地观察到，2×2阵列比单个单元具有更多的可调空间，单元间的耦合也产生了新的响应机制。将其升级为奇数阵列不仅会在几何上引入中心单元，还会影响结构的整体对称性及其电磁波控制能力。因此，将其升级为5×5阵列提供了更多的结构单元，结构变化范围从34种组合增长到325种组合，是指数级增长。这极大地扩展了材料性能调谐的自由度和适用性。5×5阵列包含25个单元，每个单元有三种可能的动作。为了找到最优解，需要搜索总共325≈ 8.47 × 1011种可能的组合，这远远超出了穷举搜索和传统优化方法的计算能力。为了解决这个困难的结构控制问题，使用了深度强化学习DQN智能体。无需大量预标记数据，即可自主发现高性能的形状调整策略，大大减少了对大规模模拟计算的依赖。通过使用DQN控制仿生结构吸收体的单个单元并实现可调的MA性能，可以将仿生结构吸收体的形状控制问题表述为基于马尔可夫决策过程的顺序决策问题。在此过程中，智能体与环境交互，通过状态转换和动作选择来最大化累积奖励值。用于仿生结构吸收体形状控制的MDP基本要素描述如下。S和A分别代表仿生结构吸收体中所有单元的状态集和动作集。仿生结构吸收体随时间变化的状态向量可以表示为：St= [s1, s2, ..., sN]，其中si是第i个单元的形状，N是所有单元的数量，在结构中设为25。此外，A(s)被定义为在状态s下可用的动作集合，包括动作a。at= [a1, a2, ..., aN]，其中ai是第i个单元的动作，智能体需要在每个时间步从A(s)中选择一个动作a来执行。第三个要素是状态转移矩阵，表示从当前状态和动作转移到下一个状态的概率分布矩阵。最后一个基本要素是奖励函数，它对在给定状态下执行的特定动作的结果提供即时评估。这项工作的主要目标是通过控制仿生超结构每个胞元的形态来实现目标RL值。在定义奖励时，第一个奖励值计算为上一时间步的RL值与当前RL值之差：R1= RLt- RLt-1。当R1为正时，表明当前动作使吸收体的MA性能更接近目标值，而为负值则表明相反。同时，为了防止变形集中在少数单元上，并促进所有单元的均匀变形以加速达到目标，必须引入额外的奖励值：R2= -std(s1, s2, ..., sN)。因此，奖励值的最终表达式为：R = R1+ λR2，其中λ是权重系数。
确定基本要素后，MDP可以描述为：在当前状态st下执行所选动作at后，根据状态转移概率P(st+1| st, at)获得新状态st+1和即时奖励Rt的过程。基于MDP和DQN的训练框架如图4F所示。具体的训练过程可以在支持信息中找到。此外，为了提高训练效率，采用了早停机制：如果经过10次迭代后没有观察到改进，则终止训练。完成后，实现最接近目标的吸收体最优形状。设置DQN的参数并开始迭代过程。先前的研究表明，该结构在14.8–16.6 GHz频率范围内响应较弱，RL > -10 dB（对应90%吸收率）。因此，将此设为第一个优化目标，DQN的平均目标值设为-10 dB。经过29次迭代
