基于强化学习的认知物联网人本准入控制资源流通框架

《Internet of Things》：A Cognitive IoT Currency Framework for Human-Centered Admission Control via Reinforcement Learning

　　

**摘要**

物联网设备在日常生活中的日益普及对人类认知能力带来了挑战，因为它们需要大量注意力，可能降低用户表现和幸福感。当前的物联网系统仅关注技术效率，而未考虑人类认知状态。本文提出了一种新的框架，利用认知货币来衡量和管理与物联网设备交互的心理健康成本，认知货币包括注意力代币、专注积分和认知负荷单元。强化学习引擎使用深度Q网络（DQN）和表格Q学习来允许、延迟、聚合或抑制请求，以平衡任务表现和认知健康。该框架通过合成模拟和真实数据集使用十种训练种子进行了评估。在没有认知负荷恢复的情况下，DQN在模拟中将软过载步数减少了100%，在真实数据上减少了99.5%。数字孪生过载惩罚机制使得学习到的策略能够提供比无保护基线更少的总请求数（每个回合7.0对比9.7，以及7.7对比12.5），但高优先级请求的份额约为基线的1.7至2.3倍。基于阈值的启发式方法消除了过载，但每个回合仅提供1至4个请求，而DQN在有一定过载的情况下可提供多出4至6个请求。在负荷和注意力恢复条件下，事件感知聚合启发式方法与DQN竞争强劲，后者的奖励在不同设置下存在差异。队列扩展表明，恢复机制鼓励DQN使用延迟和聚合，尽管它提供的请求数少于无记忆条件下的情况。

**引言**

物联网（IoT）设备的快速增长使家庭、工作场所和城市高度实现了仪器化，智能传感器、执行器和通知系统不断代表其人类用户工作。行业预测估计，全球物联网终端设备装机容量将在未来十年内达到数百亿级别[1]，每个设备都可能生成通知、警告和交互请求，竞争人类注意力。虽然这种互联互通带来了极大的便利性，但它也对生活在这种环境中的个人的认知资源构成了结构性压力。干扰并非唯一问题，根据认知科学研究，活动之间的注意力切换在持续表现、错误率和反应时间方面会产生可量化的成本[2]。当持续超过个人阈值时，累积认知负荷——即所有并行心理需求的总和——会降低决策质量和幸福感，频繁的中断会打断最具生产力的深度工作时间[3]、[4]。然而，目前人类被物联网中间件和应用框架视为被动端点；通知传递仅由信道容量和设备端逻辑控制，对于接收者在传递时刻的认知状态没有正式模型。

本文解决了物联网系统中平衡技术优化和以人为中心的交互这一挑战。它探讨了物联网系统是否能学习动态准入控制策略，在保护用户认知能力的同时维持任务吞吐量。基于代表人类认知资源的三货币钱包（注意力代币（AT）、专注积分（FC）和认知负荷单元（CLU）），本文提出了一个使用强化学习（RL）智能体管理物联网交互的框架[5]、[6]。该系统通过测量和执行认知预算约束来优化任务传递与认知保护之间的平衡，使用认知负荷理论[7]、[8]。严格的准入控制门控执行绝对认知预算约束，而运行在门控之上的RL策略学习任务传递与认知保护之间的最优权衡。

本文四项主要贡献的第一项是认知货币模型，它使用统一的定量变量来量化每次物联网交互对人类认知成本。第二项是认知感知RL准入控制引擎，它同时使用表格Q学习基线和深度Q网络（DQN）来构建四动作策略空间（允许、延迟、聚合、抑制）。第三项是双轨管线，除了合成泊松过程模拟之外，还对真实智能手机通知数据集进行了全面重放。最后，对奖励函数权重、数字孪生参数、聚合折扣和负荷恢复率的敏感性分析展示了这些选择如何塑造过载-吞吐量权衡。

本文其余部分组织如下。第2节综述了认知负荷建模、物联网中间件和基于RL的资源管理的相关工作。第3节提出了正式框架模型和算法方法，包括RL表述、准入控制门控和双轨仿真设计。第4节呈现并讨论了实验结果和分析。第5节总结了局限性和未来方向的讨论。

**文献综述**

本工作基于认知负荷理论（CLT），该理论最初由Sweller提出，后来在教育心理学、人机交互（HCI）和神经科学中得到扩展[7]。CLT识别了三种认知负荷：内在负荷，源于任务的复杂性；外在负荷，源于信息呈现方式；以及必要负荷，通过图式发展支持学习。在物联网环境中，设备通知主要贡献于

**方法论**

所提出的框架建模了一个包含N个物联网设备集合的环境，记为??={??1,??2,?,????}，它们持续生成针对M个人类用户集合??={?1,?2,?,???}的交互请求。时间被划分为离散时隙（??=1,2,?,??），每个时隙代表一个通知事件。对于每个用户h和时间步t，系统维护一个认知钱包Wh(t)，编码用户认知资源的实时状态。学习的策略π观察Wh(t)并决定

**实验与结果**

本节通过三个正式实验组和两个仿真轨道对所提出的框架进行了结构化评估。三组分别针对无保护基线作为参考下限、数字孪生模块的独立贡献，以及四种准入控制架构之间的直接对比。

**结论与未来工作**

本文提出了一种用于以人为中心的物联网准入控制的认知货币框架。它基于认知负荷理论将心理资源建模为三货币钱包（注意力代币、专注积分、认知负荷单元），使系统能够计量通知的认知成本。在合成和真实通知流上使用十种种子和配对统计进行评估，学习的DQN策略将软过载步数减少了100%（轨道A）和99.5%（轨道B）

**作者贡献声明**

Yousry AbdulAzeem：原稿撰写、软件、形式分析。Aboul Ella Hassanien：监督、项目管理、概念化。

**利益冲突声明**

作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。

Yousry AbdulAzeem | Aboul Ella Hassanien
埃及吉萨第六十月城十月花园科技与创新城计算科学与人工智能学院，邮政编码12578