学习微调策略：一种考虑情感因素的无模型强化学习方法用于节能

《Proceedings of the ACM on Human-Computer Interaction》：Learning to Nudge: Affect-Aware Model-Free Reinforcement Learning for Energy Conservation

　　摘要
人工智能总结：要查看此由人工智能生成的总结，您需要拥有高级访问权限。了解更多信息并登录。

摘要
数字能源反馈系统通常会发送固定、统一的消息，忽视用户的情感状态，从而降低长期效果。我们提出了一种具有情感感知能力的无模型强化学习框架，用于实现个性化的能源反馈提示。该系统在经典的MAPE-K循环基础上加入了情感-行为解耦架构（ABDA），能够同时处理情感信号（通过实时面部情绪识别）和行为线索。通过根据用户的情感状态及历史交互数据来决定何时、以何种方式以及发送何种提示，该系统无需预先编程规则即可自主调整干预措施。我们在模拟的智能家居控制面板中实现了这一方法，并进行了受控实验室研究。结果表明，与非自适应的基准方案相比，具有情感适应能力的反馈能提升用户的积极情感体验并保持持续参与度。此外，这种自适应方案还能增加用户接触与节能相关的提示次数，进而提升用户的能源意识。我们将家庭能源节约作为该技术的应用场景，而要证明其对能源消耗的直接影响，则需要开展纵向实地研究。本文的贡献包括：其一，提出了用于混合情感-行为自适应的ABDA-MAPE-K设计；其二，开发了一种无模型强化学习智能体，能够从数据中挖掘出个性化的提示策略；其三，通过实证研究证明了情感敏感型自适应方案在提升用户参与度和提供节能相关提示方面的优势。

人工智能总结（实验性）：此总结是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及便于相关领域的读者理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对该总结的准确性、清晰度及实用性发表意见，您的反馈将有助于改进未来的总结版本。要查看此由人工智能生成的通俗语言总结，您需要拥有高级访问权限。

1 引言
家庭能源消耗约占全球温室气体排放量的26%，在总电力需求中也占据重要比例[13]。因此，减少居民能源使用是《巴黎协定》和《欧洲绿色协议》等国际可持续发展战略中的核心内容[4, 8]。尽管建筑能效提升和可再生能源基础设施的技术进步至关重要，但行为因素仍然是降低家庭能源需求的关键手段，却往往被忽视[14]。为提高用户意识，人们开发了各种能够提供能源反馈、消费统计及个性化建议的数字界面，但很少有系统运用情感或动机设计策略来促进用户持续保持环保意识[11, 23]。情感计算领域的最新研究表明，情感状态会显著影响人们对系统反馈的感知与反应方式[11, 23]。当用户处于压力状态或认知负荷过重时，即使是出于好意的提醒也可能引发抵触情绪而非配合行为。相反，当用户处于接受状态且积极投入时，及时的激励则有助于培养他们的环保习惯。尽管有这些证据，大多数能源反馈系统仍按固定时间表发送统一消息，完全不顾及用户的情感状态和即时反应能力。在人机交互领域，激励策略被视为一种替代以信息为中心的反馈方式。激励是指对选择结构进行适当调整，引导用户选择期望选项，同时不限制其自主性[30]。技术驱动的激励策略通过默认设置、框架设计或社会比较等方式影响用户的决策过程[11, 16]。在可持续发展研究中，这类激励策略已被用于推动用户减少能耗、更高效地使用电器或积极参与节能计划[8, 14]。然而，有研究表明，静态的、缺乏情境意识的激励策略往往会因习惯化、信息疲劳或情感疏离而逐渐失去效果[11]。

当前的能源反馈系统面临双重挑战：一方面要在具有说服力的沟通与尊重用户自主性之间找到平衡，另一方面还要根据用户在动机、情感及所处情境方面的差异进行适配。现有的个性化方法要么依赖手动设定的规则进行适配[16]，要么仅关注消费模式而不考虑情感状态[18, 25]。目前还不存在将实时情绪识别与强化学习相结合，以实现具备情感智能的自适应能源激励方案的研究。本文正是为弥补这一空白而提出的，它介绍了一种具有情感感知能力的无模型强化学习框架，用于实现个性化的能源反馈激励。该框架能够根据用户的情感状态和行为模式，自动调整激励的时机、形式及强度。之所以采用无模型架构，是因为它可以直接从用户交互数据中优化策略，无需事先定义行为模型——而在需要人类参与的系统中，由于个体反应差异极大，很难预先建立模型。该框架以家庭能源节约作为应用场景，致力于实现情感感知型的反馈适配，而要证明其对能源消耗的直接影响，则需要开展纵向实地研究。

本研究主要有三方面贡献：
(1) 提出了一种具有情感感知能力的激励框架，它在MAPE-K自适应系统架构的基础上加入了情感-行为解耦架构（ABDA），从而实现情感信号与行为信号的并行处理，同时保持各功能模块的独立性。
(2) 开发了一种无模型强化学习智能体，能够自主从用户交互数据中学习个性化的激励策略。
(3) 通过受控用户研究证明，与静态反馈方案相比，具有情感感知能力的自适应方案能提升用户的主观参与度，以及与节能相关的行为表现（如对相关提示的接触频率和能源意识）。

本文的结构如下：第2节回顾了数字激励、情感计算以及用于自适应界面的强化学习等相关研究；第3节介绍了基于情感感知的能源反馈应用场景，并阐述了相应的激励策略；第4节介绍了所提出的框架及其学习机制；第5节描述了研究方法，包括参与式设计、原型开发及评估流程；第6节详细介绍了系统的实现方式，第7节汇报了评估结果；第8节探讨了研究的意义、局限性及伦理问题，第9节分析了可能影响研究有效性的因素；第10节总结了全文，并提出了未来研究的方向。

2 相关工作
关于自适应且节能的用户界面研究涉及多个领域，包括数字激励、情感感知系统以及强化学习。本节将逐一梳理这些领域，并指出促使我们提出这种具有情感感知能力的无模型强化学习框架的研究缺口。

能源通信渠道：家庭能源界面已从简单的静态计量表发展为能够实时显示能源使用情况的动态反馈系统。Froehlich等人[14]证明，生态反馈界面能够提升用户的反思能力和意识。这类系统充当了居住者与能源消耗之间的沟通桥梁，因此有效的反馈和恰当的呈现方式对于维持用户的持续参与至关重要。Allcott[4]和Berger等人[8]进一步表明，通过比较或规范性的方式呈现能源消耗信息，能够显著影响家庭的能源使用行为。然而，大多数通信系统仍然仅限于传递信息，无法根据用户的情感状态或反应能力调整反馈内容。

激励理论：激励理论源自行为经济学。Thaler和Sunstein将激励定义为选择结构中任何能够预见地改变用户行为、但不禁止某些选项或不会显著改变经济激励的因素[31]。激励利用的是人们快速、直觉化的思维方式，而非刻意、费力的推理过程[12]，它借助了诸如默认设置、框架设计或社会认同等认知启发式和偏见[19]。在数字环境中，同样的原理也适用于界面设计元素，比如默认设置、及时提醒或规范性比较，这些元素都可以引导用户的决策。多项实证研究列举了多种激励机制，并强调了社会激励和默认激励在各个领域的有效性[8]。理论研究也表明，当用户缺乏动力或认知负荷过重时（即处于“启发式模式”），激励的效果最佳。因此，自适应系统可以通过在用户参与度较低或处于压力状态时给予激励，从而提升其效果。在我们的研究背景下，这些分类为系统提供了激励分类体系，帮助系统根据用户状态选择合适的干预方式，比如强调社会比较或简化信息呈现。值得注意的是，伦理准则将善意的激励（透明且获得用户同意）与具有操纵性的“暗黑模式”区分开来，这也体现了我们设计时对用户自主性和透明度的重视。

数字激励：数字激励指的是在数字环境中利用界面设计元素来引导用户决策，同时不限制用户的自由选择权[30]。Caraban等人[11]系统地总结了人机交互领域中23种技术驱动的激励方式，区分了诸如信号激励和强化激励等不同机制，这些机制依靠反馈的时机和情感显著性来维持用户的参与度。这些分类将行为经济学原理应用到交互系统中，为富有说服力的界面设计提供了结构化的术语体系。在注重可持续发展的交互设计中，激励策略已被用于通过界面框架设计、社会比较和生态反馈等方式来促进用户的节能行为。Berger等人[8]证明，智能家居应用中的数字框架设计和默认设置能够显著影响用户的能源消耗行为。Froehlich等人[14]则对生态反馈系统进行了基础性综述，说明了数据呈现方式如何影响用户的反思和意识。尽管取得了这些进展，大多数系统仍然采用固定的信息结构和统一的干预时间表，未能考虑到用户在情感、动机和反应能力方面的差异。这一局限性被认为是阻碍长期行为改变的重要因素[11]。

情感与行为改变：情感在人们如何感知和回应反馈方面起着重要作用。情感计算和行为经济学的研究表明，情感状态会影响人们的注意力、自我调节能力以及亲社会行为[10, 15, 24]。在数字激励的背景下，Caraban等人[11]指出，信号激励和强化激励正是利用情感显著性和及时反馈来维持用户动机的机制。尽管如此，大多数与能源相关的激励系统仍然依赖固定的时间表或通用的消息模板，完全忽视了用户的情感状态。现有框架中缺乏对情感的敏感个性化处理，这是一个长期存在的缺陷。

近期的交互设计研究开始着手解决这一问题。Alipour等人[2]提出了一种以情感为导向的界面适配方法，将情感理论与界面设计需求相结合。他们的框架将情感适配定义为将检测到的情感状态与相应的界面变化之间建立映射关系。在此基础上，Alipour等人[3]又提出了Emoticontrol，这是一种基于强化学习的系统，能够根据用户的情感状态来调整界面设计。这些研究表明，情感状态可以作为个性化交互的情境信号，但目前尚未被应用于能源节约领域。

个性化：强化学习为序列决策提供了计算框架，已被用于优化系统控制策略和用户交互策略。在可持续能源管理领域，强化学习已被用于需求响应管理、暖通空调系统控制以及能源消耗优化[18, 25]。强化学习能够从经验中学习，无需依赖明确的模型，因此非常适合用于那些行为动态难以预测的人机交互场景。与基于规则的适配方法相比，强化学习在工程应用上具有两大优势。基于规则的系统要求设计者提前列出所有适配规则，这种方法适用于偏好稳定的情况，但一旦用户反应变得不稳定或因人而异，该方法就不再适用。而强化学习可以直接从交互数据中学习这些映射关系[3]，因此更适用于那些用户偏好多样且会随时间变化的情境。

最近的研究还将强化学习应用于界面个性化领域。Sun等人[28]提出了一种自适应用户界面框架，该框架利用数据驱动的强化学习根据用户反馈来选择最优的界面配置。情感也被视为强化学习智能体中的调节信号，有助于提升系统的适应性及类似人类的表现[20]。这些进展表明，无模型强化学习可以作为一种自适应激励机制，使系统能够学习到既能提升用户参与度又能保证其舒适度的个性化干预策略。Alipour等人[3]进一步证明了情感线索可以融入到由强化学习驱动的界面适配中，进一步证实了情感感知型个性化方案的可行性。

自适应系统与反馈回路设计：自适应系统通常是基于明确的反馈回路来设计的，这些反馈回路将被管理的系统与负责适配的引擎分开。MAPE-K是这类反馈回路中最常被引用的参考结构，已有大量研究探讨了如何对基于MAPE-K的设计进行建模、验证及一致性维护[5, 17, 21, 33]。分布式和模块化的反馈控制模式则进一步强调了功能分离以及适配决策的可追溯性[34]。我们的研究正是建立在这些工程理念之上，即将用户情感视为一种首要的适配信号，并提供了一种具体且可复用的模式（ABDA），用于将情感感知功能整合到MAPE-K框架中，同时避免其与行为优化功能相互干扰。

总结：在上述各个领域中，仍然存在一些局限性。数字激励框架往往缺乏动态个性化功能；情感计算系统很少结合基于强化学习的适配机制；而基于强化学习的控制架构也极少考虑情感背景。本文提出了一种具有情感感知能力的无模型强化学习框架，能够根据用户的情感状态来调整激励的时机和形式。

3 应用场景：面向家庭能源节约的情感感知自适应激励
本节介绍了所提出的具有情感感知能力的强化学习框架的应用背景。同时，也阐述了智能家居环境下的应用场景，在这种环境下，能源反馈的自适应设计能够弥补传统静态生态反馈系统存在的诸多缺陷。静态系统与自适应系统之间的差异不仅在于提供何种信息，还在于信息的传递时间、方式以及是否适时传递[2]。情感感知式自适应机制能够根据用户的接受度调整反馈时机，从而减少习惯化现象和抵触情绪，同时在恰当的时刻增强用户的参与度[1]。该控制面板被设计为一种持续存在的背景界面，而非用于主动设置能耗管理的工具。它的目的是支持用户偶尔快速查看信息——比如用户经过显示屏时、从某项任务中返回时，或简要查看能耗情况时。其目标是让这些时刻的信息更具实用性、更少干扰，并更好地匹配用户当前的情绪状态。情感感知式自适应机制确保用户与能耗反馈的少量互动都能在恰当的时机以合适的呈现方式展开。

3.1 场景描述
该系统被部署在模拟的典型家庭环境中。中央控制面板向居住者展示实时能耗数据、对比分析结果以及自适应提示。该面板作为用户与能源系统之间的主要沟通渠道，有助于实现双方的信息互通与行为反思[8]。
该系统运行在模拟的智能家居环境中，能够模拟常见的家庭能源使用场景。控制面板展示四类信息：通过折线图和柱状图呈现的历史能耗数据，展示每日及每周的能源使用规律；通过Elpris开放访问API获取的实时电价所衍生的情境经济信息，这些信息能体现时间变化，为节能行为提供真实的决策依据；将家庭能耗与规模、地理位置及季节相似的家庭进行对比的反馈信息，以此提供社会参照标准；还有通过日常事物将抽象的能源数值转化为具体概念的情境解释。这类解释针对的是生态反馈设计中一个普遍存在的问题：由于缺乏对电能的直观认知，用户往往难以理解千瓦时的数值[14]。为弥补这一理解差距，系统会给出易于理解的类比，例如“您今天的能耗（8.5千瓦时）足够为850部智能手机充电”，或者“您消耗的能源足以让冰箱运行三天”。这些情境化解释会根据能耗大小以及用户的熟悉程度动态选择，内容涵盖智能手机充电次数、电器运行时长、电动汽车的续航里程，以及常见产品中的蕴含能量等。通过将抽象的测量值转化为具体且与个人相关的对比，这些“趣味事实”有助于用户建立准确的能源规模概念，便于理解能耗反馈，同时通过多样性和关联性保持用户的兴趣。

该自适应控制面板会持续监测情境因素与情感信号。通过Elpris公司的API获取的实时电价能体现时间变化，同时通过与类似家庭的能耗对比以及经济层面的关联，为节能行为创造真实的决策环境。面部表情分析则用于获取情感状态信息，从而使强化学习算法能够实时调整其反馈策略。
与传统提供固定信息的控制面板不同，该系统会发送具有不同语气、频率和呈现方式的自适应消息。例如，当系统检测到用户参与度低或处于消极情绪状态时，通知会变得极少且风格中性；而在用户处于积极情绪状态时，带有视觉提示的激励性消息则会鼓励其继续节约能源。这些设计策略通过计算学习策略实现了“信号传递”与“强化激励”[11]的功能。

3.2 实际应用示例：自适应机制的具体表现
我们通过一个典型的交互场景来说明自适应机制的实际运作方式。
场景一：18点10分，用户下班后打开控制面板。情感分析模块检测到主要是负面情绪的面部表情（如悲伤/愤怒的间接指标），且用户的操作较为简单，停留时间也很短。算法于是选择了一种低干扰的操作方式：将显示方式切换为简化的能耗可视化界面，采用中性色调的背景，同时不显示可选的“趣味事实”信息。这样做的目的是避免引发用户的抵触情绪和认知负担，同时仍确保用户能够获取核心信息。
19点05分，同一位用户再次打开控制面板。此时情感分析模块检测到的面部表情转为中性或积极状态，用户开始仔细查看分析界面。算法便调整为提供更多信息的操作方式：启用详细的能耗图表，根据当天的能耗水平展示相应的趣味事实类比，并用非警示性的颜色突出显示具有参考价值的对比信息（如“高于类似家庭水平”）。用户花费更多时间探索界面，还调整了模拟设备控制设置，从而降低了后续模拟家庭的整体能耗。这个场景体现了ABDA原则：情感因素主要决定信息呈现的时间和方式（如干扰程度、复杂度、强调重点），而行为情境则决定展示哪些信息（即界面内容和对比项）。

3.3 系统要求与配置
该原型设计为可在普通家庭环境中的消费级硬件上运行。唯一的传感器需求是一台标准网络摄像头，它可以内置在笔记本电脑中，也可以外接使用，用于面部表情分析。能耗数据的获取方式取决于家庭现有的条件：如果有智能电表，系统可直接读取家庭层面的实时能耗数据，如果电表支持，还可以进一步区分不同设备的能耗情况；如果没有计量设备，系统则通过Elpris开放访问API获取实时电价，再运行一个家庭能耗模型，该模型会根据价格信号和用户操作做出响应，从而在没有物理电表的情况下也能提供真实的决策依据。所有的情感感知与策略计算都在普通的台式机、笔记本电脑或低成本单板计算机上本地完成，系统运行无需依赖云服务或外部计算资源。这降低了部署成本和安装难度，对于那些因预算限制或物理安装条件限制（如出租房、保障性住房、小型办公室）而难以采用智能家居技术的环境来说尤为重要。

3.4 学习与自适应过程
每个交互周期都始于获取当前的情感与行为状态st，该状态结合了能耗指标、时间、电价等情境变量，以及通过FaceAPI.js进行的面部表情分析所检测出的用户情绪状态。情绪状态被表示为一个向量，其中每个元素代表用户当前基于面部表情所感受到的特定情绪的强度。
之后，MFRL算法会根据其所学的策略选择一种反馈动作at，从而确定控制面板更新的内容和呈现方式。动作范围包括内容选择（决定展示哪些类型的信息）、呈现方式（通过颜色和动画强调关键内容）、通知的显著性（从被动提示到高优先级警报的不同层级）以及时机判断（立即显示、延迟显示或不予显示）。在通过更新控制面板界面执行完该动作后，算法会观察用户的反应，包括设备操作调整、交互模式（如停留时间和导航行为），以及随后反映对干预措施情绪反应的情感信号。
基于这些观察结果，系统会计算出一个奖励信号rt，用于评估本次交互的质量。该奖励反映了用户的参与度与情感匹配程度，即反馈的提供是否与用户的接受度相契合。当用户在积极或中性情绪状态下能够积极地回应反馈，表现为更长的交互时间、更深入的探索行为以及主动再次查看界面时，系统就会给予正面奖励。如果系统在检测到用户处于消极情绪状态时仍避免发送通知，且用户的情绪保持稳定或有所改善，这种克制行为也会得到奖励。相反，如果在用户处于消极情绪状态时发送反馈，而用户很快就忽略它或表现出更强烈的消极情绪，那么该策略就会受到惩罚。这样的奖励机制促使算法不断探索能够长期维持用户参与度和自愿配合的沟通策略，学会何时发送反馈、何时不予反馈，以及如何以用户认为有用而非烦人的方式呈现信息。
算法通过表格型Q学习不断优化其策略，维护一个记录状态-动作价值Q(s, a)的表格，这些数值代表了预期的累积奖励。参数更新则通过时间差分学习来实现，利用经验元组?st, at, rt, st + 1?，并结合epsilon-贪婪探索策略，在利用已知有效的行动方案与探索潜在更好替代方案之间取得平衡。随着时间的推移，该策略会逐渐形成个性化的策略。先前的研究已经表明，在有人参与的场景中，强化学习策略能够兼顾系统目标与用户的参与度[18, 20]。通过直接交互，学习过程能够发现用户特有的偏好：有些用户喜欢频繁收到简短的提醒，而有些则更倾向于定期获得汇总信息；有些用户觉得社会比较能激励自己，而有些则更关注个人进步；有些用户在早晨进行日常活动时更愿意互动，而有些则更喜欢在晚上进行反思。通过直接交互了解这些偏好，系统能够实现静态规则方法无法达到的个性化功能。

3.5 伦理考量
伦理问题是情感系统设计中不可或缺的部分。我们的设计理念注重隐私保护：所有情感数据都会在本地进行处理，并在汇总之前进行匿名化处理。该控制面板遵循说服性技术相关的透明性与知情同意准则[16]。在初始设置阶段，系统会向用户明确说明情感适应性机制的运作原理，解释面部表情是如何影响反馈的时机和呈现方式的，并给出系统可能采取的自适应行为的实际例子。用户可以随时停止实验。这些措施确保了该系统在伦理层面与当前情感计算和可持续人机交互领域的讨论保持一致。
在用户控制与治理方面，为保障用户的自主权并避免出现具有操纵性的“暗黑模式”设计，我们提供了明确的用户控制选项：用户可以随时关闭摄像头，限制自适应提示的频率和显著性，还可以切换到“最小化自适应”模式，该模式下仅限制信息密度的变化，而不改变视觉风格。控制面板还会显示“为何我会看到此内容？”的说明，告知用户是哪些高层级信号（如界面情境、情感指标）影响了当前的调整决策。

4 方法论
本研究的核心假设是，将情感感知能力与个性化强化学习相结合，能够帮助系统持续维持用户对能耗反馈的关注度。家庭能源节约被设定为该应用的具体领域。本节将阐述自适应过程、强化学习模型以及激励机制，这些共同构成了所提出框架的基础。

4.1 自适应过程：将ABDA与MAPE-K框架相结合
ABDA作为一种可复用的架构模式。ABDA（情感-行为解耦架构）是一种将情感感知功能集成到自适应交互系统中且不会使其与行为决策逻辑相互纠缠的模式。它的应用范围涵盖自适应循环中的分析与规划阶段，在这两个阶段中，它将情感因素与行为因素分别处理，然后在规划阶段对二者进行协调。该模式适用于任何需要情感信号来调节自适应措施的交付方式（如时机、干扰程度、呈现形式），而行为或任务信号则决定自适应措施的内容的系统。其应用领域不仅限于能源反馈，还包括健康行为辅导、学习平台以及公共服务界面等场景，只要这些系统需要在不受嘈杂情感信号干扰的情况下响应用户状态即可。ABDA适用于那些能够独立感知情感与行为、能够有意义地区分信息传递与内容呈现，且系统能够承受两个并行特征流带来的处理成本的场景。只要满足这些条件，该模式就可以在不同领域之间顺利应用。
该自适应过程是在MAPE-K参考模型基础上的扩展，MAPE-K模型源自自主计算领域的监控、分析、规划、执行流程，这些流程围绕一个共享的知识库展开[34]，该模型通常被用于构建自适应系统中的反馈循环[17, 33]。如图1所示，我们将ABDA嵌入到分析/规划阶段，同时保留了MAPE-K模型可审计的控制循环结构。这种混合架构结合了自适应控制的稳定性与情感计算以人为中心的思维方式，使系统能够同时适应用户的情感状态与行为模式。
图1. 基于情感感知的能源引导的ABDA–MAPE–K架构。这是一种在MAPE–K循环中整合情感与行为数据的增强型自适应框架。系统会分析来自两种输入流的情感与行为信号，并将其映射到推理与强化学习模块，该模块负责为自适应用户界面设计个性化的引导策略。
监控阶段：该阶段通过两种输入流从家庭环境中收集多模态数据。情感流通过FaceAPI.js库利用网络摄像头捕捉面部表情，该库能在浏览器中以大约两秒的间隔进行实时情绪分类。FaceAPI.js运用卷积神经网络来识别埃克曼提出的六种基本情绪（快乐、悲伤、愤怒、恐惧、厌恶、惊讶）以及中性状态，进而输出这些情绪类别的概率分布。这种在本地浏览器中进行的处理方式确保了原始视频帧不会离开用户的设备，从而解决了持续面部监控可能带来的隐私问题。情境流则用于跟踪用户的交互模式，包括当前处于哪个控制面板界面（能耗概览、设备控制、对比分析或目标追踪等），这样系统不仅能了解用户的情感状态，还能掌握他们当前的信息获取情境和任务焦点。在数据收集过程中，这些数据流保持解耦状态，通过独立的缓冲区分别存储情感历史和交互日志，以便进行独立分析。根据ABDA原则，分析阶段会对监控到的数据流进行处理，为强化学习智能体构建结构化的状态表示。情感分析从FaceAPI.js的输出中提取主导情绪类别，将用户的当前情绪状态表示为具有七种可能值的离散变量。情境分析则识别当前活跃的仪表板界面，将用户的当前关注点表示为对应于主要界面区域的四种可能值的离散变量。重要的是，分析阶段还会纳入当前的用户界面配置，追踪七项可控制的视觉与内容参数：字体大小（10种离散值）、背景颜色（8种值）、能耗图表可视化预设（2种值）、价格图表可视化预设（2种值）、情境能量数值或“趣闻”（5种值，代表不同类型的比较，如智能手机充电时间、家电使用时长、电动汽车续航里程、笔记本电脑使用小时数或冰箱使用天数）、主组件颜色（4种值）以及次级组件颜色（4种值）。这些配置参数能够反映系统近期的调整决策，从而使强化学习智能体能够从自身行为的后果中学习。综合状态表示st = (emotion, activeScreen, fontsize, bgcolor, cgraph, pgraph, funfact, primary, secondary)构成了一个规模为7 × 4 × 10 × 8 × 2 × 2 × 5 × 4 × 4 = 716,800种可能状态的离散状态空间。值得注意的是，我们以稀疏方式存储Q表（仅存储被访问过的状态），因此内存占用随观察到的交互多样性而增长，而非按照完整的笛卡尔积方式增加。

规划阶段则采用表格型Q学习智能体来选择界面调整方案。基于当前状态st，智能体会查询将状态与动作价值对应起来的Q表，选择预计累积奖励最高的动作。动作空间包含35种离散动作，每种动作都对应将某个可控制的UI参数调整为特定值（10种字体大小调整、8种背景颜色调整、2种能耗图表预设调整、2种价格图表预设调整、5种趣闻类型调整、4种主颜色调整以及4种次级颜色调整）。这样的动作结构既能够让界面呈现实现精细控制，又能保持适合表格法处理的有限离散动作空间。Q表以Python字典的形式实现，将状态元组映射到动作-价值向量，从而具备动态扩展性：无需重新构建整个Q表即可新增状态变量或动作，有助于系统的迭代优化与灵活部署。这种基于字典的表示方式还便于实现无状态REST API架构，客户端在每次请求中都会发送完整的状态描述，服务器则在不保存会话特定数据的情况下执行Q表操作，从而支持多用户之间的共享学习。

选定的动作会通过基于React的Web应用——自适应仪表板界面来实现，该应用通过REST API与后端的Q学习智能体进行通信。当出现需要调整的情况时，无论是系统定期检查还是用户主动访问仪表板，前端都会将当前状态（来自FaceAPI.js的用户情绪信息以及当前的UI配置）发送到后端。后端查询Q表并返回动作说明，指出需要修改哪个界面参数及其目标值。随后前端通过React状态更新来实现相应变更，平滑地调整视觉元素，避免出现可能干扰用户体验的突兀变化。在调整应用之后，前端会继续监测面部表情，捕捉用户对界面变化的情绪反应，并将更新后的情绪数据反馈给后端，用于计算奖励值并更新Q表。

共享的知识库则存储着Q表、情绪基准值、历史奖励函数、学到的策略、情境日志、透明度记录以及UI参数。这一数据库通过迁移学习实现了长期的个性化设置以及跨用户间的通用化处理。通过持续更新情感与行为特征，系统能够逐步形成稳定且针对特定用户的反馈策略。通过遵循ABDA-MAPE-K原则对系统进行架构设计，不仅实现了功能的模块化分离，还促进了各部分的协同适配。情感特征与情境特征提取的解耦避免了噪声较大的情绪分类结果影响界面配置的决策过程，而规划阶段的明确协调机制则帮助Q学习智能体找到最适合特定情绪-情境组合的界面调整方案。这样的设计提升了系统的可靠性与可解释性，同时还将软件工程中的模块化原则与认知科学中关于双进程推理的理论相结合，形成了既技术上稳健又概念上连贯的设计方案。

ABDA理念也体现了认知科学中的双进程理论[15, 27]，即直觉型、由情绪驱动的推理与刻意型、以目标为导向的推理并行存在。情感与行为数据流分别对应这两种推理模式，而“情感作为信息”理论[26]则提出了情绪虽能影响决策但不应主导决策的原则，这正是ABDA协调机制所体现的内容。

4.2 强化学习框架

每个状态st ∈ S都是一个包含用户情感状态、交互情境以及当前界面配置的9元组：st=(emotiont,screent,fontt,bgt,cgrapht,pgrapht,primt,funft,sect) (1)，其中emotiont ∈ {happy, sad, angry, fear, disgust, surprise, neutral}表示检测到的用户情绪状态，screent ∈ {overview, controls, analytics, goals}用于标识当前活跃的仪表板区域，其余六个变量则用于描述当前的UI配置。该状态空间的规模为|S| = 716,800，足以细致地体现用户状态与界面呈现之间的差异。这种离散状态表示方式既适合用于表格型Q学习方法，又具备足够的表达能力，能够涵盖各类相关的情境变化。

4.2.1 动作空间

动作对应于对各个界面参数的单独调整。动作空间A包含35种离散动作，这些动作被分为七组：
•Afont = {将字体设置为v值：v ∈ {10, 11, …, 19}}（10种动作）
•Abg={将背景颜色设置为c值：c∈{white, light-gray, blue, green, amber, red, dark_gray, black}}（8种动作）
•Acgraph = {将能耗图表设置为g类型：g ∈ {simple, detailed}}（2种动作）
•Apgraph = {将价格图表设置为g类型：g ∈ {simple, detailed}}（2种动作）
•Aprim = {将主颜色设置为c值：c ∈ {blue, green, amber, red}}（4种动作）
•Afunfact = {将显示的趣闻类型设置为f值：f ∈ {smartphone, appliance, EV, laptop, refrigerator}}（5种动作）
•Asec = {将次级颜色设置为c值：c ∈ {blue, green, amber, red}}（4种动作）

这样的动作结构使得系统能够独立控制内容呈现方式（如图表的详细程度）与情感风格（如颜色、字体大小），从而让智能体学会更为精细的调整策略。例如，智能体可能会发现，当用户感到沮丧时，通过简化图表样式并采用柔和的颜色来降低视觉复杂度，有助于提升用户的参与度；而当用户处于积极情绪状态时，则可使用更为详细的展示方式与鲜艳的配色。

4.2.2 奖励函数

奖励函数通过评估用户对界面调整后的情绪反应来衡量调整效果。在某个动作被执行且界面随之更新后，系统会观察用户之后的情绪状态，并根据情感的积极程度计算出相应的奖励信号。积极情绪（如快乐、惊喜）会带来正奖励，激励智能体继续采用能够引发良好反应的调整方案；消极情绪（如悲伤、愤怒、恐惧、厌恶）则会产生负奖励，阻止出现会导致不良反应的界面配置；而中性情绪则不会产生奖励，意味着既没有成功也没有失败。这种基于情绪的奖励机制实际上构建了一种隐式的用户偏好模型：系统无需依赖会增加用户负担的显式反馈机制，即可学会最大化用户的积极情绪体验。奖励的计算公式可表示为：rt={+1 if emotiont+1∈{happy, surprise} ?1 if emotiont+1∈{sad, angry, fear, disgust} 0 if emotiont+1=neutral} (2)。这种奖励设计在简洁性与有效性之间取得了平衡：既强化了积极的用户互动，又避免了负面反应，从而使智能体能够了解用户对于界面呈现风格的个性化偏好。由于情绪推断本身存在噪声，奖励值是根据经过时间平滑处理且经过置信度筛选后的情绪替代指标计算得出的，同时我们还会记录原始数据与过滤后的数据，以便后续进行分析（见4.2.5节）。

4.2.3 学习算法

智能体采用表格型Q学习[32]来近似最优的动作-价值函数Q*(s, a)，该函数表示在状态s下采取动作a并遵循最优策略之后所能获得的预期累积奖励。Q表以Python字典的形式实现，将状态元组映射到动作-价值向量：Q-table:S→R|A| (3)，其中每个条目Q-table[s][a]=Q(s,a)存储的是在状态s下采取动作a的预估价值。动作的选择遵循ε-贪婪探索策略：at={argmaxa∈AQ(st,a) with概率1??，从A中随机选取一个动作的概率为?} (4)，其中?用于控制探索与利用之间的平衡。最初?设为1.0，以确保对状态-动作空间进行充分探索，之后则会逐渐减小，按照?t = max(0.01, ?t ? 1 · 0.995)的规则变化，从而在逐步侧重于运用已学策略的同时，仍保持一定程度的探索，以跟踪不断变化的用户偏好。在每次交互之后，Q表会通过时间差分学习规则进行更新：Q(st,at)←Q(st,at)+α[rt+γmaxa′Q(st+1,a′)?Q(st,at)] (5)，其中α = 0.1为学习率，用于控制更新步长；γ = 0.95为折扣因子，用于体现未来奖励的重要性。鉴于状态空间较大且用户交互频率有限，学习率被设定得较为保守，以确保算法能够稳定收敛。较高的折扣因子反映出界面调整会对用户体验产生持久影响，因此未来的情绪状态对于当前决策而言具有很高的相关性。这种时间差分学习方法使得系统即便面对稀疏的交互数据也能高效学习，因为每次用户互动都会提供多个状态-动作-奖励的转换实例，逐步优化Q表的预估值。

4.2.4 无模型推理依据

之所以采用无模型推理方式，是因为它能够在无需预先定义行为模型的情况下，直接根据用户交互数据来优化策略。在人类参与其中的系统中，要准确模拟用户对于特定界面配置的情绪反应是不现实的：由于人们在审美偏好、认知风格以及情绪反应能力方面的个体差异，会导致不同的反应模式，这类差异难以用参数化模型来描述。表格型Q学习则通过让智能体直接通过实际体验来学习状态-动作价值，从而发现有效的策略，无需假设特定的反应模型。这种数据驱动的方法尤其适用于情感适应性调整，因为在这类场景中，用户的反应会受到个性、情绪、情境以及近期交互历史等多种复杂因素的影响，而这些因素很难在显式模型中得到完整体现。同样的数据驱动思路也适用于与上下文强盗问题的对比分析。在上下文强盗问题中，智能体会根据当前情境选择动作并立即获得奖励，但它会将每次决策视为相互独立的事件。而在本系统中，当前的UI配置属于状态的一部分，因此之前的决策会影响后续的状态发展。折扣因子γ = 0.95恰恰反映了这种长期影响：智能体会意识到，当前的界面调整会影响到未来可能出现的状态，以及哪些调整方案在未来会更有效。而传统的强盗问题模型则无法体现这种时间上的关联性。

4.2.5 学习诊断、稳定性与工程权衡

为何在考虑情感因素的人机交互系统中，收敛性分析并非易事。在满足充分探索条件且学习率设置合理的情形下，表格型Q学习在有限马尔可夫决策过程中确实存在经典的收敛定理[32]，即只要无限次地访问某些状态-动作对，并采用逐渐减小的学习步长，算法就能实现收敛。然而，考虑情感因素的交互系统却违背了这些基本假设：用户的反应具有非稳态特性（如习惯化、学习效应、疲劳现象），情绪推断信号存在噪声，而且系统对环境的观测也是不完全的。因此，我们的目标并非证明算法能够达到渐进式的最优解，而是要展现其在实际应用中的工程稳定性，即在真实的交互场景下仍能维持稳定的策略表现，同时保持较低的计算开销[29]。

我们所采用的诊断方法。为了评估学习的稳定性与实际适用性，我们采用了三类诊断指标：
D1）价值更新稳定性。我们会计算在时间窗口t内的一组更新数据Bt对应的平均绝对TD更新幅度ΔQt=1/Nt∑(s,a)∈Bt|Qt+1(s,a)?Qt(s,a)|，如果ΔQt的值持续下降并趋于平稳，就说明所学到的策略价值已经趋于稳定。
D2）策略变动频率。我们会统计在频繁被访问的状态上，贪婪策略所选择的动作发生改变的频率：Churnt=Pr{s～V[argmaxaQt(s,a)≠argmaxaQt?1(s,a)]}，其中V表示被访问状态的经验分布。如果策略变动频率较低，就说明系统的适应行为较为稳定。
D3）资源消耗与延迟限制。对于每一个决策周期，我们都会测量两点：其一为从UI请求发出到后端响应返回的端到端动作选择延迟；其二为稀疏Q表的记忆占用情况，即系统中实际存在的状态数量以及存储的Q值数量。由于我们的动作空间是固定的（|A| = 35），因此每一步的动作选择操作的时间复杂度为O(|A|)，而每次状态更新的操作时间也为常数级；相比之下，影响系统性能的主要因素则是情绪推断的频率以及UI元素的渲染速度。

工程上的权衡及其影响。我们的设计涉及到多项明显的权衡：首先，离散化处理与表达能力之间的平衡——对UI参数与情感参数进行离散化处理虽然可以提高设计的可解释性与易维护性，但也会增加混淆现象的出现概率；其次，探索行为与用户体验之间的平衡——ε-贪婪探索策略虽然有助于智能体学习新的策略，但也可能暂时降低用户体验质量，因此我们需要对探索行为设置上限，并通过监测策略变动频率来控制探索程度；最后，稀疏表结构与函数近似方法之间的平衡——稀疏Q表虽然具有透明性，便于审计，但要求系统必须对足够多的状态进行访问。在长期系统中运行时，这些诊断指标可以帮助我们判断何时应该过渡到函数近似方法，同时依然保持ABDA框架所倡导的功能解耦设计理念。

在这项可行性研究的范围内，还有两个与状态访问相关的特点值得注意。首先，由于设计上的原因，该系统的状态空间规模非常大（共有716,800种可能的组合），但实际上只有极少部分状态会被实际访问到。状态访问主要集中在智能体在某一轮交互过程中会反复出现的配置，以及出现频率最高的情绪与界面组合附近。此外，由于实验环境的原因，每次交互的次数也受到限制，每位参与者在单次实验中的交互次数都是有限的。综合以上因素，我们可以看出，所学到的策略在状态空间中那些被频繁访问的区域得到了充分的支持，而在其他区域则支撑力度较弱。在已访问区域之外的泛化能力，以及对较少访问状态的鲁棒性，都是当前评估方法的局限，长期部署时需要解决这些问题。4.3 通过界面修改实现自适应引导该引导系统将强化学习智能体的决策转化为实时的界面调整，从而实现信号引导与强化引导机制[11]。信号引导通过在情感上恰当的时机展示能源信息来提高用户的意识，而强化引导则通过与之匹配的情感风格设计来鼓励用户持续互动。4.3.1 内容层面适配智能体通过调整信息密度以及预设的能耗与价格图表类型来学习如何优化展示内容。当用户表现出沮丧或压力等负面情绪时，智能体可能会选择简化后的图表可视化形式，以降低认知负荷，避免过多细节让用户感到不堪重负。相反，在用户处于愉悦或好奇等正面情绪状态时（可通过持续的互动和探索行为判断），智能体则会呈现包含更丰富信息的详细图表，利用用户此时的接受度加深其对能耗模式的理解。这种内容适配通过根据用户的认知与情感状态来调整信息传递时机，实现了信号引导的功能。4.3.2 展示层面适配智能体还通过调整字体大小和色彩搭配来优化视觉效果。在用户处于负面情绪状态时，背景颜色会变为柔和的蓝色或灰色；而在用户积极互动时，则会采用更为鲜艳的绿色或琥珀色。主次界面的颜色也能传递额外的情感信号：绿色象征良好的使用表现及环保效益，琥珀色表示需引起注意但无需惊慌，而红色（较少使用）则用于标注重要警报。字体大小的调整则能适应用户不同的注意力水平与视觉聚焦程度——在用户分心或处于负面情绪时使用较大字体，确保关键信息能够被注意到。这些展示层面的适配通过提供能引发情感共鸣的反馈来强化积极行为，从而实现强化引导功能。4.3.3 学习到的协调策略随着时间的推移，Q学习智能体会发现一些协调性的适配策略，将这些策略结合内容与展示层面的调整，针对特定的情绪与情境组合加以应用。例如，智能体可能会意识到，当用户在查看分析界面时处于愤怒状态时，有效的应对方式是同时简化图表可视化，并将背景颜色调整为低对比度的柔和色调，以此减少进一步的刺激。反之，当用户在概览界面时处于愉悦状态时，智能体则可保持详细的图表展示，并采用鲜艳且具有激励作用的颜色，以进一步强化用户的积极互动。这类多维度的策略源于智能体对各种行动组合的探索，它发现了内容与展示适配之间的协同效应，而这些效应是依靠人工规则设计难以实现的。4.3.4 通过提升用户互动度实现节能图表可视化元素（能耗图与价格图）决定了向用户展示哪些预设的能源数据可视化形式。其设计思路在于，通过在学习到在用户易于接受时提供详细的能耗信息，而在用户处于压力或认知超载状态时采用简化后的展示方式，从而增加用户关注能源反馈的可能性，避免他们放弃使用该系统。强化学习智能体并不会直接以降低能源消耗为目标进行优化。持续的用户互动是否能够转化为更强的心理模型、行为调整或内在的节能意识，这是一个需要通过实际应用来验证的后续问题。此处所采用的情绪感知型适配机制，旨在维持用户的互动积极性，避免因习惯化或反馈时机不当而导致用户失去兴趣。4.4 实施与部署考虑该系统专为在住宅环境中部署而设计，对基础设施的要求极低。所有组件均可在普通的消费级硬件上运行：用于捕捉面部表情的网络摄像头、用于运行后台Q学习智能体的本地计算机（台式机或树莓派），以及用于访问基于React开发的控制面板的网页浏览器。基于字典结构的Q表表示方式使得系统可以采用无状态REST API架构运行，后台服务器在处理适配请求时无需为每个客户端维护会话状态。这种无状态架构支持多名用户共享同一个Q表，从而使集体学习成为可能——某个用户发现的适配策略可以推广到具有类似情绪与情境特征的其他用户身上。基于JSON的Q表存储方式则便于数据的备份、传输与版本控制，从而有助于系统的更新与故障排查。该系统的模块化设计还允许独立更新各个组件：情绪检测模型可以被替换或重新训练，动作空间可以通过添加新的界面变量来扩展，奖励函数也可以在不需重新设计整个系统的情况下进行优化。5 研究方法本研究采用了以用户为中心的迭代式方法，结合参与式设计、原型开发与实证评估，确保理论发展、技术可行性与用户体验考量能够相互协调，最终形成一款可实际部署的系统。本节将详细介绍从最初的概念探索到最终用户评估所采用的系统性方法。5.1 需求收集与参与式设计在第一阶段，通过与潜在用户的参与式头脑风暴会议，明确了这款具备情绪感知功能的能源反馈系统所需满足的用户需求及设计重点。共有12名年龄在20至48岁之间的参与者参与了此次为期90分钟的结构化会议，会议内容包括小组头脑风暴以及随后的半结构化访谈。会议中探讨了四个核心问题：（1）哪些信息能够激发家庭用户的节能行为？（2）何种数据呈现形式更有利于用户理解并积极参与？（3）能源意识与决策行为存在怎样的时间规律？（4）用户对不同类型的反馈方式会有怎样的情感反应？在头脑风暴环节，参与者们通过情景模拟的方式想象自己收到不同类型的能源反馈，然后讨论他们可能的反应。研究人员向参与者展示了多种复杂程度、视觉风格及信息密度各不相同的控制面板界面原型，让他们表达自己的偏好与担忧。在单独访谈环节，则进一步了解了用户个人的能源管理习惯、影响他们节能行为的障碍，以及他们使用现有智能家居技术的体验。通过这一系列参与式设计过程，人们发现了一些共性的主题。首先，经济成本是用户表示愿意节能的最主要动机，相比环境影响或碳足迹，电费这一因素被提及的频率更高，也更为突出。许多用户对抽象的千瓦时数值表示不满，认为它们只是“毫无意义的数字”，无法让人直观地了解能耗规模或可能带来的后果。这一发现促使研究团队决定引入具有现实意义的能源换算方式，即将能耗数据转化为人们熟悉的日常概念，比如智能手机的充电次数、家电的运行时间或汽车的续航里程等。其次，相比折线图或数值表格，参与者更倾向于使用条形图来展示能源数据，尤其是当条形图中还包含成本标签、对比基准或目标指标等附加说明时。条形图直观且易于比较的特点，正好符合用户希望快速了解情况、尽量减少认知负担的需求。第三，参与者希望了解自己能源供应的构成，希望看到按能源类型（风能、太阳能、天然气、煤炭）划分的能耗数据，以便将自身的能耗情况与环境影响以及可再生能源的普及情况联系起来。这一需求促使研究团队决定在系统中同时展示能源来源信息与能耗及价格数据。第四，不同用户对于通知的接收频率与反馈的频次有着显著差异，有些用户欢迎频繁的提醒，而另一些用户则认为不必要的警报会干扰他们的工作，降低他们的积极性。这种差异凸显出需要采用自适应的个性化策略，而非统一的反馈方式，这也为采用强化学习方法来探索适合不同个体的沟通模式提供了依据。这些来自用户反馈的结论为后续的系统开发确定了四项核心设计要求：（R1）通过同时展示实时电价与能耗数据，突出成本信息的显示；（R2）通过将抽象的能源数值转化为人们熟悉的日常概念，为其提供上下文解释；（R3）以条形图作为主要的展示格式，并辅以各种对比与上下文说明；（R4）根据不同用户的接受程度与偏好，自适应地调整反馈的时机、频率及展示风格。具备情绪感知功能的强化学习框架通过学习针对不同用户的个性化策略来满足第R4项要求，而控制面板的设计则通过具体的功能实现来满足前三项要求。5.2 原型开发在明确各项需求之后，研究人员开发出了一个功能完备的原型系统，该系统整合了情绪感知模块、强化学习智能体以及自适应控制面板界面。在这一实施阶段，第4节中描述的概念架构被转化为一个能够实现实时交互的实用系统。情绪感知模块采用了FaceAPI.js[22]这一开源JavaScript库，该库借助卷积神经网络，能够在网页浏览器中直接完成面部表情识别。FaceAPI.js可以通过标准网络摄像头捕捉的面部特征与表情模式，识别出埃克曼提出的六种基本情绪（快乐、悲伤、愤怒、恐惧、厌恶、惊讶），以及中性状态。该库以大约两秒的间隔在本地处理视频帧，输出各类情绪的概率分布，无需调用外部API或进行云端处理，因此能够将原始视频数据限制在本地设备内，从而保障用户的隐私。如4.2节所述，强化学习智能体采用表格型Q学习算法，其状态空间包含716,800个状态（包括用户情绪、当前显示的控制面板界面以及七个可调控的界面变量），共有35种不同的操作选项（对应于对各个变量的调整）。Q表以Python字典的形式实现，这使得系统可以采用无状态REST API架构运行——客户端在发送每次适配请求时都会附带完整的状态描述，服务器则会在不保存任何会话数据的情况下对Q表进行操作。该智能体采用ε-贪婪策略进行探索，初始的ε值为1.0，每经过一个训练周期后以0.995的速率逐渐衰减至最小值0.01，学习率为0.1，折扣因子为0.95。奖励函数则根据用户的情感反应来评估界面调整的效果：对于积极情绪（如快乐、惊讶），给予+1的奖励；对于消极情绪（如悲伤、愤怒、恐惧、厌恶），给予-1的奖励；对于中性状态，则给予0分。自适应控制面板界面则是一个响应式的React网页应用程序，它通过REST API与后台的Q学习智能体进行通信。该控制面板包含四个主要功能界面：能耗概览界面，用于展示历史能耗模式与当前状态；设备控制界面，允许用户手动调整模拟的家庭系统参数；对比分析界面，用于将用户的能耗情况与其他类似家庭的能耗数据进行对比；目标追踪界面，则用于展示用户设定的节能目标进展情况。界面调整功能可以对七个可调控变量进行修改：字体大小（10种选择）、背景颜色（8种选择）、能耗图的详细程度（简单或详细两种预设）、价格图的详细程度（两种预设）、能源换算方式的类型（五种对比格式：智能手机充电次数、家电运行时间、电动汽车续航里程、笔记本电脑使用时长、冰箱运行天数）、主界面组件的颜色（4种选择）以及次要界面组件的颜色（4种选择）。这些变量使得系统能够同步调整内容展示方式（如信息密度、上下文呈现形式）与视觉风格（如视觉美学、色彩心理学）。系统的能源相关数据并非直接来自智能电表，而是通过API获取的实时电价数据，因此无需专门的计量设备或用户的个人能耗数据即可实现系统部署。系统利用这些价格信号来驱动一个模拟的家庭能耗模型，该模型能够真实地反映电价变化以及用户操作所带来的影响，从而在保障用户隐私的前提下，构建出一个符合现实情况的决策环境。这种基于模拟的方法使得研究人员能够在受控条件下评估系统的自适应反馈机制，同时具备完整的数据可观测性与可重复性，而将真正集成实际能耗数据的实际部署工作，则留待在概念验证成功之后的后续研究中进行。该系统的开发使用了Python 3.9作为后台智能体逻辑的实现语言，JavaScript ES6+与React 18用于前端界面的开发，SQLite则用于存储Q表数据。整个原型系统仅需普通的消费级硬件（网络摄像头、台式机或同等规格的设备、网络连接）即可运行，所有功能都在本地完成，除了用于获取电价数据的API之外，无需依赖任何云端服务，非常适合在注重隐私的住宅环境中使用。5.3 用户测试与评估在原型开发完成后，研究人员开展了一项对照实验，将这款具备情绪感知功能的自适应系统与静态的基准系统进行对比测试。该评估采用了被试内设计，即每位参与者依次体验非自适应界面与自适应界面两种形式，这样不仅可以直接比较两种界面下的行为表现与主观感受，还能控制住不同用户之间在初始能源意识与情感表达能力方面的差异。定量数据记录了用户的能耗情况、情绪状态以及强化学习相关的指标；定性数据则通过访谈与实验后的问卷调查获得。关于评估流程与结果的详细内容，请参见第7.6节“实施”部分。本节将详细介绍具备情绪感知功能的强化学习框架的技术实现方式，包括软件架构、关键实现决策以及部署配置等相关内容。该系统由三个主要组成部分构成：基于React的自适应控制面板（前端）、Python实现的Q学习智能体（后台），以及用于连接这两部分的REST API。所有组件都设计为可在本地运行，从而保障用户隐私，同时降低对基础设施的依赖程度。6.1 系统概述所实现的系统采用客户端-服务器架构，前端控制面板在用户的网页浏览器中运行，而后端的强化学习智能体则作为本地运行的Python服务存在。这种分离架构使得界面设计与学习算法的开发可以独立进行，同时还能保持两者之间的清晰接口。4.1节中提到的MAPE-K四个阶段分别对应于前端的“监控”与“执行”功能，以及后端的“分析”、“规划”与“知识积累”功能。具体来说，这四个阶段对应着四个实现模块：多模态情绪感知模块、行为与情境监控模块、双流强化学习控制器，以及自适应引导型控制面板界面（见图2）。所有模块通过局域网进行通信，并实时运行。6.2 强化学习控制器所部署的控制器采用了4.2节中规定的表格型Q学习方法。后端以Python字典的形式存储稀疏的Q表，该字典将观测到的状态元组映射到动作-价值向量（公式3），并通过ε-贪婪探索策略（公式4）结合时间差分更新方法（公式5）来选择动作。控制器提供了一个无状态API接口：前端发送当前状态st（情绪代理值+当前显示界面+当前UI配置），后端则返回选定的离散动作（即一个UI变量的更改）。在UI应用该动作后，前端会反馈用于计算奖励（公式2）的后续情绪代理值，并更新Q表。重要的是，学习目标旨在优化与情绪相关的界面适配（公式2），而与能量相关的结果则在任务层面作为行为代理值进行评估，而非直接作为奖励信号。这种实现方式具有可审计性（明确的狀態/动作语义）、较低的计算开销，以及清晰的工程诊断功能（4.2.5节），这些在基于不确定的情绪信号进行适配时非常重要。6.3 自适应提示仪表板图2.左图：仪表板预览；右图：UI参数可能的适配类型该自适应仪表板作为能源反馈的交互界面和可视化工具，采用React.js构建为响应式网页界面，通过本地REST API与学习智能体进行通信。该界面展示动态的能源使用情况可视化图表、目标跟踪组件，以及由强化学习控制器生成的情境敏感型通知。行为反馈以简洁的文字或图形提示形式呈现（例如：“照明使用量超过正常晚间平均水平”）。情感适配机制会调整这些提示的出现时间和可见度，而非其语言风格。例如，当检测到负面情绪时，系统会推迟通知或减少干扰性提醒；而在用户积极互动时，则会增加更新频率或提供鼓励性反馈信息。这一机制确保的是情绪状态影响信息的传递方式，而非内容本身，从而维护用户信任并避免警报疲劳。所有交互数据，包括情绪分类结果、反馈事件以及用户反应，都会被记录到知识库中，该知识库为每个用户建立长期适配档案。历史数据有助于智能体在不同会话间优化策略权重，从而实现持续个性化，同时保持情感推理与行为优化之间的模块化分离。6.4 知识管理与整合知识库用于存储学到的Q值、情感基准值以及近期用户状态变化。它采用轻量级的SQLite数据库实现，感知模块和学习模块均可访问该数据库。这一共享存储机制使得系统能够在重启后恢复策略状态、在不同会话间迁移学习成果，还能分析能源使用行为及情感动态的长期变化。经过匿名处理的情感和行为数据会被添加时间戳并加密，以确保在分析过程中的用户隐私和数据完整性。7 评估本节介绍了在ABDA–MAPE-K架构中实现的具备情感感知能力的无模型强化学习框架的评估情况。相关条件、假设和分析内容详见表1。评估有两个主要结果，均反映了模拟仪表板任务中与节能相关的直接指标。第一个是“趣闻提示”频率，即向用户展示的与能耗和成本相关的提示数量，包括具体的能源等值信息、成本标签以及对比数据。第二个是“能源意识”，即用户在会话结束后对家庭能源使用情况的5点李克特量表自我评估。前者反映系统向用户提供的可操作节能提示的多少，后者则体现用户由此产生的反思性认知水平。其他次要结果还包括情感轨迹指数（ABI、AAG、ASI；7.5节）、用户参与度指标（停留时间、重复访问次数、交互频次）以及用户对自身能耗控制的感知程度。以往的生态反馈研究指出，在短期的 HCI研究中往往难以准确衡量行为变化；我们的设计采用了这种以可行性为先的方法，也为未来的实地实验提供了依据[14]。7.1 实验设置为了在确保完全保护数据隐私的前提下模拟真实的能源使用情况，我们设计了可控的实验室实验环境。模拟环境中的电价数据是通过(Elpris) API获取的每小时预测电价。该API提供的为反映全国居民用电趋势的汇总式实时价格数据，无需获取个人能耗记录即可保证研究的生态有效性。在实验运行过程中，强化学习环境会接收到与当前会话时间同步的连续外部信号pt（即t时刻的电价）。虚拟家庭负载E^t的计算公式为E^t=Bt?(1?η?Nudget)?(1?λ?z(pt))，其中Bt代表具有早晚用电高峰的基准需求模式，η表示提示策略的效率，λ代表较低的短期价格弹性，z(·)为标准化后的电价值。这一公式能够模拟出既具有动态特性又能够保护用户隐私的能源使用行为，供强化学习智能体与之交互。实验环境包含一台运行自适应仪表板的显示器、用于捕捉面部表情的网络摄像头，以及一台执行MFRL控制逻辑的本地服务器。情绪识别功能则通过FaceAPI在本地完成，该技术能够识别埃克曼提出的六种基本情绪（快乐、悲伤、愤怒、恐惧、厌恶、惊讶）以及中性情绪。所有模块通过局域网相互通信，从而确保在反馈适配过程中能够实现低延迟的数据更新。7.2 参与者本研究共招募了56名参与者（31名男性，25名女性；年龄在21至48岁之间）。所有参与者均为自愿参与，并签署了知情同意书。研究过程中未获取任何个人的能源使用数据，所有感知操作仅限于会话期间的面部分析。7.3 实验流程这是一项短期实验室可行性评估，旨在测试是否可以实现端到端的情感感知型适配，以及相比非适配基准方案，此类适配能否提升相关直接指标（情感平衡与用户参与度）。下面的结构化任务将多次偶发的仪表板交互整合到单次会话中，以便在不同条件下进行对照比较。我们采用受控的实验室研究方式，旨在排除熟悉度因素对情感感知型适配效果的影响。实验设计方面，参与者被随机分配到两种顺序组中：AB组（非适配基准方案→适配方案）或BA组（适配方案→非适配方案），两组在参与者间的分布保持平衡，以此控制参与者对仪表板的熟悉程度。实验任务方面，无论处于哪种条件，参与者都需要在模拟环境中完成相同的结构化能源管理任务：1）分析能耗来源（概览/数据分析）；2）根据电价变化调整设备使用设置（控制操作）；3）设定并检查与能源意识相关的目标（目标设定）。两种条件下的任务完成时间以及交互日志都会被收集起来。这样的设计使得情绪状态与系统的适配响应能够在时间上保持一致。由于实验环境为模拟环境且持续时间较短，因此我们将行为变化的结果视为初步探索性数据。情感反应与用户参与度则作为补充性次要结果，用于进一步佐证主要评估指标。7.4 评估指标行为指标此外，参与者还需在每次会话结束后，使用5点李克特量表对自己的能源意识以及对自身能耗控制能力的感知程度进行评分。这些主观行为感知数据与记录下来的交互数据相互补充，便于对比客观数据与自我报告的节能行为表现。情感指标情绪被分为正面情绪（快乐、惊讶）、中性情绪（未检测到情绪）以及负面情绪（悲伤、愤怒、恐惧、厌恶）三类。通过统计每种情绪类型对应的反馈事件出现次数或被抑制的次数，可以评估情绪与系统响应之间的匹配程度。主要任务结果（模拟指标）我们通过一些与任务相关的行为指标来衡量系统的适配功能是否有助于用户在模拟仪表板任务中做出节能决策。我们主要使用了两个指标：其一为“趣闻提示”频率，即向参与者展示的与能耗和成本相关的提示数量，包括成本标签、对比数据以及具体的能源等值信息；其二为“能源意识”，通过会话结束后的李克特量表自我评估得出。这两个指标与情感/参与度指标相辅相成，能够说明适配方案是否增加了用户接触可操作节能提示的机会，以及提升了用户的感知意识，尽管在本实验室模拟环境中并未实际测量家庭能源消耗量的减少幅度。表1.项目内容条件（自变量）非适配基准方案与具备情感感知能力的适配型强化学习方案对比；两种顺序组在参与者间保持平衡。主要因变量主要任务结果：模拟环境中的与节能相关的行为指标（“趣闻提示”频率及自我报告的“能源意识”水平）次要因变量情感指数（ABI/AAG/ASI）、用户参与度（停留时间、重复访问次数）、用户对自身能耗控制的感知程度。假设H1：适配方案能提升主要任务结果；H2：适配方案能改善情感平衡与用户参与度。分析主要任务结果的分析会根据数据分布情况，采用被试内配对检验或重复测量方差分析方法。情感轨迹指标（正面/负面情绪指标及由此衍生的指数）则通过方差分析结合事后Tukey检验进行分析，并报告效应大小（η2）。由于我们的目标是验证方案的可行性，且核心比较是在相同暴露条件下的不同实验组间的差异，因此方差分析是一种易于理解且符合标准的分析方法；对于需要考虑更复杂嵌套结构的长期实地应用场景，才考虑使用混合模型。条件、假设及分析方法。7.5 评估指标我们采用了三项定量指标来评估具备情感感知能力的强化学习系统的有效性。这些指标涵盖了用户在不同会话中的情感、行为以及适配方面的表现。情感平衡指数（ABI）。该指数表示每次会议中正面情绪与负面情绪的平均值之差：ABI=（Happyt+Surprisedt）?（Sadt+Disgustt+Angryt+Fearfult）。数值越高，说明情绪状态越偏向正面。通过分析各次会议间ABI的变化情况，可以量化自适应提示策略所带来的整体情感变化程度。情感适应增益（AAG）。该指数用于衡量情感平衡随时间变化的改善程度，并以初始值为基准进行标准化处理：AAG=ABIfinal?ABIinitial|ABIinitial|×100%。这一指数反映了系统通过多次交互不断强化正面情感反应的程度。情感稳定性指数（ASI）。该指数表示不同会议之间情绪状态的稳定性，其计算方式为会议内情绪波动程度的倒数：ASI=1/Var(Positivet?Negativet)。ASI数值越高，说明情绪轨迹越平稳，意味着系统在实现适配的同时能够保持用户体验的稳定性。在统计分析方面，我们对不同会议中的正面情绪与负面情绪分别进行了单因素方差分析（p < 0.001），随后通过Tukey事后检验来确定是否存在显著的组间差异。7.6 实验结果结果共分为三个部分汇报。7.6.1节介绍了两个主要结果：“趣闻提示”频率与“能源意识”水平。7.6.2节分析了不同会议之间的情感变化趋势。7.6.3节则给出了计算得出的情感指数（ABI、AAG、ASI）以及用户参与度指标。7.6.1 主要结果每次会议中向用户展示的与能耗和成本相关的“趣闻提示”数量，即上下文提示的总量，从基准组的M = 0.96增加到了适配组的M = 1.6，差异具有高度显著性（p <.001）。这一结果支持了假设H1。在5点李克特量表上的自我报告能源意识得分从非适配组会议的M = 3.01（标准差为0.27）上升到了适配组会议的M = 3.08（标准差为0.31），整体呈现显著上升趋势，F(9, 22493) = 21.47，p <.001，效应大小为η2 = 0.003。这一结果部分支持了假设H1，但效应大小相对较小。这两种结果的变动速度存在差异：由系统直接控制的节能提示数量在非适配组与适配组之间出现了显著增加，而依赖于用户自身认知的反思性意识提升速度则较慢。假设H1（适配方案能提升主要任务结果）得到支持：从基准组到适配组，“趣闻提示”频率出现了显著上升（p <.001）；“能源意识”水平也有所提升，但效应大小较小（η2 = 0.003）。结果定义基准组适配组p“趣闻提示”频率每次会议中展示的上下文提示数量M = 0.96M = 1.6<.001“能源意识”会话结束后的5点李克特量表自我评分M = 3.01M = 3.08<.0017.6.2 情感适应与情绪变化我们通过单因素方差分析研究了在不同适配会议中情绪反应的变化情况。首先计算了正面情绪（快乐与惊讶情绪的平均值）和负面情绪（悲伤、厌恶、愤怒、恐惧情绪的平均值）的综合指数。分析结果显示，会议次数对这两种类型的情绪都有显著影响（正面情绪：F(9, 22493) = 58.13，p <.001，η2 = 0.023；负面情绪：F(9, 22493) = 14.83，p <.001，η2 = 0.006）。正面情绪从早期会议的平均值M = 0.22（标准差为0.17）逐渐上升至后期会议的M = 0.39（标准差为0.21），而负面情绪则从M = 0.33（标准差为0.18）下降至M = 0.28（标准差为0.16）。事后Tukey检验进一步确认，第8至10次会议与第1至6次会议之间存在显著差异（p <.001），这说明强化学习策略确实能够逐步提升用户的情绪参与度，并减少负面情绪。7.6.3 情感适应指标与任务结果为了进一步量化情感适应程度，我们从会议级数据中衍生出了三个情感指标：情感平衡指数（ABI）、情感适应增益（AAG）以及情感稳定性指数（ASI）。情感平衡指数（ABI）。该指数反映了每次会议的整体情感状态，即正面情绪与负面情绪的总和之差。所有参与者的ABI值均呈现逐次会议递增的趋势，从第一次会议到最后一次会议，其数值累计增加了0.02。这一趋势支持了这样一种假设，即自适应反馈有助于提升用户的积极情绪体验。情感适应增益（AAG）。在所有参与者中，ABI的平均值为+8.97%（标准差为18.4），这一数值表明，虽然提升幅度不大，但系统在多次交互过程中始终在持续强化用户的正面情绪状态。情感稳定性指数（ASI）。该指数通过情感波动程度的倒数来反映用户情绪的稳定性。所有参与者的ASI平均值约为3322.67（标准差为2711.27），这一数值说明用户的情绪轨迹较为平稳，波动较小。高ASI值通常与获得更高AAG的参与者相关，这说明情绪稳定性有助于提升学习效率。在整个实验过程中，反映每位参与者累计平均会话次数的交互次数保持稳定（M = 7.8，SD = 1.51），表明参与者在整个研究期间的参与度持续较高。在解读研究结果时，应注重效应的大小而非仅显著性。由于每位参与者有大量记录样本，微小的效应在统计上也可能具有显著性。因此，我们更注重效应大小（如方差分析中的η2值/混合模型中的标准化系数）以及置信区间，以此来判断其实际意义。在我们的研究中，即便情绪平衡的改善幅度不大，只要能减少用户的疏离感并促进持续使用生态反馈系统，也就具有重要意义；不过，我们不会过度宣称短期实验室数据就能带来长期的节能效果。需要指出的是，对于重复测量数据，混合效应模型通常是更优选择。虽然我们也考虑过这一选项，但本研究是一项短期可行性研究，侧重于条件差异（基线状态与适应性状态）及会话趋势的分析，而非复杂的层次化推广。为确保分析的透明性和可重复性，我们对相关汇总数据或变化轨迹采用方差分析类检验，并报告效应大小（η2值）及基于置信区间的解读。由于记录的样本数量较多，我们避免过度依赖p值，而是更注重效应大小及其实际意义。在未来的纵向或实地应用中（更多会话、数据缺失问题以及家庭层面的差异性），混合效应模型将更为适用，这也是我们计划中的后续工作内容。

H2（适应性机制能提升情绪平衡与参与度）：得到支持。积极情绪从M = 0.22上升至M = 0.39，η2 = 0.023；消极情绪则从M = 0.33下降至M = 0.28，η2 = 0.006。情绪平衡指数ABI在各会话中呈单调上升趋势，平均AAG提升了8.97%，而ASI则保持稳定。每位参与者的交互次数始终维持在M = 7.8次左右。这种评估设计为在家庭节能背景下测试具备情感感知能力的强化学习系统提供了一种既具生态学有效性又能够保护用户隐私的研究框架。该系统利用实时电价动态而非家庭能耗数据，从而在时间变化情况下展现出适应性强且能响应用户情绪特征的行为表现。这些结果证明了运用具备情感感知能力的强化学习系统，在兼顾伦理规范和数据保护要求的同时，提升用户能源意识并增强其参与度的可行性。

8 讨论

本研究探讨了具备情感感知能力的适应性系统如何影响用户在多轮会话中的情绪状态、能源意识以及参与度。研究结果表明，情感适配有助于创造更积极的互动体验并维持用户的持续参与，尽管认知意识方面的变化较为有限。

8.1 情感适配

用户的情绪反应在多轮会话中逐渐有所改善。积极情绪上升，消极情绪下降，这表明适应性反馈机制成功调整以适应用户的情感模式。情绪平衡指数和适配收益均有所提升，而情绪稳定性则保持一致，这说明用户在互动过程中变得更加舒适，情绪也更加可控。这些结果表明，适度的情感调整能够在不引发疲劳或用户疏离感的情况下提升用户满意度。效应大小属于中小范围，反映出在自然环境条件下进行情感调节的实际作用较为有限。值得注意的是，所观察到的效应大小（处于中小范围的η2值）与适应性界面调节的预期相符，而非那种能带来强烈行为改变的干预措施。与那些旨在立即引发行为转变的高影响力说服系统不同，我们的方法侧重于对呈现方式和时机进行细微调整。这类调整并不期望能彻底改变用户的情绪状态，而是旨在降低使用障碍，防止消极情绪加剧。从人机交互系统的角度来看，这符合“稳定性优于冲击性”的设计理念：逐步实现情感协调可能比短暂但剧烈的参与度提升更为可持续。

8.2 行为与认知参与度

行为和认知指标的变化幅度相较于情绪变化要小。用户自我报告的能源意识虽呈统计学上的上升趋势，但增幅较小，这说明虽然适应性机制影响了用户的反思性认知，但其影响程度有限。相比之下，系统中“趣味知识”消息的推送频率显著增加，这表明系统逐渐实现了信息推送的个性化。即便用户对自身能源意识的评分保持稳定，这样的做法也可能提升了反馈的相关性。每位参与者的交互次数保持稳定，说明在整个研究期间他们的参与度并未下降。情境提示（如趣味知识推送频率）的适度上升与意识变化的较小幅度之间的差异，暗示存在两阶段的作用机制。适应性系统首先通过优化时间和呈现方式来增加与节能相关的信息曝光度，但信息的曝光并不必然带来更深层次的认知重构。这一模式与行为改变的双过程理论相吻合，即直觉层面的参与先于反思性的理解。在我们的研究中，具备情感感知能力的适应性机制似乎能有效维持直觉层面的参与度，但要进一步巩固反思层面的知识，则可能需要额外的辅助手段。尽管用户对自己嘅能耗模式有了更清晰的认识，但他们在对能源来源的了解方面并未表现出明显进步。这表明，虽然适应性反馈有助于用户监控自身行为，但可能不足以深化其概念理解。若要将个人能耗与更广泛的能源背景联系起来，或许还需要额外的教育或反思性元素。

8.3 设计启示

根据实证研究结果，可为构建类似系统的工程师提供三点启示。

启示1：在实验结果中，动作空间中较小的调整效果优于较大的调整。系统倾向于采用细微的调整方式（如字体大小、颜色变化、图表复杂度调整），而非对界面进行大规模重构。这一发现对工程设计具有实用价值：一个由众多小型、可组合的调整项构成的动作空间，能够让系统灵活应对多种状态组合，同时避免出现视觉上过于突兀的变动。对于构建类似系统的工程师而言，这意味着动作空间应偏向于那些小型且可逆的修改。

启示2：ABDA架构中将情感层面（何时/如何提供反馈）与行为层面（提供何种内容）的策略分开，这一设计在调试和维护方面发挥了重要作用。设计师可以独立优化这两部分内容。例如，在早期试点测试中发现，系统在用户处于消极情绪状态时有时会显示复杂的图表，我们将其认定为情感策略方面的错误，并在不重新训练行为内容选择逻辑的情况下进行了修正。

启示3：不同用户的适配模式存在差异。有些用户更倾向于频繁收到细微的提醒，而另一些则更喜欢较少但更具总结性的反馈。基于规则的系统则需要针对每个用户进行手动调整才能满足不同需求。而无模型强化学习则能自动处理这种差异性，这也是在这一场景下选择强化学习而非简单个性化机制的核心原因。

8.4 意外发现：情感适配的局限性

尽管用户的参与度和积极情绪有所提升，但他们对能源来源（可再生与不可再生能源的比例）的理解并未加深。这一阴性结果揭示了一个重要限制：情感适配虽能维持用户的注意力与互动意愿，却无法替代正式的教育内容。我们提出了三种可能的解释：首先，我们的界面以可视化方式被动呈现能源来源信息，假设用户在专注互动时就会关注这些信息。然而，关注并不等同于理解；用户可能只是看了这些信息，却并未真正领会其含义。其次，能源来源的构成与个人的能耗模式在概念上存在差异。第三，我们的奖励函数侧重于提升用户的情绪体验，而非知识掌握程度。强化学习算法学习的目标是维持用户的积极情绪，而这虽然与互动时长相关，但不一定与学习深度挂钩。这一发现表明，若希望实现知识传递，具备情感感知能力的系统应结合正式的教学辅助手段，而不能简单地认为用户的参与度提升就意味着他们已经掌握了相关知识。未来的系统版本可以考虑采用多目标奖励函数，从而在实现情感协调与提升任务表现之间取得平衡，进而将短期的用户参与度与长期的教育成果相衔接。

8.5 跨领域应用的工程启示

情感处理与行为处理的分离并非能源反馈系统所特有。情感因素会影响反馈的呈现方式，而行为或任务相关信号则决定反馈的内容。这种分离使得同样的适配引擎可以应用于那些需要关注用户参与度与操作时机的领域，即便这些领域的核心任务并非能源管理。健康行为辅导、学习平台以及公共服务界面都存在类似的工程需求：在响应用户状态的同时，避免让混乱的情感信号干扰任务决策的制定。ABDA-MAPE-K框架提供了相应的结构模板，具体内容的设计属于应用层范畴，而非情感处理层面。对于构建类似系统的工程师而言，其核心启示在于：只要满足ABDA框架的前提条件，就可以逐步在现有的适配流程中加入情感处理模块，而无需重写行为逻辑。

总体而言，本研究是在受控条件下进行的，因此其结果难以直接推广到真实家庭环境中。研究中所使用的数据依赖于推断出的情感指标，而非直接的感官检测，未来的研究可以探索采用生理指标或多模态数据来提高检测精度。延长系统使用时间并增加参与者多样性，也有助于了解情感适配如何影响用户长期的行为表现。此外，研究结果表明，即便用户自我报告的能源意识提升幅度较小，具备情感感知能力的反馈系统仍能提升用户体验和参与度。该适应性模型有效维持了用户的参与度和积极情绪，为其在可持续能源系统中的实际应用奠定了基础。

9 效度威胁

影响结构效度的因素包括受控的实验环境、参与者的选择与特征、基于模拟的能源环境以及情感检测流程。为解决参与者选择的问题，我们招募了具有不同智能家居和能源监测系统使用经验的多样化用户群体。虽然参与者数量有限，但这种多样性为初步评估提供了足够丰富的情绪和行为反应数据。为缓解隐私方面的担忧，所有情感处理都在浏览器端通过FaceAPI.js本地完成，确保没有原始图像或可识别数据被传输或存储。基于实时电价数据构建的模拟能源环境，既能够实现真实的交互体验，又能够保护用户隐私。尽管系统采用了固定的时间间隔来采集情感数据，但适应性机制本身并不依赖固定的时间窗口，而是依据用户的情感反馈和互动行为来调整。Q学习过程通过多次试验和收敛性检查得到了验证，确保系统的适配策略始终与用户的情感状态相匹配。

影响内部效度的因素包括所使用的基本情绪分类方式，以及在不同环境条件下情感检测的可靠性。我们将基于网络摄像头的面部表情识别视为情感状态的间接指标，而非真实的情感数据。情感检测相关研究表明，情感推断本质上具有不确定性且受情境影响[10]。此外，从面部动作推断具体的情绪类别本身就不够准确，目前仍存在诸多争议——因为面部动作在不同情境下并不能一一对应于内在的情绪状态[7]。这类误差可能会影响强化学习系统的决策准确性（例如，对消极情绪的误判可能导致过度抑制或不当强调）。为减轻这一问题，我们采取了以下措施：i）设定预测置信度阈值，ii）应用短时间窗口的平滑处理，iii）将置信度信息与预测结果一起记录，以便进行敏感性分析。面部分析系统在不同人群中的性能可能存在差异，这在用于交互式适配时会引发伦理和效度方面的问题[9]。虽然我们的系统在本地运行，不会传输原始图像，但未来的实地应用仍需对不同人群的性能进行测试，并提供用户可配置的退出选项和校准功能，以避免误分类问题对某些用户群体造成过度影响。另一个相关问题是，情感信号既出现在系统状态表示中，也出现在奖励函数中。这种双重角色可能导致一种循环现象：系统可能会学习到一些策略，使其产生的情感分类结果符合奖励标准，但却无法真正提升用户的实际体验。我们将这种情况分为两种故障模式：第一种是系统响应与推断出的情感状态一致，即系统会调整用户可见的情绪表达，使其符合分类器的判断标准；第二种则是评估偏差，即系统开始利用分类器的特性而非用户的真实情绪状态来做出决策。第一种是系统预期的正常行为，而第二种问题则可以通过在情感处理通道之外收集独立的行为空间数据来部分缓解，比如用户停留在页面上的时间、是否再次访问系统以及用户自我报告的能源意识水平。这些数据的相互印证可以降低观察到的效果仅仅是分类器误差而非真正提升用户参与度的概率。另一个限制是本研究使用了模拟的能耗模型，而非真实的智能电表数据。虽然这种方式便于实现对实验的完全控制并保证重复性，但在实际应用中可能会引入更多的变量。此外，照明、噪音或其他同时发生的活动等环境因素也未被明确纳入模型，而这些因素可能会影响情感分类的准确性以及反馈的效果。影响外部效度的因素包括所提出的具备情感感知能力的强化学习框架的可扩展性、普遍适用性以及生态学有效性。尽管该系统已在受控的实验室环境中进行了测试，但若要其在真实家庭环境中、结合实际的能耗数据以及不同的硬件条件下来发挥效用，仍需进一步的研究。该系统在应对更多用户群体以及长期部署方面的能力还有待验证；采用深度Q学习或迁移学习或许能够解决状态空间和动作空间扩大所带来的问题。就泛化能力而言，目前的实现仅聚焦于单一应用领域（能源节约）和六种基本情绪，不过该框架可以扩展到其他以可持续性为目标的反馈系统及情感相关场景中。从生态有效性来看，这项研究让真实参与者在模拟家庭能源管理场景的互动环境中参与实验，这为其在现实世界中的应用提供了部分可行性依据。不过，仍需通过纵向实地研究来确认在实验室条件之外，该系统能否持续引发人们的关注并产生相应行为改变。

结论：本文提出了一种具备情感感知功能的家庭能源反馈引导系统，该系统在自适应控制循环中运用了无模型强化学习算法。ABDA-MAPE-K架构将情感处理与行为处理分开，这样情感会调节反馈的呈现方式，而行为和情境则决定反馈的内容。一项对照实验表明，与非自适应的基准方案相比，这种方法提升了用户的参与度，也让他们更多地接触到与节能相关的提示。情感适配并非替代生态反馈，而是调整反馈的呈现方式和时机。通过详细阐述我们的设计、实现过程以及实证结果，我们为未来开发出既具备自适应性、又遵循伦理原则、并能将环境目标与人类实际情境相结合的系统奠定了基础。