一种结合龙回撤多阶段K线图模式嵌入的深度强化学习投资组合再平衡方法

《Engineering Applications of Artificial Intelligence》：A deep reinforcement learning approach for portfolio rebalancing with Dragon Pullback multi-stage candlestick pattern embedding

　　余洋白|张长生|刘龙浩泽|孙白青|孙昊轩|王世佳|张东中国辽宁省沈阳市110879，东北大学软件工程系摘要随着人工智能的快速发展，深度强化学习已成为资产组合再平衡领域的一种极具前景的方法。现有的用于资产组合再平衡的深度强化学习方法通常以价格或基于价格的技术指标作为状态表示。然而，这类表示方式对噪声较为敏感，且容易侧重于短期和不稳定的价格波动，这往往导致强化学习智能体学习到在存在流动性限制、交易成本和交易量限制的现实市场环境中表现不佳的激进策略。为了解决这一问题，本文提出了一种基于龙撤退多阶段K线图模式嵌入的深度强化学习框架——DRL-DPMSC。该框架由三个模块组成。首先，在龙撤退模式捕捉模块中，通过基于时间段的方法高效地在线捕捉龙撤退模式。接着，在因果发现引导的特征选择模块中，将这些捕捉到的模式建模为一组用于描述价格趋势的模式相关特征。最后，这些特征被纳入状态表示中，并通过结合资产特定架构的近端策略优化剪裁模型来生成资产组合再平衡策略。通过引入能够体现持续价格趋势的、抗噪声的龙撤退多阶段K线图模式，DRL-DPMSC能够做出更为合理的再平衡决策，尤其是在受限市场中。为了验证所提出的DRL-DPMSC的有效性，我们在5个测试窗口进行了实验，比较了其在五种不同环境设置下与六种对比方法的性能。在大多数情况下，所提方法在收益和风险回报指标上均优于其他方法。引言资产组合再平衡指的是在动态市场环境中，对资产组合内的资产进行有序重新分配，以实现长期收益的最大化（Dai等人，2024）。为了实现这一目标，需要在复杂的投资市场中依次做出最优决策，而这被广泛认为是一项极具挑战性的任务。随着人工智能的快速发展（Zhou等人，2026），深度强化学习作为一种有潜力的资产组合再平衡框架应运而生（Jang和Seong，2023；Choi和Kim，2024）。深度学习擅长对复杂、高维和非线性数据进行处理，实现函数近似和表示学习（Wang等人，2026；Shen等人，2026），而强化学习则适合通过训练与环境交互的智能体来优化序列决策，从而实现长期奖励的最大化。Li（2023）指出，借助深度学习和强化学习的优势，深度强化学习为解决复杂的、数据驱动的序列决策问题提供了一种有原理的方法（Zhou等人，2025），这与资产组合再平衡的本质十分契合。具体而言，深度神经网络被用作函数近似器（Wang等人，2025），用于构建将复杂市场状态表示映射到再平衡决策的参数化策略函数和价值函数，而强化学习算法则通过与市场的顺序交互，并根据已执行的再平衡决策所产生的奖励信号来更新深度神经网络的参数。基于深度强化学习的资产组合再平衡模型的性能在很大程度上取决于状态表示，尤其是其总结价格动态相关方面的能力。一种常见的做法是根据历史价格和基于价格的技术指标来构建状态表示（Day等人，2024；Jin，2023）。然而，这类表示方式可能对市场噪声极为敏感，且往往侧重于短期和不稳定的模式，因此无法提供关于持续价格走势的准确且可靠的信息（Wang等人，2021）。结果，强化学习智能体可能会学习到不可靠的再平衡策略，这些策略部分受噪声影响，稳定性较差。在存在交易量限制和交易成本的现实市场中，这类策略往往会导致更差的性能，因为固定的交易规模所带来的离散交易，再加上交易费用，会加剧不可靠的再平衡策略所带来的损失。Dai等人（2024）为了解决这些问题，近期的一些研究通过添加更多能够体现持续价格走势的稳健特征来改进状态表示，比如基于机器学习的趋势信号（Yu等人，2019）、行业轮动指标（Yan等人，2025）以及金融新闻（Wei等人，2025），旨在提高所学再平衡策略的稳定性和可靠性。多阶段K线图模式指的是由多个连续且边界清晰的 price走势阶段构成的典型价格序列，如龙撤退形态、旗形形态（Arévalo等人，2017）以及头肩形态（Ma等人，2023）。这些形态通常被视为持续价格走势的信号：例如，龙撤退形态和头肩形态常与趋势反转相关，而旗形形态则通常对应趋势的延续。由于这些多阶段K线图模式的定义包含了明确的结构性和时间性约束，包括最小阶段持续时间、回撤深度、价格幅度以及成交量与价格的关系等，因此与基于价格的指标和短期K线图模式相比，它们对市场噪声的敏感性更低，从而能够更稳健地描述持续的价格动态（Chen和Chen，2016；Ayari，2026）。尽管多阶段K线图模式已被广泛用作预测价格动态的可靠技术指标，但据我们所知，现有研究很少尝试将多阶段K线图模式纳入深度强化学习模型的状态表示中，从而利用其稳健描述价格走势的能力来提升资产组合再平衡策略的可靠性。为填补这一空白，本文提出了一种基于龙撤退多阶段K线图模式嵌入的深度强化学习资产组合再平衡方法——DRL-DPMSC。在DRL-DPMSC中选择龙撤退形态主要是出于以下考虑。首先，与其他多阶段K线图模式相比，龙撤退形态具有更为紧凑的阶段结构，这使得完整的形态在实践中更频繁地出现，从而为资产组合再平衡提供了更多机会。其次，其各个构成阶段能够传递强烈的价格信号，使得该形态不太受市场噪声的影响，进而使得由此产生的再平衡机会更加可靠和稳健。具体而言，所提出的DRL-DPMSC是在离线-在线框架下开发的。在离线阶段，龙撤退形态与基于价格的技术指标相结合，构建出一个增强的状态表示，然后基于此状态表示训练和优化强化学习智能体，使其学习到再平衡策略。在在线阶段，持续捕捉龙撤退形态，为当前决策步骤构建状态表示，然后由所学策略依次生成资产组合再平衡行动。不过，实施DRL-DPMSC面临着以下挑战：•现有研究大多采用基于图像的识别方法来捕捉多阶段K线图模式。然而，这类方法与基于深度强化学习的资产组合再平衡并不兼容。原因是资产组合再平衡决策依赖于数值状态表示。直接将图像识别结果纳入此类状态表示通常需要额外的混合建模，这不仅会增加模型复杂性及调整难度，还可能降低策略学习的样本效率和稳定性。因此，若要将基于图像的识别方法得出的模式纳入状态表示，就需要将其转换为数值表示。此外，由于资产组合再平衡任务的输入通常是数值型市场数据，基于图像的模式识别方法通常需要先将这些数值输入转换为K线图图像才能进行模式检测。这样一来，这类方法往往需要经历“数值-图像-数值”的转换过程。在资产组合再平衡的在线环境中，如此频繁的转换会带来额外的计算开销，还可能导致信息丢失。•作为一种多阶段K线图模式，龙撤退形态包含多个阶段，每个阶段持续数个交易日，且整合了多个维度的信息。因此，它会产生大量与模式相关的特征。这些特征通常具有高维度、冗余性强且结构复杂的特点。直接将它们纳入状态表示可能会扩大状态空间，降低样本效率，增加过拟合的风险，并引发不必要的再平衡操作。因此，有效地选择特征以获得能够体现持续价格趋势的稳健表示至关重要。•本研究着眼于存在交易量限制和流动性限制等约束条件下的现实市场中的资产组合再平衡问题。在如此受限的交易环境下，资产组合再平衡策略的学习和优化面临着诸多挑战。首先，这种受限的交易环境会带来非平滑且部分不可微分的执行效应，这会阻碍通过从动作到执行的反馈过程实现端到端的差异化处理。其次，在交易量限制和流动性限制的共同作用下，从原始资产组合动作到实际成交的映射变得类似阶梯状且不平滑，也就是说，多个相邻的动作可能会带来相同的实际结果，而在接近约束阈值时的微小动作变化则可能引发执行结果的突然变化。这样的反馈结构会降低局部动作变化对价值评估和政策优化的参考价值，从而增加稳定优化政策的难度。为了解决这些挑战，所提出的DRL-DPMSC设计了三个模块：龙撤退形态识别模块、基于因果发现的特征选择模块以及基于深度强化学习的资产组合再平衡模块。在龙撤退形态识别模块中，提出了一种基于时间段的龙撤退形态识别方法。该方法将龙撤退形态视为一系列连续的时间段，并通过逐阶段顺序匹配来识别完整的形态。该方法直接作用于时间序列，直接输出结构化的数值形态表示，这些表示可以无缝集成到基于深度强化学习的资产组合再平衡的数值状态表示中（如持有资产和现金数量）。与常用的基于图像的识别方法相比，所提出的方法避免了将图像与数值状态整合所需的额外融合建模，以及频繁的“数值-图像-数值”转换，从而降低了建模复杂性及计算开销，提高了策略学习的样本效率和稳定性。此外，该方法还支持对在线数据进行低成本的增量处理，更适合用于基于深度强化学习的资产组合再平衡模型。基于因果发现的特征选择模块旨在从历史龙撤退形态中提取特征集。该特征集由基于因果发现的特征选择模块识别出的、被认为能够反映价格趋势的模式衍生特征组成，从而有助于减少冗余或虚假相关特征的纳入。为实现这一目标，该模块首先在因果发现框架下根据历史龙撤退形态构建图形结构，然后推导出价格趋势的马尔可夫毯，以此确定一个由因果发现指导的特征子集。最终，这些特征被纳入状态表示中，从而为强化学习智能体提供关于价格动态的稳健且持续的信息。在基于深度强化学习的资产组合再平衡模块中，采用了带剪裁功能的近端策略优化算法（PPO-Clip）（Zakharenkov和Makarov，2021）来基于改进后的状态表示优化再平衡策略。选择这种算法主要基于两个考虑因素。首先，PPO是一种基于轨迹采样的无模型策略优化方法，它不依赖于通过环境转换或动作执行过程实现的端到端显式差异化处理。这使得PPO能够自然地适应存在非平滑和部分不可微分操作的受限交易环境。其次，在交易量限制和流动性限制的共同作用下，从原始动作到实际成交的映射变得类似阶梯状且不平滑：在某些局部区域内，相邻的动作可能会带来相同的实际执行结果，而在接近约束阈值时的微小动作变化则可能引发执行结果的突然变化。这样的反馈结构会降低局部动作变化对政策优化的参考价值，使优化更容易受到不稳定更新的影响。在这种环境下，PPO-Clip的剪裁替代目标函数能够限制连续策略之间的过度偏差，从而有助于减轻策略更新的波动性，促进更为保守和稳定的优化。此外，由于PPO优化的是随机策略，即使实际结果在局部保持不变，动作样本仍可能在附近的执行阈值附近进行探索，这有助于在局部信息不足的区域进行更好的探索。另外，由于龙撤退形态与特定资产相关，因此设计了一种资产特定架构并将其集成到PPO-Clip框架中，以便在策略学习过程中更好地保留各股票的特定形态信息。具体而言，该架构会对改进后的状态表示进行资产特定的特征编码和决策建模，从而使策略在资产组合再平衡时能更好地响应特定资产的龙撤退形态信号。总体而言，本文的主要贡献如下：•提出了一种基于龙撤退多阶段K线图模式嵌入的深度强化学习资产组合再平衡方法。通过将多阶段K线形态纳入状态表示中，能够提供更准确的关于价格持续变动的信息，从而帮助基于深度强化学习的智能体采用更为稳定且高效的资产再平衡策略，尤其是在现实市场环境中。•本文提出了一种基于时间段的“龙形回调”形态识别方法。该方法将形态视为一系列连续的时间段，并通过逐阶段匹配来识别完整形态，从而支持对在线数据进行低成本、逐步处理，并直接生成结构化的数值形态表示。这种设计非常适合用于基于深度强化学习的资产组合再平衡，因为它避免了基于图像的识别方法所带来的额外融合复杂性、计算开销以及潜在的信息损失。•设计了一个基于因果发现的特征选择模块，用于为后续的价格趋势构建基于马尔可夫毯的特征集。通过引入因果发现技术，该模块有助于减少状态表示中包含的噪声特征和虚假相关特征，进而提升所提出的深度强化学习-动态概率模型选择算法的性能。•开发了一个基于深度强化学习的资产组合再平衡模块，用于在交易规模和流动性约束条件下优化再平衡策略。在该模块中，采用了PPO-Clip算法来促进策略的稳定优化，同时还将针对不同资产的架构集成到PPO-Clip框架中，以便在策略学习过程中更好地保留与“龙形回调”相关的特定股票信息。本文的其余结构如下：第2节回顾了关于多阶段K线形态、因果学习以及资产组合再平衡的相关研究；第3节阐述了本文重点研究的资产组合再平衡问题；第4节介绍了结合“龙形回调”多阶段K线形态嵌入的深度强化学习资产组合再平衡方法；第5节报告了一系列实验结果，包括对比实验和消融实验，用以评估所提方法的有效性；最后，第6节对全文进行总结并探讨未来的研究方向。

多阶段K线形态
K线形态被定义为一系列反映市场情绪并蕴含价格趋势信息的K线组合（Heinz等人，2021年），长期以来一直是量化金融领域的核心研究主题。这类形态已被广泛应用于价格趋势预测（Liang等人，2022年）、交易策略设计（Lu等人，2012年）以及机器学习模型的特征工程（Lin等人，2021年），在诸多应用中，K线形态都被视为重要的分析工具。

问题建模
本文聚焦于存在交易成本、交易规模限制及流动性约束条件下的资产组合再平衡问题。该问题的目标是在动态市场中依次重新分配资产，以实现预期收益的最大化。这样的序贯决策过程恰好符合马尔可夫决策过程（简称MDP）的框架：M=〈S,A,P,R,γ〉，其中S代表状态空间，A表示动作空间，P为状态转移分布，R则定义了奖励函数。

所提方法
在基于深度强化学习的资产组合再平衡方法中，重新分配决策是通过让市场状态表示经过经过深度神经网络优化后的强化学习模型来确定的。因此，决策的可靠性与有效性在很大程度上取决于状态表示的质量，尤其是其总结价格动态相关特征的能力。不过，目前大多数方法都是基于历史价格来构建状态表示的。

实验分析
为验证所提出的深度强化学习-动态概率模型选择算法的性能，本文进行了两组实验。第一组实验是在15年的样本期内，以深证50指数和上证180指数的 constituent stocks为对象，在滚动窗口环境下，将该算法与六种其他竞争性方法进行对比测试。此外，还进行了参数敏感性实验，以研究该算法及其他对比方法对不同流动性条件的敏感程度。

结论与未来工作
本文提出了一种结合“龙形回调”多阶段K线形态嵌入的深度强化学习资产组合再平衡方法。与其他基于深度强化学习的资产组合再平衡方法相比，所提方法能够将“龙形回调”多阶段K线形态的相关信息融入状态表示中。与其他方法中仅使用原始价格或基于价格的技术指标作为状态表示不同，该方法具有更强的信息表达能力。

CRediT作者贡献说明
白玉阳：撰写——初稿、软件工具、方法论、形式化分析、数据整理、概念设计。张长胜：撰写——审稿与编辑、方法论。刘龙浩泽：软件工具。孙柏青：方法论。孙昊轩：方法论。王世佳：方法论。张东：方法论。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了中国中央高校基本科研业务费的支持（项目编号N25BSS022）。