推断伊斯坦布尔证券交易所的潜在交易动机：一种比较性的逆强化学习方法

《Borsa Istanbul Review》：Inferring latent trading motivations in Borsa Istanbul: A comparative inverse reinforcement learning approach

　　库比莱·卡拉卡姆 | 梅赫梅特·亚辛·乌卢库斯
数据科学与分析系，伊斯坦布尔技术大学，ITU Macka校区，贝西克塔斯，伊斯坦布尔，34367，土耳其

**摘要**
我们利用2506个交易日的数据，研究了伊斯坦布尔证券交易所国内外经纪公司的不同交易行为。通过应用线性回归和最大熵逆强化学习方法，我们恢复了驱动经纪人决策的潜在奖励函数，并将其与监督学习基线进行了对比。进一步通过历史回测评估了推断出的策略的财务可行性，使用了夏普比率和最大回撤率等指标。我们的研究结果揭示了明显的战略差异：在面对相同的市场状况时，国内外经纪人表现出不相关的奖励结构。这些关于代理异质性的见解为监管机构和市场参与者提供了一种监测市场微观结构和稳定性的新工具。

**1. 引言**
经纪公司在新兴市场中起着关键中介作用，但其决策过程对监管机构和投资者来说仍然不透明。这些公司通过促成大量交易量，在价格发现和市场流动性方面发挥着重要作用（Agarwal等人，2011年；Bodie等人，2018年）。因此，了解他们如何解读市场信号并选择交易行为至关重要。这样的见解可以帮助投资者应对市场复杂性，支持监管机构维护市场完整性并降低系统性风险，并为开发更稳健的金融模型提供依据。
传统的计量经济模型往往无法捕捉这些代理的非线性、适应性动机。机器学习的最新进展为建模此类复杂的决策过程提供了新的方法（Dixon和Halperin，2020年；Halperin和Feldshteyn，2018年；Yang等人，2015年；Yang等人，2018年）。
尽管强化学习（RL）可以优化策略，但它需要一个已知的奖励函数。我们通过应用逆强化学习（IRL）来恢复观察到的行为背后的潜在奖励结构（Ng & Russell，2000年），以解决这一限制。我们专注于线性IRL（LIRL）（Ng & Russell，2000年）和最大熵（MaxEnt）IRL（Ziebart等人，2008年），旨在推断出背后的动机而不仅仅是模仿行为。尽管IRL已应用于算法交易和投资组合管理（Halperin，2019年；Halperin等人，2022年），但其系统化用于建模和区分经纪公司行为的情况仍然有限。
在此背景下，本研究考察了两家主要经纪公司在10年期间（2506个交易日）对十种股票的交易行为。数据集包括详细的交易变量（即代理标识符、交易数量、成本和净数量）以及聚合的买卖数据。我们还纳入了七个技术指标，以捕捉经纪人如何实时解读常见的买卖信号。主要目标不是完美的行为预测（“什么），而是恢复可解释的奖励函数，以解释经纪人在不同市场条件下的行为选择原因（“为什么”）。

**2. 文献综述**
金融市场日益复杂，加上大数据分析的扩展，推动了大量关于建模和预测中介机构行为的研究。经纪公司是这些市场的核心，它们执行订单，并经常提供做市、咨询和投资组合管理服务（Bodie等人，2018年；Fabozzi，2015年；Mishkin和Eakins，2019年）。它们的行为影响着流动性、波动性和整体市场健康状况（Allen和Santomero，1997年；Yava?，1994年）。由于策略是专有的，市场条件高度动态，且行为偏差可能影响决策（Kahneman和Tversky，1979年；Mishkin和Eakins，2019年；O’Hara，2015年），因此对其行为进行建模具有挑战性。这些挑战促使人们采用了数据驱动的机器学习方法（Brunnermeier，2001年）。
另一个研究方向是技术分析，它利用历史价格和成交量数据来预测价格走势（Kirkpatrick II和Dahlquist，2010年；Murphy，1999年），基于市场行为和投资者心理嵌入价格中的前提（Pring，2014年）。常见的指标包括移动平均收敛发散（MACD）（Appel，2005年）、相对强弱指数（RSI）（Wilder，1978年）、简单移动平均线（SMA）（Brock等人，1992年）、布林带（Bollinger，2002年）、随机振荡器（STOCH）（Lane，1984年）、威廉姆斯%R（Williams，1979年）和变化率（ROC）（Pring，2014年）。实证证据尚无定论（Brock等人，1992年；Lo等人，2000年；Neely等人，1997年），因为这些方法依赖于过去的数据且容易受到虚假信号的干扰（Menkhoff和Taylor，2007年；Park和Irwin，2007年），因此通常建议与其他分析方法结合使用（Blume等人，1994年）。
Sutton和Barto（2018年）将强化学习定义为在不确定性下通过与环境的互动来学习序列决策，而Russell和Norvig（2020年）强调了奖励和惩罚在塑造行为中的作用。在金融领域，Moody和Saffell（1998年）首次将其应用于算法交易，后续研究将其扩展到投资组合优化和做市。Dabérius等人（2019年）和Deng等人（2016年）展示了Q学习、双深度Q网络（DDQN）、近端策略优化（PPO）和深度确定性策略梯度（DDPG）等方法如何优化价值或策略函数。应用包括最小化市场影响（Ning等人，2021年）、动态资产配置（Jiang等人，2017年）、期权定价和对冲（Halperin，2020年）以及库存风险管理（Spooner等人，2018年）。然而，Nevmyvaka等人（2006年）指出了持续的挑战，包括高维状态空间、奖励设计难度以及探索-利用权衡，这些挑战推动了逆强化学习（IRL）的发展。
Ng和Russell（2000年）将IRL定义为从专家行为中推断出潜在的奖励函数，当目标隐含或复杂时，这种策略非常有价值（Ziebart，2010年认为）。Abbeel和Ng（2004年）引入了基于特征的线性IRL，在机器人技术和人类行为建模中有效（Argall等人，2009年进行了调查）。Ziebart等人（2008年）提出了MaxEnt IRL，它以概率方式建模行为，并匹配特征期望以考虑噪声和次优性。在金融领域，Avellaneda和Stoikov（2008年）提供了一个基础性的微观结构模型，为后续基于IRL的工作提供了依据；Yang等人（2015年）逆向工程了交易策略，Halperin（2019年）学习了定价和对冲策略，Dixon和Halperin（2020年）推断了投资者偏好，Yang等人（2018年）将行为与情绪联系起来。尽管取得了这些进展，Dixon等人（2020年）和Halperin等人（2022年）指出在高频环境和基于深度学习的IRL中的应用仍然有限。
总体而言，文献在将强化学习和IRL应用于金融领域方面取得了显著进展。强化学习非常强大，但受到奖励设计挑战的限制，特别是对于多方面的经纪目标（Nevmyvaka等人，2006年）。IRL通过直接从数据中推断目标解决了这一限制（Ng & Russell，2000年）。然而，对经纪人策略的实证应用仍然很少，且通常集中在投资组合层面而非中介机构交易行为上（Halperin，2019年；Yang等人，2015年）。在金融领域，对LIRL、MaxEnt IRL和监督学习的比较研究也有限。本研究通过比较这些方法在经纪公司策略建模中的应用，为更稳健的市场分析提供了见解。

**3. 数据**
数据集包括两家主要经纪公司Merrill Lynch Yat?r?m Bank A.?.（MLB）和Yap?Kredi Yat?r?m Menkul De?erler A.?.（YKR）在伊斯坦布尔证券交易所（BIST）的每日交易记录。选择这两家公司是因为它们的交易量较大，且客户群体不同，分别代表了外国机构（MLB）和国内（YKR）的交易行为。数据通过Matriks Data和Yahoo Finance API获取，涵盖了2015年1月至2025年1月的2506个交易日。样本涵盖了BIST 10指数中的10只最具价值的股票：AKBNK（银行业）、BIMAS（零售业）、EREGL（钢铁业）、ISCTR（银行业）、KCHOL（控股公司）、SAHOL（控股公司）、SISE（玻璃制造业）、TCELL（电信业）、THYAO（航空业）和TUPRS（石油精炼业）。
数据集包括详细的交易变量（如代理标识符、交易数量、成本和净数量）以及聚合的买卖数据。我们还纳入了七个技术指标，以捕捉经纪人如何实时解读常见的买卖信号。主要目标不是完美的行为预测（“什么”，而是恢复可解释的奖励函数，以解释经纪人在不同市场条件下的行为选择原因（“为什么”）。

**4. 方法论**
第2节回顾了相关文献。第3节描述了数据和预处理程序。第4节概述了方法论，包括LIRL、MaxEnt IRL和监督学习框架。第5节介绍了实验设置、结果和讨论。第6节总结了主要发现、意义及未来研究的方向。具体来说，对于每一对股票-经纪人组合（s,b），用nqs,b,t表示第t天的净成交量（买入量减去卖出量），并定义?s,b?0.05nqs,bmin和us,b?0.05nqs,bmax，其中nqs,bmin=min(t)nqs,b,t，nqs,bmax=max(t)nqs,b,t。如果nqs,b,t>us,b，则分类为买入；如果?s,b≤nqs,b,t≤us,b，则分类为持有；如果nqs,b,t0.05）。例如，EREGL的相关性接近零（r=0.0317），而THYAO表现出负相关（r=?0.2609）。即使对于ISCTR（r=0.4975）和BIMAS（r=0.3434），显示出最高的正相关性，状态级别的显著差异仍然存在。这种普遍缺乏相关性强烈表明MLB和YKR的操作具有根本不同的奖励结构。通过不同的战略视角评估相同的技术信号可能反映了它们不同的客户基础（外国机构与国内）和不同的风险偏好。图3展示了四种选定股票的标准化恢复奖励函数，代表了不同程度的战略相关性。所有10只股票的完整奖励函数可视化在附录A中提供。

表5. MLB和YKR恢复的LIRL奖励函数之间的皮尔逊相关系数
| 代码 | 皮尔逊相关系数 |
|------|-----------|
| AKBNK | 0.3153 |
| BIMAS | 0.3434 |
| EREGL | 0.0317 |
| ISCTR | 0.4975 |
| KCHOL | 0.2499 |
| SAHOL | ?0.2214 |
| SISE | ?0.1410 |
| TCELL | ?0.0482 |
| THYAO | ?0.2609 |

图3(a)显示了MLB和YKR在四种选定股票上的标准化恢复奖励函数之间的最高正相关系数（r=0.4975），表明它们在评估这种股票的不同市场状态时存在某种一致性。两种经纪人都对状态（0, 0, 1）（趋势：中性，持有；动量：中性，持有；ROC：正面，买入）赋予了较高的正面奖励（MLB：1.29，YKR：1.36），而对状态（?1, 1, 0）赋予了较低的负面奖励（MLB：?1.04，YKR：?1.08）。然而，也存在差异；在状态（?1, 0, 0）中，MLB赋予了正面奖励（0.42），而YKR赋予了负面奖励（?1.08），并且在状态（1, ?1, 1）等状态下，YKR的估值更为极端（YKR：?2.27对比MLB：0.88）。BIMAS在图3(b)中显示出中等正相关（r=0.3434），表明一致性和统计上的一致性有限。两种热图单元显示了标准化的奖励值：正值（红色）表示偏好状态，而负值（蓝色）表示经纪人倾向于避免的状态。对于EREGL（图3(c)），相关性实际上为零（r=0.0317），表明MLB和YKR的奖励结构之间没有线性关系。它们的奖励曲线在很大程度上是独立的。例如，在状态（0, 0, 1）中，YKR分配了一个接近中性的奖励（0.19），而MLB分配了一个强烈的正面奖励（2.19）。相反，在状态（1, ?1, 0）中，MLB显示了一个负面奖励（?0.68），而YKR分配了一个强烈的正面值（4.01），这强化了它们不同的估值。最后，THYAO显示出显著的负相关性（r=?0.2609）（图3(d)）。这意味着MLB认为有利的市场状态通常被YKR认为是不利的，反之亦然。一个明显的例子是状态（1, ?1, ?1），MLB有一个强烈的负面奖励（?4.83），而YKR显示了一个强烈的正面奖励（1.57）。同样，在状态（?1, 1, 0）中，MLB的奖励是正的（0.53），而YKR的奖励是负的（?2.09），这表明对相同市场信号有不同的战略反应。这些可视化结果，加上相关性分析，突显了经纪人偏好的显著异质性。即使在相同的技术市场状态下，经纪人也会得出不同的效用，从而导致不同的交易行为，并反映出不同的战略定位。除了结构分析之外，我们还通过财务回测评估了LIRL恢复策略的实际可行性。表6报告了投资组合绩效指标，包括总回报、夏普比率和最大回撤。财务结果突显了该模型以不同精度复制风险调整后行为的能力。对于MLB，LIRL模型的总回报为36.38%，与真实行动策略（37.27%）非常接近。LIRL策略还表现出更好的风险特征，夏普比率更高（1.59 vs 1.46），最大回撤更低（?7.16% vs ?9.27%），优于观察到的经纪人数据。这表明IRL框架捕捉到了经纪人的保守、风险规避的核心策略，同时过滤掉了导致实现波动性增加的执行噪声。表6. 用于评估经纪人策略的LIRL投资组合绩效指标（MLB/YKR）。经纪人模型总回报（%）夏普比率最大回撤（%）卡尔玛比率索尔蒂诺比率基准BIST 10137.911.45?23.375.902.46MLBLIRL36.381.59?7.165.082.46MLB真实行动策略37.271.46?9.274.022.54YKRLIRL19.340.96?9.522.031.51YKR真实行动策略26.111.23?6.903.781.88对于YKR，LIRL模型（总回报19.34%）的表现低于真实行动策略（26.11%），夏普比率也较低（0.96）。这一差距与F1分数结果一致，表明YKR的策略可能涉及线性奖励规范无法捕捉到的非线性动态或外部信息。尽管如此，两个LIRL模型产生的回撤都显著低于BIST 10基准（?23.37%），表明它们恢复了优先考虑资本保值而非激进增长的核心偏好。累积回报轨迹显示在图4和图5中。下载：下载高分辨率图像（227KB）下载：下载全尺寸图像图4. 基于MLB的LIRL策略与真实行动策略的比较累积回报轨迹。下载：下载高分辨率图像（256KB）下载：下载全尺寸图像图5. 基于YKR的LIRL策略与真实行动策略的比较累积回报轨迹。5.3. MaxEnt IRL模型结果我们使用测试集上的宏观平均F1分数来评估MaxEnt IRL模型复制观察到的交易策略的能力。通过识别在最大熵分布下为观察到的轨迹分配更高概率的奖励函数，该模型预测每个状态中最可能的行动（买入、卖出或持有）。表7报告了这些F1分数。表7中报告的MaxEnt IRL模型的表现对于特定的经纪人-股票对显示出强劲的结果。对于MLB，该模型在EREGL（0.4789）和SAHOL（0.4658）上表现最佳，而对于YKR，它在TUPRS（0.4571）和SAHOL（0.4451）上获得了高F1分数。与LIRL相比，MaxEnt在某些情况下提高了性能（例如，MLB在EREGL上的表现（0.4789 vs 0.3868），这可能是由于它能够模拟非最优行为。然而，在其他情况下，性能较弱，例如MLB在TUPRS上的表现（0.2963），表明其概率公式并不总是产生更好的策略恢复。表7. MaxEnt IRL在BIST 10股票上的策略恢复F1分数。股票代码MLB F1分数YKR F1分数AKBNK0.43950.4052BIMAS0.34040.3733EREGL0.47890.4411ISCTR0.37200.3872KCHOL0.43160.4371SAHOL0.46580.4451SISE0.37200.3912TCELL0.41420.4400THYAO0.43390.3194TUPRS0.29630.4571尽管总体F1分数保持中等水平——与第5.2节讨论的局限性一致，包括市场噪声和特征维度受限——结果表明MaxEnt的灵活概率框架有效地捕捉了经纪人策略，特别是在行为偏离严格最优性时。MaxEnt IRL推断出一个奖励函数，为27个市场状态中的每一个分配值，代表了概率框架内的经纪人偏好。我们使用皮尔逊相关性比较了MLB和YKR的这些奖励结构，结果报告在表8中。与LIRL结果一致，MaxEnt模型在恢复的奖励函数中没有发现统计上显著的相关性（表8）。在所有股票代码中，皮尔逊系数的幅度都很小，相关的p值超过了常规阈值，表明MLB和YKR之间没有共享的概率状态偏好。图6(a)比较了MaxEnt IRL为两支选定的股票恢复的标准化奖励函数。对于AKBNK（图6(b)），相关性实际上为零（r=?0.0238），表明奖励结构是独立的。这在热图中很明显：MLB对状态（0, 0, ?1）分配了一个强烈的正面奖励（奖励：1.65），而YKR分配了一个接近中性的值（?0.02）。相反，YKR强烈偏好状态（0, 0, 1）（奖励：2.00），而MLB的奖励可以忽略不计。这些模式证实了对市场状态的根本不同解释。这些可视化结果展示了MaxEnt IRL如何捕捉代理人策略之间的细微关系，识别出资产间奖励结构的一致性和差异。这比纯确定性框架提供了更详细的经纪人行为视图。除了概率策略分析之外，我们还通过回测评估了MaxEnt IRL策略的财务表现。表9报告了投资组合指标，包括总回报、夏普比率和最大回撤，与实际经纪人表现相对。财务回测结果表明，MaxEnt IRL模型捕捉到了目标经纪人的盈利行为，通常产生的回报与原始策略紧密跟踪或略有超出。对于MLB，MaxEnt模型的总回报为39.71%，略优于真实行动策略（37.27%），尽管波动性更高，表现为更大的最大回撤（?11.84% vs ?9.27%）。同样，对于YKR，MaxEnt策略的回报为28.12%，超过了经纪人的实际回报26.11%。然而，YKR的风险状况恶化得更严重，最大回撤增加（?13.72% vs ?6.90%），夏普比率下降到1.16。这些结果表明，虽然MaxEnt捕捉到了方向性交易偏好，但它并没有完全反映经纪人在执行中的风险规避约束。累积回报轨迹显示在图7和图8中。表9. 使用MaxEnt IRL的不同经纪人的整体投资组合绩效指标。经纪人模型总回报（%）夏普比率最大回撤（%）卡尔玛比率索尔蒂诺比率基准BIST 10137.911.45?23.375.902.46MLBMaxEnt39.711.39?11.843.352.53MLB真实行动策略37.271.46?9.274.022.54YKRMaxEnt28.121.16?13.722.051.76YKR真实行动策略26.111.23?6.903.781.88下载：下载高分辨率图像（231KB）下载：下载全尺寸图像图7. 基于YKR的MaxEnt IRL策略与真实行动策略的比较累积回报轨迹。下载：下载高分辨率图像（239KB）下载：下载全尺寸图像图8. 基于MLB的MaxEnt IRL策略与真实行动策略的比较累积回报轨迹。5.4. 比较分析和讨论监督学习为预测经纪人行为提供了强有力的基准，LR和RF在所检查的股票中通常表现良好。然而，IRL模型仍然具有竞争力：LIRL在某些资产上表现特别好，例如SAHOL，而MaxEnt IRL在EREGL等情况下提高了结果。因此，尽管行为克隆在预测观察到的行为方面有效，IRL在恢复这些行为背后的潜在结构方面也提供了可比的性能。回测结果揭示了明显的方法论权衡。监督模型在某些情况下可以产生强劲的回报，如MLB-KNN模型所示，但这种性能并不在所有经纪人中都同样适用。相比之下，IRL模型更一致地复制了经纪人的核心战略概况。LIRL提供了最保守的风险概况，具有更高的夏普比率和更低的回撤，表明它捕捉到了结构风险约束并过滤掉了一些执行噪声。MaxEnt IRL更接近地匹配了两种经纪人的实现回报，在某些情况下甚至略有超出，但代价是更高的波动性，表明它在捕捉方向性利润追求行为方面比风险控制更有效。IRL相对于监督学习的主要优势在于可解释性。监督模型可以近似经纪人可能采取的行动，但它们无法解释为什么采取该行动。相比之下，恢复的奖励函数提供了经纪人相对于市场状态的偏好的一种可解释的表示。这些奖励应被视为反映利润追求动机、风险规避和机构约束的复合潜在效用，而不仅仅是利润和损失的直接衡量。因此，MLB和YKR奖励结构之间的差异与客户基础、投资者构成和对市场波动性的敏感性差异一致。LIRL和MaxEnt IRL之间的比较进一步明确了这种异质性。在LIRL施加的确定性假设下，两种经纪人之间的奖励相关性通常较低且大多不显著。尽管MaxEnt IRL允许随机行为，但它得出了相同的总体结论：LIRL隔离了表达的最优行动之间的差异，而MaxEnt IRL表明即使在允许行为随机性的情况下，这种差异仍然存在。综合来看，这些发现表明经纪人不仅在最可能的行动上有所不同，而且在对市场状态的估值上也存在差异。同时，所有方法都受到本研究中使用的简化状态表示的约束。F1分数总体上处于中等水平，表明聚合的技术特征并未完全捕捉到驱动经纪人行为的信息集。基本信号、订单流、新闻和宏观经济条件没有被包括在内，两种IRL模型中的线性奖励规范可能进一步限制了它们表示更复杂偏好的能力。总体而言，这些方法应被视为互补的。监督学习提供了预测性基准；LIRL特别有助于识别确定性的战略结构和风险敏感行为；而MaxEnt IRL提供了在行为随机性下的更灵活的偏好视图。MLB和YKR之间的持续差异是本研究的主要发现之一。6. 结论我们研究了LIRL和MaxEnt IRL是否能够模拟两家经纪公司MLB和YKR在BIST 10中的交易行为，并将它们的表现与监督学习进行了比较。使用2506个交易日的交易数据和技术指标，我们从经纪人行为中恢复了潜在的奖励函数，并评估了公司之间的战略异质性程度。两种IRL模型都解释了观察到的交易行为的有意义部分。它们的策略恢复F1分数与随机森林和逻辑回归等监督基线具有竞争力，表明IRL不仅可以作为预测工具，还可以作为研究复杂金融市场决策的推理框架。财务回测揭示了明显的方法论权衡。监督模型在某些情况下可以为特定资产生成强劲的回报，但它们的表现并不在所有经纪人中都同样一致。相比之下，IRL方法提供了更稳定的战略复制，具有不同的风险回报概况。LIRL提供了更强的风险调整后表现，具有更高的夏普比率和更低的回撤，这与确定性奖励恢复捕捉到持久风险约束的观点一致，同时过滤掉了一些执行噪声。MaxEnt IRL更接近地匹配了实现的总回报，在某些情况下甚至略有超出，但代价是更高的波动性。从行为角度来看，两种IRL模型都揭示了经纪人之间的显著异质性。LIRL在确定性最优性下推断出截然不同的奖励结构，而MaxEnt IRL在概率框架下得出了相同的总体结论。这表明所记录的异质性在确定性和随机行为假设下都是稳健的，同时也表明模型选择会影响关注点是在最优行动上还是在更广泛的状态评估上。这突显了IRL相对于监督学习的一个核心优势：监督学习模型预测经纪人可能采取的行动，而IRL通过量化市场状态的吸引力来帮助解释原因。从这个意义上说，IRL可以为监管机构和市场分析师提供一个定量工具，用于研究大宗交易与价格发现和流动性的关系，以及评估不同代理对相同市场状态的估值。本研究通过将LIRL和MaxEnt IRL应用于真实经纪公司的数据，并展示了如何利用技术信号恢复可解释的奖励函数，为相关文献做出了贡献。同时，仍存在一些局限性。为了保持可行性和可解释性，我们使用了由七个技术指标构建的离散状态空间。这种表示方法可能忽略了诸如基本面、订单流、新闻和宏观经济条件等相关信息。此外，奖励规范R(s)虽然捕捉了状态偏好，但抽象了执行细节。未来的研究可以通过纳入更丰富的特征、更广泛的代理群体和更多样化的市场条件来扩展这一框架。深度IRL方法可能更好地处理高维连续状态空间，而状态-行动奖励规范R(s,a)可以明确纳入交易成本、市场影响和库存风险。研究推断出的奖励函数在市场制度中的演变也有助于澄清金融中介的适应行为。总体而言，我们的发现表明IRL提供了一个实用且可解释的框架，用于分析经纪公司的决策制定并改进市场微观结构分析。

**作者贡献声明：**
Kubilay Karacam：概念化、数据整理、形式分析、方法论、可视化、初稿撰写。
Mehmet Yasin Ulukus：概念化、形式分析、方法论、监督、审稿与编辑。

**资金支持：**
本研究未获得公共部门、商业部门或非营利部门任何特定资助机构的资助。