LSTM：用于高频交易预测的最优输出
LSTM：用于高频交易预测的最优输出
本文介绍了一种创新的长短期记忆（LSTM）单元，名为最优输出 LSTM（OPTM-LSTM），其旨在实时选定最优的门或状态作为最终输出。该单元具备浅拓扑结构，具有最短的回顾期，且支持在线训练。通过在美国和北欧股票的限价单簿（LOB）中展开测试，结果表明 OPTM-LSTM 在高频交易预测任务中表现出色，特别是在预测 LOB 中间价格时，相比其他循环神经网络，其拥有更低的预测误差。
一、引言
高频交易（HFT）在美国股票市场的交易活动中占据超过 50%的份额。在 HFT 过程中，信号和交易能够在几纳秒内被分析和执行，这种速度要求为参与者提供了利用其基础设施和专业技术知识的机会。文章中提到了限价单簿（LOB）的概念，这是 HFT 活动的一种形式，其中流动性提供者和流动性接受者形成订单流动的动态。文章还强调了快速订单流动信息分析的重要性，特别是预测限价单簿的下一个中间价格，这是实验协议的主要目标。预测下一个中间价格等同于在线或逐刻预测，这在数据规模消化和时间不规则性检查方面是一个挑战。这些挑战可以通过特定类型的神经网络（NN）来妥善处理，特别是循环神经网络（RNN）家族中的长短期记忆神经网络（LSTM）。LSTM 在多个领域，包括金融和算法交易中，已经展示出了良好的预测能力。文中还提到了 HFT LOB 数据集的研究需要模型能够解析所有相关信息而不产生处理延迟。此外，文章探讨了构建实时在线机器学习实验协议的挑战，不仅仅是工程目标（即 LOB 的中间价格预测），还包括开发适合基于较少训练周期的短期训练的动态调整的 NN。
二、相关工作
LSTM 网络已成功应用于预测中间价格的变动，并展现出卓越的预测能力。此外，通过引入注意力机制，LSTM 的预测性能得到了进一步提升。还有研究将 LSTM 与注意力机制相结合，用于预测股票价格的跳跃。LSTM 也被用于市场做市策略的实施。LSTM 单元的架构基于一系列预定义的操作，这些操作基于对内部计算顺序、门/状态数量和单元输出信息的假设。文中提到了一些研究，这些研究根据信息流调整 LSTM 内部门的顺序，但这些方法存在一些限制，例如调整或消除 RNN 门并不直接与最终预测目标相关联。此外，文中还提到了一些简化的 LSTM 单元结构，以及对 LSTM 单元中最重要的门进行修改的建议。还有一些研究提出了更轻量级的 RNN 单元。文中还提到了 LSTM 网络的更复杂变体，例如 peephole LSTM 和双向 LSTM，这些变体在预测开盘、最高、最低和收盘股票价格方面有效。LSTM 还被用作混合模型，与 CNN 结合用于股票价格预测。尽管这些模型在预测方面表现出色，但它们在处理高速信息流时不够灵活，因为 LSTM 单元在训练和学习期间保持静态，并且与预测任务脱节。
三、方法提出
高频交易限价单簿（LOB）的行为特征表现为股票库存的迅速变动，这会直接对股票价格产生影响。为了有效应对这种动态变化，所提出的长短期记忆（LSTM）网络需要具备迅速识别这些变化并提供优化建议或信息的能力。
文章提出了一种自适应的长短期记忆（LSTM）单元架构，即 OPTM-LSTM 单元，它与现有的循环神经网络（RNN）单元在两个关键方面存在差异：首先，LSTM 单元的门和状态被视为特征，并通过内部特征重要性机制来评估它们处理在线信息流的能力；其次，该机制作为一个非预测性监督回归问题，依赖于代表当前已知限价单簿（LOB）中间价格的标签。
OPTM-LSTM 单元的核心理念在于优化 LSTM 单元的原始机制，通过对内部的门和状态的重要性进行在线评估，来重新排列和选择 LSTM 单元的最终输出。这一过程涉及到一个内部的非预测性监督回归问题，该问题与主要的预测目标（即预测下一个中间价格）相似但并不相同。
OPTM-LSTM 单元的工作原理基于两个关键要素：简单的优化方法（遵循梯度下降学习算法）和非预测性监督回归问题。这两个要素在 LSTM 单元内部进行结合，优化结果随后传递给下一个 LSTM 单元。
在结构上，OPTM-LSTM 单元包含与原始 LSTM 单元相同数量的门和状态，以及相同数量的输出。不同之处在于，在生成两个输出张量（即时间 t 的隐藏和细胞状态）之前，会进行一个基于内部非预测性监督回归的特征重要性计算。
特征存储库（Feature Repo）是一个包含六个内部门和状态的集合，基于梯度下降学习算法更新的梯度权重这些组件结合在一起，通过计算每个内部门或状态的平均重要性来确定哪个状态或门是最重要的特征。
此外，文章还对在线梯度下降算法进行了描述，并对 OPTM-LSTM 单元的时间和空间复杂度进行了分析，其中包括前向传播和反向传播（BPTT）的复杂度分析。
LSTM 架构的关键优势在于其能够保留信息，并避免梯度消失或爆炸的问题。文章还通过实验方法，观察到了 LSTM 单元内部状态和门的行为特征，这些观察结果为开发 OPTM-LSTM 单元提供了依据。
四、实验
实验部分的目的在于验证 OPTM-LSTM 单元在高频交易（HFT）预测任务中的表现。该实验的目标是预测限价单簿（LOB）的下一个中间价格，这是一个在线回归预测任务，其不依赖于时间信息，而是依赖于每个交易事件的最新信息。
4.1 数据集和实验协议
实验使用了包括美国和北欧的高流动性和低流动性股票的数据集，数据遵循ITCH协议，确保了市场数据的超低延迟。
数据集涵盖了2015年的前两个月的两支美国股票和2010年的两支北欧股票的交易数据。
实验采用了渐进式训练方法，训练集包含高达2000万次交易事件，测试集则使用了1000次交易事件。
4.2 性能评估
性能通过均方误差（MSE）来评估，这是衡量预测准确性的常用指标。
实验结果基于原始数据和两种不同的数据归一化方法：最小-最大归一化（MinMax）和Z分数标准化（Zscore）。
4.3 实验设置
实验比较了OPTM-LSTM单元与其他几种循环神经网络（RNN）结构，包括标准LSTM、带有注意力机制的LSTM、双向LSTM、GRU以及LSTM和CNN的混合模型。
还包括了两个基线模型：一个基于LOB数据输入的朴素回归器和一个基于中间价格的持续性算法。
4.4 训练和测试
训练过程采用了在线学习的方法，其中模型在每个交易事件后立即更新。
测试过程则是在训练集之后立即进行，以评估模型对新数据的预测能力。
4.5 结果
OPTM-LSTM 在多个数据集上呈现出较低的均方误差（MSE）分数，这彰显了其在预测任务中的卓越性能。
相较于其他循环神经网络（RNN）模型，OPTM-LSTM 在不同的数据规模和归一化设定下，均展现出更为出色的稳定性和预测精准度。
4.6 局限性和未来研究方向
尽管 OPTM-LSTM 在实验中取得了显著的成果，然而，该研究存在一定的局限性，即所涉及的股票数量有限，且交易时间范围也受到了限制。
未来的研究方向可以包括拓展股票样本的范围以及延长交易时间的跨度，同时探索将 OPTM-LSTM 应用于其他在线预测任务的可行性。
五、总结
本文概述了 OPTM-LSTM 单元在高频交易（HFT）预测任务中的优势，涵盖了其在多个数据集上取得的低预测误差以及快速适应市场变化的能力，并明确了研究的局限性，例如股票样本数量和交易时间范围的限制。同时，提出了未来研究的方向，如将 OPTM-LSTM 应用于其他在线预测任务，以及进一步优化模型以处理更广泛的市场数据和交易场景。
本文内容仅仅是技术探讨和学习，并不构成任何投资建议。
转发请注明原作者和出处。