首次！GPT-2赋能无线通信物理层，北大团队提出基于预训练LLM的信道预测方案

首次！GPT-2赋能无线通信物理层，北大团队提出基于预训练LLM的信道预测方案

北京大学电子学院程翔团队在无线通信领域取得重要突破，首次将预训练大语言模型（LLM）应用于信道预测任务。研究团队提出了一种基于预训练GPT-2的MIMO-OFDM信道预测方案LLM4CP，该方案在TDD和FDD通信系统中均展现出优异的预测性能。

在无线通信中，信号经由无线信道传递通常会受到能量衰减、噪声干扰等影响，导致用户侧接收到的信号与基站发出的信号存在一定程度的变化。要想保证信号传输的准确性和有效性，就需要了解精确的信道状态信息（CSI），并根据接收侧信号复原始发信号。

信道预测是实现CSI高效获取的一项核心技术，其根据历史时刻CSI序列预测未来CSI，可以极大减少信道估计与反馈开销。尤其是面向5G/6G MIMO无线通信系统，信道预测展现出前所未有的重要性。然而，现有的基于参数化模型和深度学习的信道预测方法尚存预测精度低和泛化性差等问题，难以应用到实际复杂信道环境。

近年来，随着大语言模型（LLM）在自然语言处理等领域取得的巨大成功，越来越多的研究团队将目光聚焦于此。但当前大语言模型在通信任务上的应用仍局限于语言形式的协议理解等任务，对于其能否赋能非语言形式的无线通信物理层任务尚存质疑。

为克服以上挑战，北京大学电子学院程翔团队提出了一种基于预训练大语言模型的MIMO-OFDM信道预测方案LLM4CP，可应用于TDD（时分双工）和FDD（频分双工）通信系统。

研究团队构建了一个基于预训练GPT-2的信道预测神经网络，包含预处理模块、嵌入模块、预训练LLM模块和输出模块，从而提高了大语言模型在信道预测中的预测能力和泛化能力，为部署在实际应用场景中创造了更多的可能性。

研究亮点：

• 首次将预训练大语言模型应用于信道预测任务，证明了预训练大语言模型可以突破自然语言形式，赋能无线通信物理层设计
• 设计的信道特征增强神经网络，对齐信道空间与大模型特征空间，实现预训练大模型通用知识在信道预测任务上的良好迁移
• 仿真结果显示，所提方案在TDD和FDD信道预测任务上取得了最先进的全样本和少样本预测性能，频点泛化性能大幅领先于现有方案，同时具有和深度学习小模型相当的训练和推理时间成本

在实验阶段，团队使用QuaDRiGa仿真器生成了符合3GPP标准的时变信道数据集用于性能验证。团队设置了一个MISO-OFDM系统，其中基站侧配备了双极化UPA（uniform planar array），用户侧配备了单个全向天线，天线间距为中心频率处波长的一半。上行和下行信道的带宽均为8.64 MHz，导频频率间隔为180 kHz。对于TDD和FDD模式，上下行通道的中心频率均设置为2.4 GHz。对于FDD模式，上行和下行通道相邻。研究团队在预测实验中将导频频率间隔时间设置为0.5 ms。

研究考虑了3GPP城市宏观信道模型和非视距场景。集群数量为21个，每个集群的路径数为20条。用户的初始位置是随机化的，运动轨迹设置为线性型。

训练数据集和验证数据集分别包含8,000个和1,000个样本，用户速度均匀分布在10~100 km/h之间。测试数据集包含10个速度，范围从10 km/h到100 km/h不等，每个速度有1,000个样本。

为了验证所提方法的优越性，研究团队将LLM4CP与包括PAD、RNN、LSTM、GRU、CNN、Transformer以及无预测在内的，几种基于模型或深度学习以及无干扰情况的信道预测方法进行了比较，设置3个性能指标，分别是NMSE（归一化均方根误差）、SE（频谱效率）和BER（误码率）。结果显示，LLM4CP的信道预测精度、可达速率和误码率均优于现有信道预测方案。

研究团队分别在TDD系统和FDD系统中，比较了LLM4CP与其他方法的3个性能指标。

在TDD系统下，LLM4CP的SE和BER性能指数分别为7.036 bit·(s·Hz)⁻¹和0.0039；在FDD系统下，分别为6.303 bit·(s·Hz)⁻¹和0.0347。

TDD和FDD系统下，LLM4CP都实现了最先进的SE和BER性能。

在抗噪声鲁棒性测试中，LLM4CP表现出最低的NMSE的信噪比最高，表明其对CSI噪声具有很高的鲁棒性。

少量样本训练对模型的快速部署起到至关重要的作用。团队针对所提方法少量样本学习能力进行了测试，只将10%的数据集用于网络训练。与全样本训练相比，LLM4CP相比其他方法的优势在少数样本预测场景中表现出明显优势。

在频点泛化性测试中，团队将TDD系统中在2.4 GHz频点上训练的模型，应用于具有较少训练和零样本的4.9 GHz频点上进行测试，结果显示，LLM4CP仅需少量的30个样本就能达到参数化模型的预测性能，证明了其优秀的泛化能力。

成本投入是模型在实际场景中落地的关键一环，研究评估了所提方法在实际场景中部署的难度，相关比较如下图所示：

训练参数及成本

由于PAD是一种基于模型的方法，故其模型参数数量相对较少，不需要训练过程，但由于处理复杂度高，它的推理时间最长。而LLM的推理时间相比Transformer大幅缩减，因此LLM4CP也具有服务于实时信道预测的潜力。

此外，团队还评估了选择不同数量的GPT-2层对信道预测性能、参数成本以及推理时间的影响。如下图所示：

不同GPT-2层数

在使用10%的训练数据集于TDD系统设置进行测试发现，网络参数和推理时间都随着GPT-2层数的增加而增加，在具有6个GPT-2层的模型测试范围内表现最佳。这意味着，更多层并不一定有利于预测，在实际部署中，LLM骨干网的类型和大小选择需要考虑预测精度的要求，以及设备存储和计算资源的约束。

随着无线通信飞速发展，尤其是当下的5G时代以及未来的6G时代，AI与通信结合的重要性已经是不言而喻了。而在相关技术领域，AI技术的应用也早已经得到了业界广泛的关注和研究。

例如，此前由南京邮电大学杨丽花团队发表的题为「A novel deep learning based time-varying channel prediction method」的研究，提出了一种适用于高速移动场景的基于深度学习的时变信道预测方法，该方法基于反向传播（back propagation, BP）神经网络，进行线下训练与线上预测。论文指出，通过此方法可以显著地提高时变信道预测精度，且具有较低的计算复杂度。

而不同以往的是，本次研究首次将大语言模型应用在无线通信物理层设计当中，无疑是为AI与通信技术结合又开启了一条先河。

如论文所提到，在过去经验中，还未曾有过将预训练的大语言模型应用于非自然语言的任务当中，这是史无前例的一次成功尝试，证明了预训练大语言模型也可以突破语言形式赋能无线通信。

更值得一提的是，通过这次实验和尝试，大语言模型必将开启赋能的新篇章，同时借助大语言模型所特有的推理能力，也能使我们更加坚信一点，其势必会加快AI和垂直行业相关技术的融合，从而走出AI与千行百业结合的捷径。