基于深度学习的时间序列预测方法研究.pdf

摘要

随着信息技术和数据采集能力的迅猛发展，海量的时间序列数据不断涌现并

被详细记录。由于时间序列在众多实际应用中占据着重要地位，因此也涌现了许

(TimeSeriesForecastingTSF)

多时间序列预测，的方法。近年来，由于基于

Transformer框架的方法在处理长距离依赖关系时的优势，使其在时间序列预测

任务上的研究备受关注。然而随着输入长度的增加，Transformer模型的复杂度

也会飞速增长，这也导致其在处理长输入的时间序列预测任务(LongSequence

Time-SeriesForecasting，LSTF)时出现内存瓶颈问题。为了缓解此问题，研究者

提出使用稀疏注意力网络来降低内存成本。尽管在性能上取得了显著的改进，但

这种方法可能不可避免地导致数据点之间某些依赖关系的丢失，尤其是在处理具

有复杂相关性的数据时。这可能导致信息利用率不足，从而降低预测的准确性。

此外，时间序列数据容易受到各种干扰因素的影响，如设备故障和不完整的

数据采集，这些缺失的数据可能严重妨碍对时序数据的准确建模。针对这些问题，

本文的主要研究内容包括：

(1)针对稀疏注意力网络的时间序列预测模型其利用率不足的问题，本文提

出了一种双层注意力网络的时间序列预测模型(Double-layerEfficientProbSparse

Self-attentionTransformer,DEPformer)。首先，采用稀疏注意力网络来筛选点积权

重较高的项作为注意力的主要权重，采用高效注意力网络(EfficientAttention)来提

取全局上下文向量。通过提取的全局上下文信息来优化稀疏注意力网络的主要向

量其对应的注意力权重，从而改善单独使用稀疏注意力网络导致的信息利用率低

的问题。在上一步的基础上，在稀疏注意力网络中也融入了提取全局上下文向量

的操作，称为融合全局稀疏注意力机制的双层网络。这也使其在处理长距离的信

息依赖关系时更加高效，进而也提高了预测效果。最后，在多个公共和真实数据

集上的实验证明了DEPformer模型的预测有效性和优越性。

(2)针对时间序列数据的缺失问题，本文提出了一个用于多维时序缺失值的

填补模型WGAN-DEPformer。该模型基于WGAN-GP(WassersteinGANwith

GradientPenalty)的框架，通过生成器生成逼真数据，通过判别器评估输入数据的

真实性。两者互相竞争，最终使得生成器生成的数据趋向逼真。另外，通过利用

DEPformer的高利用率的双层注意力模块来构建生成器和判别器，以此来处理复

杂时序数据之间的依赖关系。最后，根据不同缺失率下的实验结果证明了

WGAN-DEPformer在多维时间序列缺失值填补任务上的优越性。

关键词：数据挖掘，时间序列预测，注意力机制，数据填补，生成对抗网络

Abstract

Withtherapidadvancementofinformationtechnologyandtheswift

developmentofdatacollectioncapabilities,vastamountsoftimeseriesdataare

continuouslyemergingandmeticulouslyrecorded.Giventhepivotalrolethattime

seriesplaysinnumerouspracticalapplications,aplethoraofmethodsfortimeseries

forecasting(TimeSeriesForecasting,TSF)havealsosurfaced.Inrecentyears,

methodsbasedontheTransformerframeworkhavegainedsignificantattentiondueto

theiradvantagesinmodelinglong-termdependenciesintimeseriesdata.However,

withtheincreaseininp