时间序列模型汇总

模型名称	Venue	引用量	一句话总结
LogSparse Transformer	NeurIPS19	2143	这篇论文主要是使用了几个注意力的组合：LogSparse Self Attention（按照指数间隔选择query），Local Attention（局部用正常attention），Restart Attention（将序列变成子序列，交替使用这些 Attention）。
Informer	AAAI21	6171	这篇论文提出了 ProbSparse 自注意力机制（其实按照规则就是挑选 top-k 个query），自注意力蒸馏操作（加了卷积进去）。
Autoformer	NeurIPS21	3292	这篇论文主要提出了一个序列分解模块（其实就是一个Pooling操作，一个相减的操作），自相关机制（其实就是使用傅里叶变换计算自相关的权重，来加权不同的周期特征）。
TST	KDD21	1275	就是将 Transformer 用到了时序分类/回归，它先使用类似“完形填空”的方式预训练，然后在特定下游任务（分类/回归）微调。
Pyraformer	ICLR22	1068	Pyraformer 使用了 1D 卷积初始化金字塔图中粗尺度的节点，在提出的金字塔注意力模块中，一个节点最多只会关注 $A + C + 1$ 个节点（A 表示兄弟节点数量，C表示子节点数量，1表示父节点）。
PatchTST	ICLR23	2169	这篇论文主要提出了将序列分 patch 、一个变量一个通道和自监督训练（“完形填空”）。
iTransformer	ICLR24	1244	不用与其他方法将相同时间的不同变量作为一个token，这篇论文将的不同时间的相同变量的序列作为token。

特征自动生成

[!NOTE] 问题

• 在金融风控场景，对于每一笔交易记录，系统需要计算一些风险类时间窗口特征，用于输入风控模型决策该交易是否存在风险，特征的质量和计算的效率对于风险控制非常重要。在实际的风控机器学习模型开发过程中，需要先通过离线计算的方式去挖掘时间窗口特征，用于模型的训练和更新，对于海量客户交易记录，在计算资源有限的情况下，时间窗口特征的计算耗时较大，成为影响模型时效性的瓶颈所在。本课题希望设计一套高性能的时间窗口特征计算方案，缩短特性加工时长。
• 总行也是想做这块研究，看看我们是不是也可以朝这个方向试试。
• 按照之前设计，如果跑全量客户一年的流水（我们全量客户大概15万，每年全量交易流水大概1.2亿条），可能后面跑模型会非常消耗资源和时间的。

LogSparse Transformer

论文名称：Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting
论文地址：https://arxiv.org/abs/1907.00235 (opens new window)
引用量（截止到2025.07.08）：2143
Venue：NeurIPS 2019

Informer

论文名称：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
论文地址：https://arxiv.org/abs/2012.07436 (opens new window)
引用量（截止到2025.07.08）：6171
Venue：AAAI 2021
代码开源地址：https://github.com/zhouhaoyi/Informer2020 (opens new window)
Star 数量：6000+

Autoformer

论文名称：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
论文地址：https://proceedings.neurips.cc/paper/2021/hash/bcc0d400288793e8bdcd7c19a8ac0c2b-Abstract.html (opens new window)
引用量（截止到2025.07.08）：3292
Venue：NeurIPS 2021

Triformer

论文名称：Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version
论文地址：https://arxiv.org/abs/2204.13767 (opens new window)
引用量（截止到2025.07.08）：178

FEDformer

论文名称：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
论文地址：https://proceedings.mlr.press/v162/zhou22g (opens new window)
引用量（截止到2025.07.08）：2316
Venue：ICML 2022

Pyraformer

论文名称：Pyraformer: Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting
论文地址：https://repositum.tuwien.at/handle/20.500.12708/135874 (opens new window)
引用量（截止到2025.07.08）：1068
Venue：ICLR 2022

Non-stationary transformers

论文名称：Non-stationary transformers: exploring the stationarity in time series forecasting
论文地址：https://dl.acm.org/doi/abs/10.5555/3600270.3600988 (opens new window)
引用量（截止到2025.07.08）：771
Venue：NeurIPS 2021

TDformer

论文名称：First De-Trend then Attend: Rethinking Attention for Time-Series Forecasting
论文地址：https://arxiv.org/abs/2212.08151 (opens new window)
引用量（截止到2025.07.08）：61

PatchTST

论文名称：A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
论文地址：https://arxiv.org/abs/2211.14730 (opens new window)
引用量（截止到2025.07.08）：2169
Venue：ICLR 2023
代码开源地址：https://github.com/yuqinie98/PatchTST (opens new window) Star 数：2100+

Conformer

论文名称：Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution
论文地址：https://ieeexplore.ieee.org/abstract/document/10184599 (opens new window)
引用量（截止到2025.07.08）：42
Venue：ICDE 2023

MTPNet

论文名称：Multi-Scale Transformer Pyramid Networks for Multivariate Time Series Forecasting
论文地址：https://ieeexplore.ieee.org/abstract/document/10412052 (opens new window)
引用量（截止到2025.07.08）：25
Venue：IEEE Access 2024

SageFormer

论文名称：SageFormer: Series-Aware Framework for Long-Term Multivariate Time-Series Forecasting
论文地址：https://ieeexplore.ieee.org/abstract/document/10423755 (opens new window)
引用量（截止到2025.07.08）：62
Venue：IEEE Internet of Things Journal 2024

iTransformer

论文名称：iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
论文地址：https://arxiv.org/abs/2310.06625 (opens new window)
引用量（截止到2025.07.08）：1244
Venue：ICLR 2024

Pathformer

论文名称：Pathformer: Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting
论文地址：https://arxiv.org/abs/2402.05956 (opens new window)
引用量（截止到2025.07.08）：136
Venue：ICLR 2024