Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting (2021)

Transformer를 사용한 Time Series Forecasting 모델입니다. Transformer는 Attention을 사용하여 Sequence data를 처리하는 모델이며 자연어에서 큰 성과를 보였고 다양한 방면으로 뻗어나가는 모델입니다. 저자는 Transformer의 구조를 유지하며, $y_t$~$y_{t+n}$를 예측하기 위해 $y_{t-k}$~$y_{t-1}$의 시계열을 사용하는 구조를 제안합니다. 또한 몇가지 개선사항을 논문을 통해 제시했습니다. 내용은 어려운 부분들이 없으며, Transformer에 대해 궁금하신 분들은 다른 블로그를 먼저 참고해주세요. 논문에 대한 오역, 의역등이 다수 포함되어 있습니다. 댓글로 많은 의견 부탁드립니다. Author : Haoyi Zhou, Shang..

2021.04.10