Transformer를 사용한 Time Series Forecasting 모델입니다. Transformer는 Attention을 사용하여 Sequence data를 처리하는 모델이며 자연어에서 큰 성과를 보였고 다양한 방면으로 뻗어나가는 모델입니다. 저자는 Transformer의 구조를 유지하며, $y_t$~$y_{t+n}$를 예측하기 위해 $y_{t-k}$~$y_{t-1}$의 시계열을 사용하는 구조를 제안합니다. 또한 몇가지 개선사항을 논문을 통해 제시했습니다. 내용은 어려운 부분들이 없으며, Transformer에 대해 궁금하신 분들은 다른 블로그를 먼저 참고해주세요. 논문에 대한 오역, 의역등이 다수 포함되어 있습니다. 댓글로 많은 의견 부탁드립니다. Author : Haoyi Zhou, Shang..

논문에 대한 오역, 의역등이 다수 포함되어 있습니다. 댓글로 많은 의견 부탁드립니다 Author : Sercan O. Arık, Tomas Pfister Copyright © 2021, Association for the Advancement of Artificial Intelligence 논문 링크 TabNet은 제안과 별개로 몇가지 이슈가 존재합니다. 먼저, TabNet은 효과적인 학습을 위해 Batch Normalization을 개선한 Ghost Batch Normalization(GBN)을 도입했습니다. 하지만 virtual batch size로 입력한 크기가 batch size를 나눌 수 있는 숫자여야 한다는 제약과 별개로, 학습에 사용하는 training set도 virtual batch si..