Exponential Moving Average (EMA)

위와 같은 날짜와 기온 데이터가 있다고 하자.

1년의 데이터를 표현한 것인데, 1월 ~ 12월의 흐름을 생각하면 된다.

모든 날짜를 표현하니 noise가 있어 다소 지저분하다. 

따라서, 지역적인 평균(local average) 즉, moving average로 표현하는 것이 분석에 용이할 것이다.

이와 같은 식으로 날짜의 θ를 v로 대체하자.

exponentially weighted moving average 를 얻을 수 있다.

일반화한 EMA의 식은 위와 같다.

v_t는

의 대략적인 평균이다.

즉, 위와 같이 볼 수 있다. β의 크기가 커질 수록, v_t에서 고려하는 날짜의 크기 (window size)가 커지므로, 보다 곡선이 smooth해진다.

따라서, 급격한 기온변화에 둔감해진다. β가 커진다는 의미는 결국, previous value에 더 큰 가중치를 주는 것이기 때문에, 현재의 value에 영향력을 감소시킨다.

느린 adpatve speed를 보인다.

반대로, β를 낮췄을 땐, 보다 빠른 adaptivity를 보이지만, 훨씬 더 복잡해짐을 알 수

정리

EMA는 시계열 데이터에서 window size만큼을 고려해 지역적인 평균을 구한다. noise를 보다 효과적으로 줄여주고, 합리적인 분석을 가능하게 해준다.

Adadelta에서 도입된 EMA는 window size만큼을 보게해서, local avg를 통해서 합리적인 판단을 가능하게 해준다. 

gradient의 변화량을 측정할때, 지속적으로 가산해 임의로 학습을 중단시키는 것이 아니라, 지역적으로 gradient를 취합해서, 학습정도를 조절해주는 역할을 한다.