Post

시계열 분석 모델델

Posted
By 박예성
15 min read
시계열 분석 모델델

시계열 분석 모델

시계열 분석은 시간의 흐름에 따라 변화하는 데이터를 분석하고 예측하는 데 사용되는 통계적 기법입니다. 주식 가격, 기온 변화, 웹 트래픽 등 다양한 분야에서 시계열 데이터가 발생하며, 이러한 데이터를 분석하여 미래를 예측하고 의사 결정에 활용할 수 있습니다.

1. 전처리

시계열 분석을 수행하기 전에 데이터 전처리 과정이 필요합니다. 주요 전처리 단계는 다음과 같습니다.

  • 결측치 처리: 결측치는 데이터 분석에 영향을 미칠 수 있으므로 적절한 방법으로 처리해야 합니다. 선형 보간, 평균값 대체 등 다양한 방법을 사용할 수 있습니다.
  • 이상치 처리: 이상치는 데이터의 패턴을 왜곡할 수 있으므로 주의해서 처리해야 합니다. 이상치를 제거하거나 변환하는 방법을 사용할 수 있지만, 이상치가 중요한 정보를 담고 있을 수도 있으므로 함부로 제거해서는 안 됩니다.
  • 범주화: 범주형 데이터는 수치형으로 변환해야 분석에 활용할 수 있습니다. 원-핫 인코딩, 레이블 인코딩 등 다양한 방법을 사용할 수 있습니다.
  • 정규화: 변수의 스케일이 다를 경우 정규화를 통해 스케일을 조정할 수 있습니다. Min-Max 정규화, 표준화 등 다양한 방법을 사용할 수 있습니다.

2. SARIMAX 모델

SARIMAX(Seasonal AutoRegressive Integrated Moving Average with Exogenous factors) 모델은 시계열 데이터의 계절적 패턴과 외부 요인을 모두 고려하는 강력한 예측 모델입니다. ARIMA 모델의 확장된 형태로, 계절성을 고려하는 SARIMA 모델에 외부 변수를 추가하여 예측 성능을 향상시킵니다.

SARIMAX 모델의 구성 요소:

  • AR(AutoRegressive): 과거 시점의 값들로 현재 값을 예측합니다.
  • I(Integrated): 시계열 데이터를 차분하여 정상성을 유지합니다.
  • MA(Moving Average): 과거 시점의 오차 항들을 사용해 현재 값을 예측합니다.
  • S(Seasonal): 계절적 패턴을 고려합니다.
  • X(Exogenous factors): 외부 변수를 모델에 추가합니다.

SARIMAX 모델의 표현: SARIMAX(p, d, q)(P, D, Q, m)[x1, x2, …, xn]

  • (p, d, q): 비계절적 ARIMA 모델의 차수
  • (P, D, Q, m): 계절적 ARIMA 모델의 차수
  • (x1, x2, …, xn): 외생 변수

SARIMAX 모델의 장점:

  • 계절성과 외부 요인을 모두 고려하여 예측 성능을 향상시킬 수 있습니다.
  • 다양한 시계열 데이터에 적용 가능합니다.

SARIMAX 모델의 단점:

  • 모델 구축 및 매개변수 설정이 복잡할 수 있습니다.
  • 많은 데이터가 필요합니다.

3. VAR 모델

VAR(Vector AutoRegressive) 모델은 다변량 시계열 데이터를 분석하고 예측하는 데 사용되는 모델입니다. 각 시계열 변수들이 과거의 모든 변수들의 값들에 의존한다고 가정합니다. 여러 변수들 간의 상호 관계를 고려하여 복잡한 상호작용을 더 잘 이해하고 예측할 수 있습니다.

VAR 모델의 구성 요소:

  • 시계열 변수: 여러 개의 시계열 변수들이 포함되며, 상호 의존적인 관계를 가지고 있습니다.
  • 차수 (Lag order): 각 변수의 과거 시점 데이터들이 현재 시점의 각 변수에 미치는 영향을 나타냅니다.

VAR 모델의 수식 표현:

VAR(p) 모델의 수식은 다음과 같습니다: Yt = c + A1Yt−1 + A2Yt−2 + … + ApYt−p + ϵt

  • Yt: 시점 t에서의 변수들의 벡터
  • c: 상수 벡터
  • A1, A2, …, Ap: 과거 값들에 대한 계수 행렬
  • ϵt: 오차 벡터

VAR 모델의 특징:

  • 다변량 접근: 여러 변수들의 상호 관계를 모델링할 수 있습니다.
  • 자기 회귀: 각 변수의 과거 값들이 현재 값을 예측하는 데 사용됩니다.
  • 공분산: 변수들 간의 상호 의존성을 고려합니다.

VAR 모델의 사용 사례:

  • 경제 데이터 분석: 여러 경제 변수들 간의 상호 작용을 분석하여 예측을 수행합니다.
  • 금융 시계열 분석: 여러 금융 상품의 가격 변동을 분석하고 예측합니다.
  • 기후 데이터 분석: 여러 기후 변수들의 상호 작용을 모델링하여 예측을 수행합니다.

4. DTW

DTW(Dynamic Time Warping)는 두 시계열 데이터 간의 유사성을 측정하는 알고리즘입니다. 시계열 데이터의 길이가 다르거나 시간축이 비선형적으로 변형된 경우에도 유사성을 계산할 수 있습니다. 음성 인식, 신호 처리, 데이터 마이닝 등 다양한 분야에서 활용됩니다.

DTW의 주요 특징:

  • 유연한 매칭: 두 시계열 데이터의 비선형적인 변형을 허용하여 유연하게 매칭합니다.
  • 최소 비용 경로: 두 시계열 간의 매칭 비용을 최소화하는 경로를 찾습니다.
  • 정렬된 시계열: 시계열 데이터의 정렬된 순서를 유지하면서 유사성을 계산합니다.

DTW 알고리즘 과정:

  1. 거리 행렬 계산: 두 시계열 데이터의 각 점들 간의 거리를 계산하여 거리 행렬을 만듭니다.
  2. 누적 거리 행렬 계산: 거리 행렬을 기반으로 누적 거리 행렬을 계산합니다.
  3. 최소 비용 경로 찾기: 누적 거리 행렬에서 시작점과 끝점을 연결하는 최소 비용 경로를 찾습니다.

DTW의 활용 예시:

  • 음성 인식: 음성 패턴 매칭에 사용됩니다.
  • 신호 처리: 다양한 신호 데이터의 유사성을 계산합니다.
  • 데이터 마이닝: 시계열 데이터의 군집화, 분류 및 이상 탐지에 사용됩니다.

5. Time Series Clustering

타임 시리즈 클러스터링(Time Series Clustering)은 데이터 포인트를 유사성에 따라 그룹으로 조직하는 비지도 데이터 마이닝 기술입니다. 클러스터 내의 데이터 유사성을 최대화하고 클러스터 간의 유사성을 최소화하는 것을 목표로 합니다.

Time Series Clustering의 주요 방법:

  • 계층적 클러스터링: dendrogram을 사용하여 클러스터를 계층적으로 구성합니다.
  • 분할 클러스터링: k-means 알고리즘과 같은 방법을 사용하여 데이터를 k개의 클러스터로 나눕니다.
  • 밀도 기반 클러스터링: DBSCAN 알고리즘과 같은 방법을 사용하여 밀도가 높은 영역을 클러스터로 구성합니다.

Time Series Clustering의 활용 예시:

  • 고객 세분화: 구매 패턴에 따라 고객을 여러 그룹으로 나눕니다.
  • 이상 탐지: 정상 패턴과 다른 이상 패턴을 가진 데이터를 찾습니다.
  • 예측: 유사한 패턴을 가진 시계열 데이터를 기반으로 미래를 예측합니다.

6. White Noise

백색 잡음(White Noise)은 모든 주파수에서 동일한 전력을 가지는 랜덤 신호입니다. 시계열 분석에서 백색 잡음은 예측할 수 없는 랜덤 요소를 나타냅니다. 잔차가 백색 잡음이면 모델이 데이터의 모든 정보를 추출했다는 것을 의미합니다.

백색 잡음의 특징:

  • 평균이 0입니다.
  • 자기상관성이 없습니다.
  • 모든 시점에서 분산이 일정합니다.

백색 잡음 검정:

  • Ljung-Box 검정: 잔차의 자기상관성을 검정합니다.

7. ARIMA 모델 결과 해석

ARIMA 모델 결과는 다음과 같은 정보를 제공합니다.

  • 종속 변수: 분석된 시계열 데이터의 대상 변수입니다.
  • 관측값 수: 사용된 데이터 포인트의 수입니다.
  • 모델: 사용된 ARIMA 모델의 형식을 나타냅니다.
  • 로그 가능도: 주어진 모델이 데이터에 적합할 때의 가능성의 로그 값입니다.
  • 정보 기준: 모델의 적합성을 평가하기 위한 정보 기준입니다. 값이 작을수록 더 나은 모델을 나타냅니다.
  • 계수: AR, MA 항의 계수입니다.
  • 잔차 분산: 잔차의 분산입니다.
  • Ljung-Box 검정: 잔차의 독립성을 검정하는 통계량입니다.
  • Jarque-Bera 검정: 잔차의 정규성을 검정하는 통계량입니다.
  • Heteroskedasticity: 이분산성을 검정하는 통계량입니다.
  • Skew/Kurtosis: 잔차의 왜도와 첨도를 나타냅니다.

잔차가 자기상관성을 갖지 않아야 하는 이유:

  • 잔차가 자기상관성을 가지면 모델이 데이터의 모든 패턴을 캡처하지 못하고 있다는 신호입니다.
  • 모델의 정확성이 떨어지고 예측된 값이 신뢰할 수 없게 됩니다.
  • 회귀 계수의 표준 오차가 왜곡되어 잘못된 결론을 도출할 수 있습니다.

8. 추가 정보

  • 차분: 시계열 데이터를 차분하여 정상성을 확보하는 방법입니다.
  • 윈도우: 시계열 데이터의 특정 구간을 분석하는 방법입니다.
  • 계절성: 시계열 데이터에서 주기적으로 반복되는 패턴입니다.
  • 외생 변수: 시계열 데이터에 영향을 미치는 외부 요인입니다.
  • 유사성 측정: 두 시계열 데이터 간의 유사성을 측정하는 방법입니다.
  • 클러스터링: 데이터를 유사성에 따라 그룹으로 나누는 방법입니다.
  • 백색 잡음: 예측할 수 없는 랜덤 요소입니다.
Python
Python 시계열 분석
This post is licensed under CC BY 4.0 by the author.