회귀분석

1. 회귀분석의 개요 

1) 정의 
- 하나 또는 그 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계 기법
- 독립 변수가 1개 : 단순 선형 회귀분석, 독립 변수가 2개 이상 : 다중 선형 회귀분석
- 최소 제곱 법 : 측정값을 기초로 제곱 합을 만들고 그것의 최소인 값을 구하여 처리하는 방법, 잔차 제곱이 가장 작은 선을 선택 

2) 회귀분석의 검정
- 회귀식(모형)에 대한 검증 : F-검정 
- 회귀계수들에 대한 검증 : t-검정
- 모형의 설명력은 결정계수(R2)로 알 수 있음
- 단순 회귀분석의 결정계수는 상관계수 값의 제곱과 같음

3) 선형 회귀분석
- 가정

선형성	입력변수와 출력변수의 관계가 선형
독립성	잔차와 독릭변인은 관련성이 없음
등분산성	독립변인의 모든 값에 대한 오차들의 분산이 일정
비상관성	관측치들의 잔차들끼리 상관이 없어야 함
정상성	잔차항이 정규분포를 이뤄야 함

- 다중 선형 회귀분석의 다중 공선 성
*다중회귀분석에서 설명변수들 사이에 선형 관계가 존재하면 회귀계수의 정확한 추정이 곤란

- 다중공선성 검사 방법
*분산 팽창 요인 : 10 보다 크면 심각한 분제
*상태 지수 : 10 이상이면 문제가 있다고 보고, 30보다 크면 심각, 선형 관계가 강한 변수는 제거

4. 회귀분석의 종류 
- 단순 회귀, 다중회귀, 로지스틱 회귀, 다항 회귀, 곡선 회귀, 비선형 회귀 

5. 변수 선택법
- 모든 가능한 조합 : 모든 가능한 독립변수들의 조합에 대한 회귀모형을 분석해 가장 적합한 모형 선택 

전진선택법	절편만 있는 상수모형으로부터 시작해 중요하다고 생각되는 설명변수부터 차례로 모형에 추가 -> 이해 쉬움, 많은 변수에서 활용 가능, 변수 값의 작은 변동에 결과가 달라져 안정성이 부족
후진소거법	독립변수 후보 모두를 포함한 모형에서 가장 적은 영향을 주는 변수부터 하나씩 제거 -> 전체 변수들의 정보를 이용 가능, 변수가 많은 경우 활용이 어려움, 안정성 부족
단계별방법	전진선택법에 의해 변수를 추가하면서 새롭게 추가된 변수에 기인해 기존 변수가 그 중요도가 약화되면 해당 변수를 제거하는 등 단계별로 추가 또는 삭제되는 변수를 검토해 더 이상 없을 땐 중단