본문 바로가기
데이터분석

데이터 변경 및 요약

by 쓱쓱기획 2021. 11. 4.
반응형

1. 데이터 마트 
- 데이터 웨어하우스와 사용자 사이의 중간층에 위치한 것으로, 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스라고 할 수 있다. 

2. 요약 변수와 파생변수

  요약변수 파생변수
정의 - 수집된 정보를 분석에 맞게 종합한 변수로 데이터 마트에서 가장 기본적인 변수
- 많은 모델이 공통으로 사용할 수 있어 재활용성 높음  
- 사용자(분석가)가 특정 조건을 만족하거나 특정 함수에 의해 값을 만들어 의미를 부여한 변수
- 매우 주관적일 수 있으므로 논리적 타당성을 갖출 필요가 있다.
예시 - 기간별 구매 금액, 횟수, 여부 / 위클리 쇼퍼 / 상품별 구매 금액, 횟수, 여부 / 상품별 구매 순서 / 유통 채널별 구매 금액 / 단어 빈도 / 초기 행동변수 / 트랜드 변수 / 결측값과 이상값 처리 / 연속형 변수의 구간화 - 근무시간 구매자수 / 주 구매 매장 변수 / 주 활동 지역 변수 / 주 구매 상품 변수 / 구매상품 다양성 변수 / 선호하는 가격대 변수 / 시즌 선호 고객 변수 / 라이프 스테이지 변수 / 라이프스타일 변수 / 휴면가망 변수 / 최대가치 변수 / 최적 통화시간 등

3. reshape 패키지 
- 2개의 핵심적인 함수로 구성

melt() 쉬운 casting을 위해 데이터를 적당한 형태로 만들어 주는 함수
cast() 데이터를 원하는 형태로 계산 또는 변형시켜주는 함수

- 변수를 조합해 변수명을 만들고 변수들을 시간, 상품, 등의 차원에 결합해 다양한 요약 변수와 파생변수를 쉽게 생성하여 데이터마트를 구성할 수 있게 해주는 패키지이다.

 

4. sqldf 패키지
- R에서 sql 명령어를 사용가능하게 해주는 패키지로 SAS의 proc sql과 같은 기능
- head([df]) -> sqldf("select * from [df] limit 6")
- subset([df], [col]%in% c("BF", "HF") -> sqldf("select * from [df] where [col] in ('BF', 'HF')")
- merge([df1], [df2]) -> sqldf("select * form [df1], [df2]")

5. plyr 패키지
- apply 함수를 기반으로 데이터와 출력변수를 동시에 배열로 치환하여 처리하는 패키지 
- split - apply - combine 방식으로 데이터를 분리하고 처리한 다음, 다시 결합하는 등 필수적인 데이터 처리 기능 제공

  array data frame list nothing
arrary aaply aaply aaply a_ply
data frame daply ddply dlply d_ply
list laply ldply llply l_ply
n replicates raply rdply rlply r_ply
function
arguments
maply mdply mlply m_ply


 6. data.table
- R에서 가장 많이 사용하는 데이터 핸들링 패키지 중 하나로 대용량 데이터의 탐색, 연산, 병합에 유용
- 기존 data.frame 방식보다 월등히 빠른 속도
- 특정 column을 key 값으로 색인을 지정한 후 데이터를 처리 
- 빠른 grouping과 ordering, 짧은 문장 지원 측면에서 데이터 프레임보다 유용함 

반응형

'데이터분석' 카테고리의 다른 글

기초분석 및 데이터 관리  (0) 2021.11.06
변수의 구간화  (0) 2021.11.05
데이터구조와 데이터 프레임  (0) 2021.11.03
입력과 출력  (0) 2021.11.02
R기초  (0) 2021.11.01