빅데이터의 개요 및 특징

오늘은 빅데이터의 특징, 크기, 분석가 역량에 대해서 알아보려고 한다. 해당 내용은 빅데이터 분석기사 중 제1과목 빅데이터 분석 기획에 속하는 부분이기도 하다.

빅데이터 특징 

빅데이터는 대량의 정형, 비정형을 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 결과이다. 빅데이터에는 기존 데이터베이스 관리 도구와 빅데이터 분석 및 시각화 기술을 포함한 개념으로 이해하면 된다. 

빅데이터란 큰 데이터라는 의미로 양적인 측면과 함께 몇 가지 특징을 가지고 있다.

- 3V : Vloume, Variety, Velocity
- 5V : 3V + Value (가치), Veracity (정확성) 
- 7V : 5V + Validity (유효성), Volatility (휘발성)

구분	주요 내용
Volume (규모의 증가)	- 기술적 발전과 IT 서비스의 일상화로 디지털 정보량 증가 - 데이터 집합의 크기가 수십 TB에서 수 PB로 증가  - 데이터 수집/관리/처리 소프트웨어의 수용 한계를 넘어섬
Variety (다양성)	- 로그, SNS, 위치, 구매, IOT 등의 데이터 종류 증가  - 텍스트, 멀티미디어 등 비정형화된 데이터 유형 증가  - 고정 필드에 저장되는 정형 데이터 (주소, 이름, 나이 등 ) 포함  - 비정형 데이터 (오디오, 비디오, 상품평, SNS 대화 등)의 다양화
Velocity (처리속도)	- 데이터의 양과 내용이 끊임없이 변화  - 사물 (센서, 모니터링 등) 및 스트리밍 정보 등 실시간성 정보 증가  - 데이터 생성, 이동(유통) 속도 증가
Value (가치)	- 대용량 데이터 내부에 함축된 가치를 찾는 것이 중요  - 기존 DBMS 또는 데이터 분석 시스템으로는 작업이 어려움
Veracity (정확성)	- 데이터의 정확성, 타당성, 신뢰성 (데이터 신뢰 수준)  - 어떤 결정을 내리는 데 타당한 데이터인지 판단하는 속성

이 중 함축된 가치를 찾아 의사 결정을 타당하게 내리는 것이 핵심이라고 보인다. 빅데이터의 크기의 기준은 어느 정도를 말하는 것일까?

빅데이터의 크기 및 데이터 단위 

테라바이트(TB)에서 수 페타바이트(PB)에 이르며, 크기가 계속 변화하는 것이 특징이다. 
Byte < KB < MB < GB < TB < PB < EB < ZB < YB < BB < GeB 

이런 빅데이터를 제공하는 국내 공공데이터 포털 사이트가 있다. 해당 사이트에서 제공하는 빅데이터를 활용하여 분석하고 활용하는 훈련을 하면 좋을 것 같다는 생각이 들었다. 사이트 탐방은 다음번에 하기로 하고~ 소개만 살짝 하고 넘어가겠다.  


국내 공공데이터 사이트
- http://data.go.kr

국내 공공데이터포털 사이트

 

이런 데이터를 가지고 활용할 수 있는 사람이 되려면 수학적 지식과 프로그래밍 능력 그중에서도 분석 분야에 대한 전문적 지식이 꼭 필요하다고 생각된다. 기술은 결국 통찰을 위한 수단이기 때문이다.   


데이터 분석가 역량으로는
수학적 지식 (확률, 통계), 프로그래밍 능력, 분석 분야에 대한 전문적 지식, 창의적이고 논리적인 사고, 다른 분야의 사람들과의 협업, 침착성과 의사소통 능력이 필요하다고 하는데~

데이터 분석가는 다양한 역량이 필요한 직무인 것 같아 어렵기도 하지만 더욱 매력적인 것 같다. 다음에는 빅데이터 유형에 대해 살펴보도록 하겠다. 


그럼 오늘도 즐거운 하루 되세요!