[ADP/ADsP 자격] 빅데이터 정의 및 활용

 

 

 

 

- 빅데이터 정의

 

 

• 데이터 크기 : 저장, 관리 분석할 수 있는 범위를 초과하는 큰 규모의 데이터
• 데이터 분석 : 다양한 종류의 대규모 데이터에서 가치를 얻기 위해 수집, 분석을 할 수 있는 기술 및 아키텍쳐
• 데이터 가치 : 대용량 데이터를 통해 새로운 가치를 추출

 

 

- 빅데이터 기능 

 

 

• 산업혁명 당시 석탄, 철 기능
• 원유, 렌즈, 플랫폼 기능

 

 

- 3V (Volume, Variety, Velocity)

 

 

• 데이터 Voulme 크기 : 모든 데이터 수집
• 데이터 Variety 다양성 : 텍스트, 오디오, 비디오 등 다양한 형태의 데이터 분석
• 데이터 Velocity 속도

 

 

 

1> 데이터 Voulme 크기

 

 

1024 kb -> 1 mb (메가)

 

1024 mb -> 1 gb (기가)

 

1024 gb -> 1 Tb (테라)

 

1024 tb -> 1 pb (페타)

 

1024 pb -> 1 eb (엑사)

 

1024 eb -> 1 zb (제타)

 

-> tb(테라) < pb(페타) < eb(엑사) < zb(제타)

 

 

 

 

2> 데이터 처리 변화

 

• 사전처리 -> 사후처리
• 표본조사 -> 전수조사

 

 

 

3> 빅데이터 기술

 

• 연관 규칙 학습 : 상관관계 탐색 
• 유형 분석 : 범주, 특성 확인
• 유전 알고리즘 : 최적화된 문제 해결, 선택 메커니즘 확인

 

• 기계학습 : 훈련 데이터 학습
• 회귀분석 : 독립변수, 종속변수 관계 파악
• 감정분석 : 사람의 감정 분석
• 소셜 네트워크 분석 (사회관계망분석 SNS)

 

 

4> 빅데이터 위험과 통제

 

• 책임 문제
• 데이터 잘못 사용 : 잘못된 인사이트를 얻어 비즈니스 손해발생 가능
• 행활 침해 : 2차, 3차 목적으로 잘못 활용 가능

 

 

5> 데이터 사이언스 구성

 

• IT(데이터 관리), 데이터 분석, 비즈니스 분석
• 데이터 사이언티스트 : 호기심 중요, 하드 스킬(이론, 지식, 분석기술), 소프트 스킬 (통찰력, 설득력, 커뮤니케이션)
• information : 리포팅(무슨일 일어났엇나?) - 경고(무슨일 일어나고 있는 중?) - 추출 (무슨일 일어날?)
• insight : 모델링(어떻게, 왜 일어났었나?) - 권고(차선책?) - 예측, 최적화 (최악, 최선?)

 

 

6> 빅데이터 활용 3요소

 

• 데이터 : 모든것을 데이터 화
• 기술 : 빅데이터 분석 알고리즘의 진화 가속
• 인력 : 데이터 사이언티스트와 알고리즈미스트의 역할이 중요해 질 것으로 전망

 

 

7> 빅데이터 미래 

 

• 데이터 종류가 다양해지고 양도 많아짐
• 실시간 분석 처리
• 심층 신경망 활용 (Deep Neural Network)