[Big Data] Introduction about Big Data (빅데이터 소개)

 

* What is Big data ?

 

• Big Data : Extremely large data, Technology to collect and magage and analyze data

• Predict trends !!

• Data Warehousing : 데이터를 관리하기 시작하면서 데이터를 축적하고 관리, 분석하는 기술들이 증가

 

데이터 분석 피라미드 구조

 

하단의 DBA가 Data Sources를 관리하면서 위로 Data Analyst, 비즈니스 분석가를 통해 데이터를 분석하여

실제 End user 경영, 기획 상단 CEO 통해서 의사결정을 할 수 있는 구조입니다.

 

- Data Model : 데이터 구조, 제약조건, 작동

 

• 네트워크 데이터베이스 구조 : 네트워크 주소 형식으로 각 데이터들이 연결

• 계층형 데이터베이스 구조 : 데이터 간의 관계조건에 따라 데이터들이 연결

 

- Data 분석 SQL 표기

 

1> SELECT

시그마

 

SELECT * FROM table명  where 조건;

• R = table명

• c = 조건

 

 

SELECT A1, A2, ..... An FROM R ;

 

2> UNION, DIFFERENCE

 

• A U B : 'U' 는 합집합 의미와 같이 UNION ALL 로 두 문장을 합쳐서 조회한다.

• A - B : '-' 는 MINUS 개념으로 두 조회 결과의 차이를 조회한다.

 

3> JOIN

• Left outer : ⟕

• Right outer : ⟖

• Full outer : ⟗

 

4> VIEW

• 실제 테이블을 통해 필요한 데이터들로 가상 테이블을 생성하는 개념

• VIEW 생성

CREATE VIEW SCHOOL TT
SELECT a.team, b.number
FROM Suoschool a, Alischool b
WHERE a.id = b.id

 

• VIEW를 통해 실제 다른 테이블과 같이 JOIN 하여 데이터 조회

SELECT DISTINCT a.name, b.number 
FROM Suoschool a, Alischool b, School c 
WHERE a.id = b.id
AND b.class = c.class 
AND c.number > 100 

 

- Map-Reduce : high-level 프로그래밍 model (분산 데이터 프로세싱)

 

• Map - Reduce 알고리즘 : Map - Shuffle - Reduce

• Shuffle : 같은 key 기준으로 value 모으는 function

• combine 함수는 map 함수통해  데이터들을 같은 데이터를 묶어주는 역할입니다.

combine 함수를 통해 네트워크 통해 reduce로 전달되는 데이터 양을 줄여서 시스템 효율을 증가시킵니다.

 

map(String key, String vlaue):
// key : name
// value : contents
For each word w in vlaue:
Emit(a,1);

combine(String key, Iterator Vlaues):
int resutl = 0;
For each b in intermediate_values:
result +=b:
Emit(key, result);