에스알닷컴

[빅 데이터 - BigData]

"시작하세요! 하둡 프로그래밍 - 위키북스"를 기준으로 작성된 글 입니다.

 1. 빅데이터의 개념

  - 데이터의 규모에 초점을 맞춘 정의

   : 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 데이터

    "맥킨지 2011년 5월"

  - 업무 수행 방식에 초점을 맞춘 정의

   : 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처

    " IDC 2011년 6월"

 2. 빅데이터의 3대 요소

  - 크기(Volume)

   : 비즈니스 특성에 따라 다를 수 있지만 일반적으로 수십 테라바이트 혹은 수십 페타바이트 이상이 빅데이터에 해당한다.

   : 이러한 빅데이터는 기존 파일 시스템에 저장하기 어려울뿐더러 데이터 분석을 위해 사용하는 기존 데이터웨어하우스(DW; Data warehouse)

     같은 솔루션에서 소화하기 어려울 정도로 급격하게 데이터의 양이 증가하고 있다.

   : 이러한 문제를 극복하려면 확장 가능한 방식으로 데이터를 저장하고 분석하는 분산 컴퓨터 기법으로 접근해야 한다.

   : 현재 분산 컴퓨팅 솔루션으로는 구글의 GFS와 아파치의 하둡이 있고, 

     대용량 병렬 처리 데이터베이스로는 EMC의 GreenPlum, HP의 Vertica, IBM의 Netezza, 테라데이터의 Kickfire 등이 있다.

  - 속도(Velocity)

   : 데이터의 생산, 저장, 유통, 수집, 분석이 실시간으로 처리

   : 수집된 대량의 데이터를 다양한 분석 기법과 표현 기술로 분석해야 하고, 장기적으로 전략적인 차원에서의 접근을 위해

     데이터 마이닝, 기계 학습, 자연어 처리, 패턴 인식을 사용한 분석 처리

  - 다양성(Variety)

   : 데이터 정형화의 종류에 따라 정형(structed), 반정형(semi-structured), 비정형(unstructured)으로 나눌 수 있다.

   : 정형 데이터는 정형화된 데이터로, 고정된 필드에 저장되는 데이터 (일정한 형식을 갖추고 저장되는 데이터)

   : 반정형 데이터는 고정된 필드로 저장돼 있지는 않지만 XML이나 HTML 같이 메타데이터나 스키마 등을 포함하는 데이터

   : 비정형 데이터는 고정된 필드에 저장돼 있지 않은 데이터

    유튜브 업로드 동영상 데이터, SNS나 블로그에 저장하는 데이터, 유무선 전화기에서 발생하는 통화 내용 등 다양한 비정형 데이터

 ∴ 빅데이터는 이러한 비정형 데이터도 처리할 수 있는 능력을 갖춰야 한다.

하계 방학 묵상지 이후로는 http://kkungchan.tistory.com/ 에서 확인하세요.

감사합니다.

출처 - 한국성서대학교 - 매일의 성경

6월 5일 월요일 / 레위기 5 ~ 8

질문 : 모세가 위임식에서 대제사장 아론의 머리에 부은 것은 무엇인가?

답변 : 

 레위기 8

  12. 또 관유를 아론의 머리에 붓고 그에게 발라 거룩하게 하고

6월 6일 화요일 / 레위기 9 ~ 12

질문 : 짐승 중에 이스라엘 백성이 먹을 수 있는 짐승은 어떤 특징이 있는가?

답변 :

 레위기 11

  3. 모든 짐승 중 굽이 갈라져 쪽발이 되고 새김질하는 것은 너희가 먹되

6월 7일 수요일 / 레위기 13 ~ 16

질문 : 대제사장이 1년에 한 번 지성소에 들어가 백성들의 죄를 속하는 날은 무엇인가?

답변 :

 레위기 16

  34. 이는 너희가 영원히 지킬 규례라 이스라엘 자손의 모든 죄를 위하여 일 년에 한 번 속죄할 것이니라 아론이 여호와께서 모세에게 명령하신 대로 행하니라

 > 대속죄일

6월 8일 목요일 / 레위기 17 ~ 20

질문 : 하나님이 피를 먹지 말라고 하셨는데 그 이유가 무엇인가?

답변 :

 레위기 17

  14. 모든 생물은 그 피가 생명과 일체라 그러므로 내가 이스라엘 자손에게 이르기를 너희는 어떤 육체의 피든지 먹지 말라 하였나니 모든 육체의 생명은 그것의 피인즉 그 피를 먹는 모든 자는 끊어지리라

6월 9일 금요일 / 레위기 21 ~ 24

질문 : 엿새 동안 일하고 일곱째 날은 성회의 날인데 일하지 말라고 하셨다. 무슨 날인가?

답변 : 

 레위기 23

  3. 엿새 동안은 일할 것이요 일곱째 날은 쉴 안식일이니 성회의 날이라 너희는 아무 일도 하지 말라 이는 너희가 거주하는 각처에서 지킬 여호와의 안식일이니라

6월 10일 토요일 / 레위기 25 ~ 27

질문 : 안식년이 7번 지난 50년째가 되면 자유를 공포하고 각각 소유지로 돌아가라고 했다. 이 해를 무엇이라 하는가?

답변 :

 레위기 25

  11. 그 오십 년째 해는 너희의 희년이니 너희는 파종하지 말며 스스로 난 것을 거두지 말며 가꾸지 아니한 포도를 거두지 말라

6월 11일 일요일 / 민수기 1 ~ 4

질문 : 이스라엘이 진을 치거나 행군할 때 중앙에 있는 것은 무엇인가?

답변 :

 민수기 2

  17. 그 다음에 회막이 레위인의 진영과 함께 모든 진영의 중앙에 있어 행진하되 그들의 진 친 순서대로 각 사람은 자기의 위치에서 자기들의 기를 따라 앞으로 행진할지니라

지난주 차 > 2016 - 동계방학 묵상지 13주차

다음주 차 > 2016 - 동계방학 묵상지 15주차

출처 - 한국성서대학교 - 매일의 성경

5월 29일 월요일 / 출애굽기 11 ~ 15

질문 : 이스라엘 백성이 몇 년 동안 애굽에 거주하였는가?(12장)

답변 :

 출애굽기 12

  40. 이스라엘 자손이 애굽에 거주한 지 사백삼십 년이라

5월 30일 화요일 / 출애굽기 16 ~ 20

질문 : 이스라엘 백성들은 만나를 몇 년 동안 먹었는가?

답변 :

 출애굽기 16

  35. 사람이 사는 땅에 이르기까지 ㅇ이스라엘 자손이 사십 년 동안 만나를 먹었으니 곧 가나안 땅 접경에 이르기까지 그들이 만나를 먹었더라

5월 31일 수요일 / 출애굽기 21 ~ 25

질문 : 이스라엘 백성이 지켜야할 세 절기는 무엇인가?

답변 :

 출애굽기 23

  15. 너는 무교병의 절기를 지키라 내가 네게 명령한 대로 아빕월의 정한 땨에 이레 동안 무교병을 먹을지니 이는 그 달에 네가 애굽에서 나왔음이라 빈 손으로 내 앞에 나오지 말지니라

  16. 맥추절을 지키라 이는 네가 수고하여 밭에 뿌린 것의 첫 열매를 거둠이니라 수장절을 지키라 이는 네가 수고하여 이룬 것을 연말에 밭에서부터 거두어 저장함이니라

6월 1일 목요일 / 출애굽기 26 ~ 30

질문 : 대제사장의 흉패에 넣어 하나님의 뜻을 결정할 때 사용했던 것은 무엇인가?

답변 :

 출애굽기 28

  30. 너는 우림과 둠밈을 판결 흉패에 넣어 아론이 여호와 앞에 들어갈 때에 그의 가슴에 붙이게 하라 아론은 여호와 앞에서 이스라엘 자손의 흉패를 항상 그의 가슴에 붙일지니라

6월 2일 금요일 / 출애굽기 31 ~ 35

질문 : 하나님의 성막과 기구를 제조한 사람은 누구인가?

답변 :

 출애굽기 35

  30. 모세가 이스라엘 자손에게 이르되 볼지어다 여호와께서 유다 지파 훌의 손자요 우리의 아들인 브살렐을 지명하여 부르시고

  34. 또 그와 단 지파 아히사막의 아들 오홀리압을 감동시키사 가르치게 하시며

 > 임명받은 자 : 브살렐, 오홀리압

 > 그 외에 무명의 자원한 인간들

6월 3일 토요일 / 출애굽기 36 ~ 40

질문 : 언약궤의 속죄소는 무엇으로 만들었는가? 또한 속죄소 양 옆에 있는 그룹(천사) 둘은 무엇으로 만들었는가?

답변 :

 출애굽기 37

  6. 순금으로 속죄소를 만들었으니 길이가 두 규빗 반, 너미가 한 규빗 반이며

  7. 금으로 그룹 둘을 속죄소 양쪽에 쳐서 만들었으되

6월 4일 일요일 / 레위기 1 ~ 4

질문 : 5가지 제사 중 유일하게 짐승을 드리지 않는 제사는 무엇인가?

답변 :

 레위기 2

  1. 누구든지 소제의 예물을 여호와께 드리려거든 고운 가루로 예물을 삼아 그 위에 기름을 붓고 또 그 위에 유향을 놓아

지난주 차 > 2016 - 동계방학 묵상지 12주차

다음주 차 > 2016 - 동계방학 묵상지 14주차

GetAsyncKeyState() 함수와 GetKeyState() 함수는 키보드의 키가 눌렸는지를 체크하는 함수들이다.

GetAsyncKeyState() 함수는 비 동기(Asynchronism)로 처리한다. 즉, 호출된 시점에서 키 상태를 조사하여, 메시지 큐를 거치지 않고 바로 리턴을 해 주므로 키 입력을 바로 처리해 줄 수가 있다.

GetKeyState() 함수는 호출된 시점에서 메시지 큐를 거치며, 메시지 발생 후의 상태를 리턴하게 되므로, 키보드 메시지 처리 루틴내에서 사용해야 한다. 게임과 같이 키 입력에 바로 반응을 해 줘야 하는 프로그램에서는 GetAsyncKeyState()함수를 사용하는 편이 좋다.

GetAsyncKeyState() 함수의 사용은

[code]if ( GetAsyncKeyState(VK_RETURN) )        // enter 키가 눌렀다면
{ // 처리            }
[/code]

이렇게 직접 쓰여도 되지만, 아래와 같은 형식으로 많이 사용한다.

[code]if ( GetAsyncKeyState(VK_RETURN) & 0x8000 )         // enter 키가 눌렀다면
{ // 처리            }
[/code]

왜? 0x8000으로 AND 연산을 통하여 키 눌림을 체크할까?

GetAsyncKeyState() 함수는, 키가 눌려진 시점에서 0x8000 값을 리턴해 준다. 그리고 함수가 호출되었을때 키가 눌려져 있었다고 0x0001 값을 리턴해 준다. 즉, 0x8000 은 현재 키가 눌려진 상태를 뜻하고, 0x0001은 지난번 호출과 이번 호출 사이에 키가 눌려진 적이 있었다 라는 것을 뜻한다.

예를 들어, 아래 방향키가 게임내에서 비행기도 움직이고, 메뉴에서 위아래 선택에도 쓰인다고 가정해 보자. AND 연산없이 그냥 사용하여 비행기를 움직이다가, F1키를 눌러 메뉴를 띄웠을 때 커서가 자동으로 아래쪽으로 내려갈 위험성이 생긴다. 왜냐하면, F1키를 누르는 시점에서 - if ( GetAsyncKeyState(VK_F1) ) - VK_DOWN은 눌리지 않았지만 리턴값이 0x0001이 되어 if ( GetAsyncKeyState(VK_F1) ) 전에 호출된 if ( GetAsyncKeyState(VK_DOWN) ) 이 참이 되기 때문이다. 하지만, 0x8000으로 AND 연산을 하면,

   1000 0000 0000 0000 (키눌림 0x8000)                0000 0000 0000 0001 (눌러진 적이 있음 0x0001)
& 1000 0000 0000 0000 (AND 연산 0x8000)           & 1000 0000 0000 0000 (AND 연산 0x8000)
---------------------------------------          -----------------------------------------------
   1000 0000 0000 0000 (키눌림 0x8000)                0000 0000 0000 0000 (키 안 눌림)

위와 같은 결과가 되어, 정확한 시점에서 키가 눌러진 상태를 체크할 수가 있는 것이다. 즉, 정확한 시점에서 키눌림 상태를 체크하기 위해서 0x8000으로 AND 연산을 해 주는 것이다.

GetKeyState() 함수의 사용 예

[code]// 키보드 메시지 처리루틴이 있는 콜백 함수 내에서...
// char szTemp[256];

case WM_KEYDOWN:
        // Ctrl + 왼쪽 화살표키가 눌렸는지 조사
        if ( wParam == VK_LEFT ) && (GetKeyState(VK_CONTROL) < 0) )
        {
                wsprintf(szTemp, "Ctrl키와 왼쪽 화살표 키가 눌림");
        }
        return 0;
[/code]

GetKeyState() 함수의 리턴값이 음수일 경우는 해당키가 눌린 상태이고, 음수가 아닐 경우는 해당키가 눌리지 않은 상태이다.

GetAsyncKeyState와 GetKeyState는 둘 다 키의 상태값을 알아내는 함수이다. 하지만 이 둘 사이에는 차이점이 있는데 다음과 같은 것들이다.

GetAsyncKeyState는 "키가 눌렸는가?"와 "언제부터 눌렸는가?"를 알아낼 때 사용한다. 키가 눌렸을 때 GetAsyncKeyState는 0x8000 bit가 1이된다. 그리고, 이전에 GetAsyncKeyState가 호출되었을 때부터 이번에 GetAsyncKeyState가 호출될 때까지 중간에 끊기지 않고 계속 눌려있는 상태라면 0x0001 bit는 0이 되고, 그렇지 않은 경우는 1이 된다.

1) CTRL 키가 눌린 상태이다.
2) GetAsyncKeyState(VK_CONTROL)를 호출하면 0x8001을 리턴한다.
3) GetAsycnKeyState(VK_CONTROL)을 한번 더 호출하면 0x8000을 리턴한다.

1) CTRL 키가 눌린 상태이다.
2) GetAsyncKeyState(VK_CONTROL)를 호출하면 0x8001을 리턴한다.
3) CTRL 키를 뗬다가 다시 눌렸다.
4) GetAsycnKeyState(VK_CONTROL)을 한번 더 호출해도 0x8001을 리턴한다.

키가 눌리지 않았을 때, GetAsyncKeyState는 항상 0x0000을 리턴한다.


GetKeyState는 "키가 눌렸는가?"와 "키의 토글상태가 무엇인가?"를 알아낼 때 사용한다. 키의 토글 상태란 Caps Lock, Num Lock의 키가 한번 누르면 불이 켜지고 다시 한번 누르면 불이 꺼지는 것을 생각하면 이해가 빠를것 같다.
키보드 상에는 위에서 말한 키만 불이 켜졌다 꺼졌다하면서 토글상태를 알려주고 있지만 다른 키들도 토글 상태를 갖고 있으며 단지 우리 눈에 보이지 않을 뿐이다. 이 토글 상태를 GetKeyState 함수로 알아낼 수 있다.

GetKeyState의 리턴값은 SHORT가 아닌 CHAR로 생각된다.
리턴값을 살펴보면 0xffffff81, 0xffffff80, 0x00000001, 0x00000000이 되는 것을 볼 수 있기 때문이다.
참고로 같은 SHORT형을 리턴하는 GetAsyncKeyState의 리턴값은 다음과 같다.
0xffff8001, 0xffff8000, 0x00000000 셋 중 하나

** MSDN에는 현재 하드웨어(키보드)의 상태값을 알아내길 원한다면 GetAsyncKeyState를 사용하라고 나와있다. GetKeyState는 메시지큐에 저장된 메시지에 따라 값이 변하기 때문이다.
메시지큐에 처리되지 않은 CTRL키가 눌렸다는 메시지가 쌓여있을 때,사용자가 CTRL키를 더이상 누르지 않고 있다면. GetAsyncKeyState는 "키가 눌리지 않았음"을, GetKeyState는 "키가 눌렸음"을 리턴할 것이다.

출처 - 한국성서대학교 - 매일의 성경

5월 22일 월요일 / 창세기 28 ~ 32

질문: 야곱이 얍복강에서 하나님의 사자와 씨름하고 얻은 새로운 이름은 무엇인가?

답변:

 창세기 32

  28. 그가 이르되 네 이름을 다시는 야곱이라 부를 것이 아니요 이스라엘이라 부를 것이니 이는 네가 하나님과 및 사람들과 겨루어 이겼음이니라

5월 23일 화요일 / 창세기 33 ~ 37

질문: 야곱이 하나님께 단을 쌓고 제사를 지낸 곳은 어디인가?

답변:

 창세기 35

  7. 그가 거기서 제단을 쌓고 그 곳을 엘벧엘이라 불렀으니 이는 그의 형의 낮을 피할 때에 하나님이 거기서 그에게 나타나셨음이더라

5월 24일 수요일 / 창세기 38 ~ 42

질문: 요셉이 애굽의 총리가 된 나이는 몇 살인가?

답변:

 창세기 41

  46. 요셉이 애굽 왕 바로 앞에 설 때에 삼십 세라 그가 바로 앞을 떠나 애굽 온 땅을 순찰하니

5월 25일 목요일 / 창세기 43 ~ 47

질문: 애굽에서 살게 된 야곱의 가족들은 모두 몇 명이었는가?

답변:

 창세기 46

  27. 애굽에서 요셉이 낳은 아들은 두 명이니 야곱의 집 사람으로 애굽에 이른 자가 모두 칠십 명이었더라

5월 26일 금요일 / 창세기 48 ~ 50

질문: 야곱은 요셉의 두 아들에게 축복할 때 하나님의 뜻을 따라 차자에게 장자보다 더 축복했다. 그 차자의 이름은 무엇인가?

답변:

 창세기 48

  20. 그 날에 그들에게 축복하여 이르되 이스라엘이 너로 말미암아 축복하기를 하나님이 네게 에브라임 같고 므낫세 같게 하시리라 하며 에브라임을 므낫세보다 앞세웠더라.

5월 27일 토요일 / 출애굽기 1 ~ 5

질문: 모세의 이름의 뜻은 무엇인가?

답변:

 출애굽기 2

  10. 그 아기가 자라매 바로의 딸에게로 데러가니 그가 그의 아들이 되니라 그가 그의 이름을 모세라 하여 이르되 이는 내가 그를 물에서 건져내었음이라 하였더라

5월 28일 일요일 / 출애굽기 6 ~ 10

질문: 10가지 재앙 중에 어느 재앙부터 이스라엘 땅에는 구별하여 내리지 않았는가?

답변:

 출애굽기 8

  22. 그 날에 나는 내 백성이 거주하는 고센 땅을 구별하여 그 곳에는 파리가 없게 하리니 이로 말미암아 이 땅에서 내가 여호와인 줄을 네가 알게 될 것이라

지난주 차 > 2016 - 동계방학 묵상지 11주차

다음주 차 > 2016 - 동계방학 묵상지 13주차

출처 - 한국성서대학교 - 매일의 성경

5월 15일 월요일 / 요한계시록 14 ~ 18

질문: 천사가 하나님의 진로의 대접을 쏟아 부었는데 몇 개인가?

답변: 

 요한계시록 15

  7. 네 생물 중의 하나가 영원토록 살아 계신 하나님의 진노를 가득히 담은 금 대접 일곱을 그 일곱 천사들에게 주니

5월 16일 화요일 / 요한계시록 19 ~ 22

질문: 백마를 탄 자가 있는데 그 이름이 무엇이라 했는가?

답변:

 요한계시록 19

  11. 또 내가 하늘이 열린 것을 보니 보라 백마와 그것을 탄 자가 있으니 그 이름은 충신과 진실이라 그의 공의로 심판하며 싸우더라

5월 17일 수요일 / 창세기 1 ~ 5

질문: 하나님은 남자와 여자를 창조하실 때에 하나님의 (   )대로 창조하셨는가?

답변:

 창세기 1

  27. 하나님이 자기 형상 곧 하나님의 형상대로 사람을 창조하시되 남자와 여자를 창조하시고

5월 18일 목요일 / 창세기 6 ~ 12

질문: 하나님께서 노아에게 다시는 물로 심판하지 않겠다고 약속하신 증표는 무엇인가?

답변:

 창세기 9

  13. 내가 내 무지개를 구름 속에 두었나니 이것이 나와 세상 사이의 언약의 증거니라  

5월 19일 금요일 / 창세기 13 ~ 17

질문: 살렘 왕으로 아브라함을 축복한 제사장은 누구인가?

답변: 

 창세기 14

   18. 살렘 왕 멜기세덱이 떡과 포도주를 가지고 나왔으니 그는 지극히 높으신 하나님의 제사장이었더라

5월 20일 토요일 / 창세기 18 ~ 22

질문: 아브라함은 소돔과 고모라 멸망을 위해 몇 번 기도했는가?

답변:

 창세기 18

  6번

5월 21일 일요일 / 창세기 23 ~ 27

질문: 에서의 별명은 무엇인가?

답변: 

 창세기 25

  30. 야곱에게 이르되 내가 피곤하니 그 붉은 것을 내가 먹게 하라 한지라 그러므로 에서의 별명은 에돔이더라

지난주 차 > 2016 - 동계방학 묵상지 10주차

다음주 차 > 2016 - 동계방학 묵상지 12주차

출처 - 한국성서대학교 - 매일의 성경

5월 8일 월요일 / 베드로전서 1 ~ 5

질문 : 만물의 마지막 때에 무엇보다도 뜨겁게 서로 (   )하라고 했다. 이것은 허다한 죄를 덮는다. (   )안에 맞는 것은 무엇인가?

답변 :

 베드로전서 1

  22. 너희가 진리를 순종함으로 너희 영혼을 깨끗하게 하여 거짓이 없이 형제를 사랑하기에 이르렀으니 마음으로 뜨겁게 서로 사랑하라

5월 9일 화요일 / 베드로후서 1 ~ 3

질문 : 발람의 길을 따르는 자들을 물 없는 샘이요, 광풍에 밀려가는 무엇이라고 비유 했는가?

답변 :

 베드로후서 2

  17. 이 사람들은 물 없는 샘이요 광풍에 밀려가는 안개니 그들을 위하여 캄캄한 어둠이 예비되어 있나니

5월 10일 수요일 / 요한일서 1 ~ 5

질문 : 사도요한은 형제를 사랑할 때 우리가 말과 혀로만 사랑하지말고 (    )과 (    )함으로 해야 한다고 권면한다.

답변 :

 요한일서 3

  18. 자녀들아 우리가 말과 혀로만 사랑하지 말고 행함과 진실함으로 하자

5월 11일 목요일 / 요한이서 1 ~ 유다서 1

질문 : 예수님의 동생 유다는 유다서에서 멸망 받은 자들을 설명할 때, 가인과 발람과 (    )를 예로 들었는가?

답변 :

 유다서 1

  11. 화 있을진저 이 사람들이여, 가인의 길에 행하였으며 삯을 위하여 발람의 어그러진 길로 몰려 갔으며 고라의 패역을 따라 멸망을 받았도다.

5월 12일 금요일 / 요한계시록 1 ~ 3

질문 : 7교회 중에 책망 없이 칭찬만 받은 두 교회는 어디인가?

답변 :

 요한계시록 2

  8 서머나 교회 

 요한계시록 3

  7. 빌라델비아 교회

5월 13일 토요일 / 요한계시록 4 ~ 8

질문 : 금 향로에 많은 향이 있는데, 이것은 무엇을 상징하는가?

답변 :

 요한계시록 8

  3. 또 다른 천사가 와서 제단 곁에 서서 금 향로를 가지고 많은 향을 받았으니 이는 모든 성도의 기도와 합하여 보좌 앞 금 제단에 드리고자 함이라

5월 14일 일요일 / 요한계시록 9 ~ 13

질문 : 큰 용이 하늘로부터 내쫓기는데 이 용은 무엇인가?

답변 :

 요한계시록 12

  9. 큰 용이 내쫓기니 옛 뱀 곧 마귀라고도 하고 사탄이라고도 하며 온 천하를 꾀는 자라 그가 땅으로 내쫓기니 그의 사자들도 그와 함께 내쫓기니라

지난주 차 > 2016 - 동계방학 묵상지 9주차

다음주 차 > 2016 - 동계방학 묵상지 11주차