maven3 flume-ng를 이클립스로 빌드하기 0. 들어가는 말, 아무래도 이클립스가 편하다. 지난 글, flume-ng를 윈도에서 구동하려면에서는 윈도의 CMD에서 Maven을 이용하여 flume-ng를 빌드하는 것을 알아봤다. 컴파일과 배포 등은 수월한 반면 코드를 읽고 수정하며 디버깅을 하는 것은 CUI 환경에서는 아무래도 한계가 있다. 그래서 이번에는 flume-ng를 이클립스 환경에서 빌드하는 것을 소개 하고자 한다. 이클립스와 메이븐 플러긴 등은 따로 설명하지 않는다. 대신 flume-ng를 빌드하면서 맨 처음 누구나 만나게 되는 메모리 문제에 대해서 집중 소개하도록 하겠다. 1. 이클립스(Eclipse)로 flume-ng를 Import 하기 이번에 소개하는 이클립스 환경은 Mac OS X용으로 Juno 64비트(Mac OS X 64 Bi.. 2013. 5. 26. flume-ng를 윈도에서 구동하려면 0. 들어가는 말 빅데이터(Big Data) 분야 중에 흔하게 접할 수 있는 것 하나가 많은 수의 서버에서 생산되는 로그들을 실시간으로 수집하여 분산 파일 시스템에 저장하고, 이를 MapReduce를 이용하여 분석하는 일련의 프로세스이다. MapReduce는 어느 분야에서든 공통적으로 쓰이는 것이라 딱히 새로울 것이 없다. 오늘 주목하여 살펴보려는 것은 로그를 수집하는 부분이다. 사실 로그 수집 및 분석에 대해선 Splunk라는 상용 솔루션이 이미 한 자리를 차지하고 있다. 하지만 상용 솔루션이 대부분 그렇듯, 또 최신의 기술을 반영한 제품이 늘 그렇듯 고가의 가격이 부담스러운 장벽이 된다. 아울러 솔루션의 범용성이란 말이 모든 것을 다 해줄 것처럼 보이지만 때론 각자의 특별한 필요는 채워줄 수 없는 문.. 2013. 5. 19. 이클립스에서 메이븐을 이용한 하둡 프로젝트 생성하기 0. 들어가는 말 몇 년 사이에 빅데이터에 대한 관심이 급증하였고 실제로 많은 기업들이 이미 관련 솔루션이나 제품들을 내놓고 있다. 이런 분위기에 힘입어 하둡에 관심을 갖는 개발자들도 많아진 것 같다. 하둡 개발자들을 독려하는 책들도 속속 출간되고 있는데 이 책들을 읽고나서 아쉬운 점이 몇 가지 있었다. 우선 이번 글에서는 그 첫 번째로 개발환경에 대한 것을 먼저 얘기하려고 한다. 필자는 하둡을 다음과 같이 정의한다. 자바로 개발되었으나 다양한 언어로 접근할 수 있는 분산 파일시스템과 분산 컴퓨팅에 특화된 가상운영체제 하둡은 thrift라는 기술을 이용해서 C나 Python과 같은 언어로도 클라이언트 프로그램을 개발할 수 있다. 하지만 대부분 개발자들은 자바로 접근하려 할 것이다. 자바로 만들어진 많은 .. 2012. 12. 30. 이전 1 다음
