flume-ng2 flume-ng를 이클립스로 빌드하기 0. 들어가는 말, 아무래도 이클립스가 편하다. 지난 글, flume-ng를 윈도에서 구동하려면에서는 윈도의 CMD에서 Maven을 이용하여 flume-ng를 빌드하는 것을 알아봤다. 컴파일과 배포 등은 수월한 반면 코드를 읽고 수정하며 디버깅을 하는 것은 CUI 환경에서는 아무래도 한계가 있다. 그래서 이번에는 flume-ng를 이클립스 환경에서 빌드하는 것을 소개 하고자 한다. 이클립스와 메이븐 플러긴 등은 따로 설명하지 않는다. 대신 flume-ng를 빌드하면서 맨 처음 누구나 만나게 되는 메모리 문제에 대해서 집중 소개하도록 하겠다. 1. 이클립스(Eclipse)로 flume-ng를 Import 하기 이번에 소개하는 이클립스 환경은 Mac OS X용으로 Juno 64비트(Mac OS X 64 Bi.. 2013. 5. 26. flume-ng를 윈도에서 구동하려면 0. 들어가는 말 빅데이터(Big Data) 분야 중에 흔하게 접할 수 있는 것 하나가 많은 수의 서버에서 생산되는 로그들을 실시간으로 수집하여 분산 파일 시스템에 저장하고, 이를 MapReduce를 이용하여 분석하는 일련의 프로세스이다. MapReduce는 어느 분야에서든 공통적으로 쓰이는 것이라 딱히 새로울 것이 없다. 오늘 주목하여 살펴보려는 것은 로그를 수집하는 부분이다. 사실 로그 수집 및 분석에 대해선 Splunk라는 상용 솔루션이 이미 한 자리를 차지하고 있다. 하지만 상용 솔루션이 대부분 그렇듯, 또 최신의 기술을 반영한 제품이 늘 그렇듯 고가의 가격이 부담스러운 장벽이 된다. 아울러 솔루션의 범용성이란 말이 모든 것을 다 해줄 것처럼 보이지만 때론 각자의 특별한 필요는 채워줄 수 없는 문.. 2013. 5. 19. 이전 1 다음
