shellscript2 flume-ng를 윈도에서 구동하려면 0. 들어가는 말 빅데이터(Big Data) 분야 중에 흔하게 접할 수 있는 것 하나가 많은 수의 서버에서 생산되는 로그들을 실시간으로 수집하여 분산 파일 시스템에 저장하고, 이를 MapReduce를 이용하여 분석하는 일련의 프로세스이다. MapReduce는 어느 분야에서든 공통적으로 쓰이는 것이라 딱히 새로울 것이 없다. 오늘 주목하여 살펴보려는 것은 로그를 수집하는 부분이다. 사실 로그 수집 및 분석에 대해선 Splunk라는 상용 솔루션이 이미 한 자리를 차지하고 있다. 하지만 상용 솔루션이 대부분 그렇듯, 또 최신의 기술을 반영한 제품이 늘 그렇듯 고가의 가격이 부담스러운 장벽이 된다. 아울러 솔루션의 범용성이란 말이 모든 것을 다 해줄 것처럼 보이지만 때론 각자의 특별한 필요는 채워줄 수 없는 문.. 2013. 5. 19. FTP 프로그램 테스트를 위해 만들어 본 파일 생성용 쉘스크립트 근래에 자바 애플릿 기반의 FTP 프로그램을 만들어서 사이트에 배포한 일이 있다. 처음에 배포했을 당시엔 드러나지 않던 문제가 보고되었는데 다름 아닌 2GB 이상의 큰 파일들을 전송하는 중에 Progress Bar가 정상적으로 동작하질 않는다는 것이다. 원인은 Data Type의 문제였다. 현재 전송중인 파일의 전송된 크기를 알려주는 변수를 long 타입으로 선언한 것이다. 이를 Long 타입으로 바로 잡아주니 문제는 해결되었다. 원인 파악과 수정 후 테스트를 진행하는 과정에서 생겨난 부산물이 하나 있으니 그것이 바로 오늘의 주제인 대용량 파일 생성용 쉘스크립트이다. 다음은 이 스크립트의 전문이다. 아주 간단한 뿐만 아니라 특별하게 어려운 내용도 없다. 다만 주목할 부분은 GB 단위의 파일을 만들기 위해.. 2011. 1. 14. 이전 1 다음