본문 바로가기

일하는 중에41

HBase의 -ROOT-, .META. 테이블에 문제가 생겼다면 들어가는 말기존 RDBMS의 한계를 극복하고 데이터베이스의 새로운 패러다임을 실현하고자 만들어진 HBase는 대용량 데이터 처리를 위한 분산 데이터베이스이다. 기존 RDBMS와는 다른 점 중에 첫번째로 꼽는 것이 바로 SQL을 지원하지 않는다는 것이었다. 하지만 HBase의 경우 Phoenix가 등장하면서 이런 NoSQL의 특징(?)은 사라진지 오래다. 오늘 하려는 얘기는 HBase의 역사나 아키텍처와 같은 개념적인 것이 아니고 실제 이 데이터베이스를 운영하다가 한 번 쯤은 만나게 되는 장애 상황을 극복하는 것에 대한 것이다. 장애의 유형이야 여러가지 겠지만 그 중에서도 심심치 않게 발생하지만 쉽게 복구가 가능한 메타 테이블의 장애와 그 복구 방법을 알아 보도록 하자. HBase의 메타 테이블기존 RDB.. 2017. 8. 11.
프로그래밍 고수가 되고 싶다면 며칠 전 올린 짧은 글, "혼자 있는 시간의 가치"를 깨우치다에서 소개한 책, '글쓰기가 필요하지 않은 인생은 없다'를 읽는 중무릎을 치고 손뼉을 친 것이 몇 번이던가! 10년 넘도록 하루도 빠짐 없이 책을 읽고 글을 썼다는 작가의 삶으로 증명하는 이야기들은 반박할 수 없는 논리나 든든한 이론의 토대가 굳이 필요치 않다. 작가가 주장하는 많은 글쓰기 철학과 전략들 중에 나 역시도 격하게 공감하는 것이 있다면 바로 '다독(多讀)'이다.좋은 글을 쓰고 싶다면 제일 먼저 해야 할 일은 좋은 글을 많이 읽는 것이다. 다만 눈과 머리로만 읽는 것이 아니라읽은 것을 몸소 실천해보고 자기 것으로 만드는 과정이 반드시 필요하다. 어떻게? 라고 묻는다면 가장 쉬운 방법 하나가 글을 천천히 읽어내려 가다가 마음에 와 닿는.. 2017. 7. 17.
DIKW와 인공지능 그리고 인간의 통찰력 DIKW 이론이 있다. Data > Information > Knowledge > Wisdom 이라는 건대, 고개가 끄덕여질 수도 있고 아니면 다르다는 건 알겠는데 무슨 차이가 있는거지? 라고 자문할 수도 있겠다. 첨부한 사진 두 장을 보도록 하자. 사진 자체는 Data일 뿐이다. 하지만 언제 어디에서 무엇을 찍었는지에 대한 부연 설명이 따르면 정보가 된다. 즉 Data에 Context를 부여하면 Information이 된다는 말이다. "2016년 5월 2일 점심 무렵, 불광천에서 찍은 민들레 사진" 이것이 누군가에게는 정보일 수도 누군가에게는 정보가 아닐 수도 있다. 여하튼 DIKW 이론에서 말하는 데이터와 정보의 관계를 설명하는 하나의 예가 되겠다. 다시 "언제"에 집중해보자. 우리는 2016년 5월.. 2016. 5. 8.
하둡 데몬(namenode, datanode)의 기동과정과 메커니즘 이해 2010년 무렵 하둡을 처음 접한 뒤로 개발자로서의 내 삶은 많은 변화가 있었다. 내 머릿 속에 개념으로만 존재하던 분산 컴퓨팅이 일상의 개발환경이 된 것이 그 첫번째 일 것이다. 하둡과 함께 내 삶의 현장에서 일어났던 그리고 겪고 있는 이야기들을 기록하고자 한다. 사내에서 교육을 위해 정리한 자료 중 하둡의 주요 데몬들이 기동하는 과정에 서로 커뮤니케이션하는 내용을 다음과 같이 정리해봤다. 몇몇 책에서도 설명이 되어 있지만 데몬들이 기록하는 로그를 면밀하게 살펴가면서 내가 이해한 대로 그려본 것이다. 하둡은 여러 개의 브랜치가 있는데 최근에는 크게 1.x, 2.x 그리고 아직 공식 릴리즈는 없지만 로드맵 상에 3.x가 발표되어 있다. 이 글에서 언급하는 하둡은 2.x 브랜치로 2.0.0 버전이다. [그.. 2015. 9. 14.

티스토리툴바