[세미나] splunk 2012년 2기 붓캠프 강의

#1 [교육 1일차]
전부터 한번은 듣고 싶었던 splunk 강의,
(미리 밝히지만, 엄청난 기술에 대한 기대감 때문이 아닌.. 단지 호기심 때문에.. ^^; )

근래에 mos쪽 splunk 직원분께서 회사에 방문해서 세미나를 갖은 적이 있었습니다.
일종의 협력 관계를 맺기 위한(?)...세미나였을려나.. 
(사실 아직 까지는 회사에서 splunk를 위한 라이센스를 구입할 의사는 전혀 없어 보입니다. -물론 개인적인 생각)

대용량으로 쏟아지는 로그 데이터 처리를 위한 기술로 알려진 splunk,
모든 로우 데이터(meta Data)에서 정확하게 필요한 정보를 뽑아내서 출력하는데
출력 또한 사용자 편의에 맞게 다양한 그래프와 차트 지원. (로우 데이터 포함)

그렇지만 이런 기술이 궁금해서 강의에 참여한것은 아닙니다,
다만 이 기술이 어떤 것인지 "궁금" 했을 뿐..

이미 사내에도 유사한 기능이 개발 완료 단계이며,
우리의 기술과 무엇이 다르고, 차이점은 무엇인지 궁금한것도 강의 참여에 계기가 되었습니다.

어차피 splunk는 바이너리 데이터는 직접 처리하지 못하고 (string 형태로 가공 해야 된다는..)
데이터를 뽑아내는 것(searching) 또한 일반적인 query 문장에서 크게 벗어나지 못하다.
(심지어 일반적인 query 문장과 동일한 함수도 존재... query 사용할 줄 아는 사람이라면 하루면 주물럭 할 수 있겠...)

비록 query에 비해 훨씬(과연?) 간단해진것은 사실이지만, splunk quick reference에 기술된 약 100여개의
명령어를 통달해서 사용할 정도면.. 사실 query를 사용하는것 과 다를바 없다는것.. 간과하지 말아야 합니다.

자, 그렇다면 속도는 어떠할까요?
아직 수천,수억 만건의 데이터에 대한 결과 시간을 측정해보지 못해서 뭐라 말할 수는 없겠지만..
약간 석연찮은 구석이 있는 속도, 빠른 처리를 위해서는 그만큼 하드웨어 스펙이 뒷받침 되는 Client가 있어야 하고...
데이터를 쌓는 Server도 마찬가지겠지요?

현재 사용하는 Search(qeury) 문장에 대한 리포팅이나 알람 기능, 태깅도 제공합니다.
(사실 이러한 면모에 대한 구현은 어렵지 않다;; 다만 사용자 편의를 생각해줬다는 측면에서 약간의 가산점 정도..)

이번 강의의 개인 테스트 OS는 64bit Win7 ... 하드웨어 스펙은 현재 출고되는 노트북 중 Top10 에 들지 않을까 싶은데,
여튼 각설하고, 개발자이며, 얕은 query 지식이 있는 필자는.. 솔직히 splunk의 "강점"이 무엇인지 잘 모르겠네요 ^^;
내일도, 모레도 Searching에 대한 고급 기술(?) 관련한 교육이 이어진다는데...쩝,
뼈에 와 닿는 "강점"에 대한 내용은 이번 교육때는 듣지 못하겠고...
(사실 금일 강의중에 나왔을지도 모른다. 다만, 필자가 해당 내용을 "강점"으로 생각하지 못하고 넘겼을지도..)


이 글은 어디까지나 얕은 splunk 지식을 기반으로 작성한 지극히 개인적인 견해일 뿐이므로,
참고하지 마시길... 사실 누군가에게는 매우 강력한 툴일지 모르니까,



#2 [교육 2-3일차]
어느덧 splunk의 많은 명령어와, 인터페이스를 경험했습니다.
분명 쉬운 툴은 아니다. 물론 쉬워보인다, User Interface도 간략해보이면서 많은 정보를 출력 할 수 있고
원하는 데이터를 뽑아낼 수 있는 툴입니다.
하지만 여전히 본인의 의견은 (개발자의 입장) 속도적인 측면이 검증되지 않았기 때문에,
또는 100여가지에 이르는 명령어를 통달 해서 데이터를 뽑아낼 정도면 일반 query를 사용하는 DataBase에서도
충분히 통달 하고 원하는 데이터를 뽑을 수 있으리라고 봅니다. 하지만 분명한건 인터페이스는 참 괜찮습니다.
유저가 원하는대로 화면에 출력 할 수 있다는것은 기술이라고 하면 기술인겁니다.

데이터 INPUT에 대해서도 강력한 것은 틀림 없는 사실입니다.
형식에 맞춰야 하는 일반 DB에 비하면 테이블을 생성하거나 따로 스키마를 조정할 필요 없이
구분자만 정해주고 어떤 컬럼을 어떤 필드로 출력할지라든가, 출력을 어떤 식, 어떤 조합으로 할 지에 대한 정의만 내리면 그 어떤 데이터(string)라 해도 뽑아 낼 수 있습니다. (사실 어느정도? 규칙이 있고, 정규식으로 분별 가능해야 합니다.)

훗날 splunk가 어떻게 성장해 나갈지.. 교육 1일차에 비해 조금은 궁금해졌고, 어느정도 특장점을 가진 툴이라는 것을 인정하게 되었습니다.