티스토리 뷰

#1 [교육 1일차]
전부터 한번은 듣고 싶었던 splunk 강의,
(미리 밝히지만, 엄청난 기술에 대한 기대감 때문이 아닌.. 단지 호기심 때문에.. ^^; )

근래에 mos쪽 splunk 직원분께서 회사에 방문해서 세미나를 갖은 적이 있었습니다.
일종의 협력 관계를 맺기 위한(?)...세미나였을려나.. 
(사실 아직 까지는 회사에서 splunk를 위한 라이센스를 구입할 의사는 전혀 없어 보입니다. -물론 개인적인 생각)

대용량으로 쏟아지는 로그 데이터 처리를 위한 기술로 알려진 splunk,
모든 로우 데이터(meta Data)에서 정확하게 필요한 정보를 뽑아내서 출력하는데
출력 또한 사용자 편의에 맞게 다양한 그래프와 차트 지원. (로우 데이터 포함)

그렇지만 이런 기술이 궁금해서 강의에 참여한것은 아닙니다,
다만 이 기술이 어떤 것인지 "궁금" 했을 뿐..

이미 사내에도 유사한 기능이 개발 완료 단계이며,
우리의 기술과 무엇이 다르고, 차이점은 무엇인지 궁금한것도 강의 참여에 계기가 되었습니다.

어차피 splunk는 바이너리 데이터는 직접 처리하지 못하고 (string 형태로 가공 해야 된다는..)
데이터를 뽑아내는 것(searching) 또한 일반적인 query 문장에서 크게 벗어나지 못하다.
(심지어 일반적인 query 문장과 동일한 함수도 존재... query 사용할 줄 아는 사람이라면 하루면 주물럭 할 수 있겠...)

비록 query에 비해 훨씬(과연?) 간단해진것은 사실이지만, splunk quick reference에 기술된 약 100여개의
명령어를 통달해서 사용할 정도면.. 사실 query를 사용하는것 과 다를바 없다는것.. 간과하지 말아야 합니다.


자, 그렇다면 속도는 어떠할까요?
아직 수천,수억 만건의 데이터에 대한 결과 시간을 측정해보지 못해서 뭐라 말할 수는 없겠지만..
약간 석연찮은 구석이 있는 속도, 빠른 처리를 위해서는 그만큼 하드웨어 스펙이 뒷받침 되는 Client가 있어야 하고...
데이터를 쌓는 Server도 마찬가지겠지요?

현재 사용하는 Search(qeury) 문장에 대한 리포팅이나 알람 기능, 태깅도 제공합니다.
(사실 이러한 면모에 대한 구현은 어렵지 않다;; 다만 사용자 편의를 생각해줬다는 측면에서 약간의 가산점 정도..)

이번 강의의 개인 테스트 OS는 64bit Win7 ... 하드웨어 스펙은 현재 출고되는 노트북 중 Top10 에 들지 않을까 싶은데,
여튼 각설하고, 개발자이며, 얕은 query 지식이 있는 필자는.. 솔직히 splunk의 "강점"이 무엇인지 잘 모르겠네요 ^^;
내일도, 모레도 Searching에 대한 고급 기술(?) 관련한 교육이 이어진다는데...쩝,
뼈에 와 닿는 "강점"에 대한 내용은 이번 교육때는 듣지 못하겠고...
(사실 금일 강의중에 나왔을지도 모른다. 다만, 필자가 해당 내용을 "강점"으로 생각하지 못하고 넘겼을지도..)


이 글은 어디까지나 얕은 splunk 지식을 기반으로 작성한 지극히 개인적인 견해일 뿐이므로,
참고하지 마시길... 사실 누군가에게는 매우 강력한 툴일지 모르니까,



#2 [교육 2-3일차]
어느덧 splunk의 많은 명령어와, 인터페이스를 경험했습니다.
분명 쉬운 툴은 아니다. 물론 쉬워보인다, User Interface도 간략해보이면서 많은 정보를 출력 할 수 있고
원하는 데이터를 뽑아낼 수 있는 툴입니다.
하지만 여전히 본인의 의견은 (개발자의 입장) 속도적인 측면이 검증되지 않았기 때문에,
또는 100여가지에 이르는 명령어를 통달 해서 데이터를 뽑아낼 정도면 일반 query를 사용하는 DataBase에서도
충분히 통달 하고 원하는 데이터를 뽑을 수 있으리라고 봅니다. 하지만 분명한건 인터페이스는 참 괜찮습니다.
유저가 원하는대로 화면에 출력 할 수 있다는것은 기술이라고 하면 기술인겁니다.

데이터 INPUT에 대해서도 강력한 것은 틀림 없는 사실입니다.
형식에 맞춰야 하는 일반 DB에 비하면 테이블을 생성하거나 따로 스키마를 조정할 필요 없이
구분자만 정해주고 어떤 컬럼을 어떤 필드로 출력할지라든가, 출력을 어떤 식, 어떤 조합으로 할 지에 대한 정의만 내리면 그 어떤 데이터(string)라 해도 뽑아 낼 수 있습니다. (사실 어느정도? 규칙이 있고, 정규식으로 분별 가능해야 합니다.)

훗날 splunk가 어떻게 성장해 나갈지.. 교육 1일차에 비해 조금은 궁금해졌고, 어느정도 특장점을 가진 툴이라는 것을 인정하게 되었습니다.


댓글
  • 프로필사진 당연합니다. 스플렁크는 '좋은 진호의 여유만만' 블로그에 잘 정리되어 있습니다.
    블로그 마지막 문단에 보시면 깔끔한 결론도 있습니다.
    "Splunk는 굉장한 물건인 건 확실하다. Splunk를 포크레인으로 만들것이냐 삽으로 또는 숟가락 정도로 만들 것이냐는 엔지니어의 능력에 달렸다."
    '당당하게 걷기'님의 표현에서 "뼈에 와 닿는 '강점'에 대한 내용은 듣지 못하겠고..."당연합니다.
    '좋은 진호의 여유만만' 글에서처럼 엔지니어의 능력입니다.
    그래서, 스플렁크의 강점에 대하여 이해할 수 없었던 것입니다.
    스플렁크 속도는 타제품에 비해 상대적으로 빠릅니다.
    그러나, 현재의 엔지니어 능력으로 속도 저하가 많을 것 같습니다. 무거운 쿼리, 시스템에 대한 이해 부족,시스템 관련 질문,오류에 대한 부실한 답변(구글검색과 똑같은 답변) 등.
    교육(초,중,고급)에서 매번 검색,UI의 사용법만 강의하고 스플렁크 시스템 교육내용은 없습니다.
    회사규모, 엔지니어 수, 기술정도 등을 꼼꼼히 확인하셔야 할 것입니다.
    외산제품은 제품자체보다 공급업체의 기술지원과 재무건전성이 중요합니다.
    2012.01.14 20:21
  • 프로필사진 BlogIcon Jaeyeon Baek 우선 답변 감사합니다.
    저의 부족함이 splunk의 이해부족으로 이어지고 그것이 진정 splunk를 포크레인으로 만들지 못한것일 수 있습니다.
    헌데, 교육에서 어느정도 시스템에 대한 내용도 포함되어 있었습니다.
    속도 면에서는 언급한바와 같이 실제 BMT 측정한 결과값을 얻을 수 없었고, 기본적인 검색 쿼리를 바탕으로 장시간 expolrer에 splunk를 올려 놓은 경우 또한 검색이 상당히 느려짐을 느꼈는데.. 데이터가 수억건이 되는것도 아니고 약 10만건 정도(?) 였는데 말이죠, 뭐 이건 그렇다고 칩니다.
    제가 splunk를 얕잡아(?) 보는것은, 어쩌면 강사님께서 진정한 포크레인을 보여주시지 않았기 때문인지도 모르겠네요 ^^;
    그렇지 않다면.. 타사 유사제품이 기술적으로 너무 뒤쳐 있기 때문에 splunk가 빛을 받는것이던가..
    2012.01.17 16:49 신고
댓글쓰기 폼