컴맹 : 진화의 시작

국내에는 GCP( Google Cloud Platform )와 관련된 책이 워낙 귀하다 보니 이번에 한빛미디어에서 발간된 "이야기로 배우는 구글 빅쿼리"는 반가울 수밖에 없다. 게다가 빅쿼리에 포커싱 된 책이라니! 빅쿼리는 위키백과에 아래와 같이 정의되어 있다. 빅쿼리는 페타바이트급 이상의 데이터에 대해 스케일링 분석을 가능케 하는 완전 관리형 서버리스 컴퓨팅 데이터 웨어하우스이다. 빅쿼리는 2010년 5월 발표되었으며 2011년 11월 일반에 공개되었다 데이터 다루는 일을 업으로 하는 사람이 아니라면 어쩌면 생소할 수 있는 기술이지만 BigQuery는 빅데이터 플랫폼으로 AWS의 Redshift와 함께 양대산맥을 이루고 있다. 더욱이 Google Cloud 하면 빅쿼리가 연상될 정도의 GCP의 대표적인..

이전 편에서 데이터를 Google Cloud의 BigQuery에 담는 것 까지 진행을 했다. 사실 빅쿼리가 오버스펙이기는 하지만 쿼리 감각이 5년 전에서 멈춰있었기 때문에 이쯤에 개인 프로젝트로 쿼리 감을 되찾자는 것도 있었고, 빅쿼리를 통해 연동되는 GCP( Google Cloud Platform )의 여러 가지 부가적인 기능을 공부하자는 목적도 있었다. 아무튼, 지난시간까지 데이터를 적재하는 부분은 어느 정도 끝났기 때문에 데이터 모양새는 꽤 나쁘지 않게 쌓이고 있다. 현재는 대략 한 달치 이상의 데이터가 쌓이기를 기다리고 있는 시기인데 데이터가 충분히 쌓였을 때 다음 계획에 대해서 이것저것 생각해보고 있다. 사실 프로젝트의 목적은 "용인-> 강남 버스 출근 앉아가기"지만 이미 적은 데이터로도 앉을 ..