Google Colaboratory를 아시나요?

Google 에서 또다시 엄청난 것을 일반에 공개했다. 바로 Colaboratory 라는 것인데, Jupyter Notebook 의 협업판 이라고 생각하면 되시겠다. 원래 구글 내부에서 직원들이 사용하던 것인데 이번에 신청만 하면 바로 사용이 가능하게 되었다. (기본 제공은 아직 아닌듯.) 신청하면 1시간 내에 accept 되니 일단 선신청하고 용도는 천천히 생각해보시라. 신청은 아래 URL 에서 진행하면 된다.

신청: https://colab.research.google.com/

 

자, 그럼 도대체 Colaboratory 가 무엇인지 조금 더 살펴보도록 하자. Google 에서 기본적으로 제공되는 많은 문서가 있는데 이것들의 장점이라고 하면 로컬 PC 가 아닌 클라우드 환경에서 작업이 되기 때문에 공유가 수월하고 협업을 할 수 있다는 점이겠다. 다른 아이콘은 이미 친숙 할 텐데 가장 오른쪽 아이콘을 보자. Colaboratory 의 약자로 추정되는 아이콘이다.

 

다른 문서도 마찬가지지만 우리는 특히 Colab 이 클라우드 어딘가에서 docker 로 동작한다는 사실을 알아야 한다. 중요한 사실이다.

 

아래 그림처럼 colab 을 만들어서 편집을 하면 실제 코드의 interactive 한 동작은 docker 에서 이뤄지게 되는데, 스프레드시트나 프레젠테이션에서는 중요하지 않았던 내용이 왜 여기서는 중요할까?

 

정답은 매우 쉬운 곳에 있다. 우리는 notebook 을 사용하면서 예를 들어 mnist (손글씨 인식) 코드를 작성할 수도 있고, 기타 필요한 파일을 install 하거나 GitHub 에서 받아오기도 한다. 이렇게 notebook 에서 magic command 로 생성된 파일은 우리의 구글 드라이브가 아닌 docker 에 저장되기 때문에 브라우저에서는 눈으로 확인할 수가 없다. 또한 docker 머신은 내게 평생 종속되어 있지 않다. 언젠가는 삭제되 거나 재배치 되기도 한다는 의미다. 생성 해놓은 파일이 없어질 수도 있다는 이야기로 받아들이면 된다. 가령 예를 들어 foo 라는 python 모듈을 pip 로 install 했다고 하면 몇 일 후에 접속 했을 때는 다시 install 해야 할 수도 있다. (어찌보면 끔찍한 이야기고, 어떻게 보면 당연한 거고)

 

여튼 이제 colab 을 본격적으로 살펴보자. 우클릭하고 Colaboratory 파일을 생성하면 되겠다.

 

Colab 을 열어보면 Google 문서의 특징처럼 우측에 현재 셀을 수정하고 있는 사용자 아이콘이 표시된다. 함께 협업할 수 있다는 뜻이다. 당연한 이야기지만 모든 기능/동작이 Jupyter Notebook 과 동일하다. 더욱 놀라운 사실은 TensorFlow 의 버전이 최신으로 반영되어 있다. 아직 Google Cloud Platform 에서 제공하는 datalab 도 Tensorflow 버전이 1.2.1 인데 말이다.

 

사양은 의외로 좋다. 메모리가 무려 13 기가 !!

 

CPU는 나름 듀얼코어 2.30GHz

 

용량은 꽤 넉넉한 편이다. 엄청난 데이터를 테스트 하는게 아니라면 웬만한건 모두 테스트나 학습할 수 있을만큼 충분하다. 아래에서 사용자가 사용할 수 있는 영역은 /content 가 마운트되어 있는 46G 영역이다.

 

 

마무리

 

예전에 TensorFlow 를 처음 공부하기 시작할 때 언제 어디서든 브라우저를 통해 공부할 수 있도록 Google Cloud Platform 의 datalab 을 공인 IP 로 열어뒀던 적이 있다. 뭐 보안에 허술 하겠지만 당시에는 그게 최선이었다. 일단 원하는 결과(어디서든 공인 IP 입력하고 노트북 개발환경 접근)를 얻었으니까. 근데 구글에서 Colaboratory 라는 엄청난 물건을 던져줬다. 언제 어디서든 개발환경(대규모 프로젝트에는 어울리지 않지만)에 접속할 수 있고 링크 공유를 통해 여러 사용자들과 함께 협업할 수도 있다. 이제 이것을 어떻게 활용할지는 우리 사용자들의 몫이다. 굿!!

 

 

Update. 2018.01.31

 

현재 별도의 신청 없이 사용할 수 있으며 무려 GPU 까지 사용할 수 있다. 간혹 실행시에 GPU 를 이용할 수 없다는 메시지가 나올 때도 있는데 세계적으로 많은 사람들이 동시에 사용하려는 경우이므로 잠시후에 다시 시도해보면 사용할 수 있을 것이다. 아래 링크에 colaboratory 관련해서 자세한 내용이 있으니 살펴보면 좋을 듯.

https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d