빠르게 훑어보는 "AWS Hero와 함께하는 re:Invent reCap 온라인 세미나" 후기

AWS Hero와 함께하는 re:Invent reCap 온라인 세미나가 진행됐다. re:Invent도 아직 진행중인데 벌써 reCap이라니 그 속도가 대단하다. 신상 제품을 이렇게 빠르게 모국어로 접할 수 있는 것은 대단한 축복이다. Hero분들께 심심한 감사를 전한다. re:Invent 답게 세미나 내용은 신규 기능에 초점을 맞추고 있지만 대부분 경험에서 우러나는 소중한 내용을 곁들여서 공유해주셔서 한 순간도 놓치지 않기 위해서 귀를 쫑긋하고 들었다 [라고 쓰고 업무 때문에 곁눈질로 봄..]

라이선스 문제가 우려되고 더욱이 발표자를 블로그에 박제하고 싶지 않아서 캡쳐는 하지 않았다. 고로 후기는 칙칙한 텍스트로만 작성했으며 같은 이유로 발표자 실명이나 존칭은 적지 않았으니 참고.

 

---

 

혁신가를 위한 AWS 신규 서비스 소개

노멀한 기조연설, 리인벤트와 AWS의 다양한 신규 피쳐들에 대한 소개가 있었다. 칩이나 IoT 같은 서비스는 관심 분야가 아니지만 교양 수업정도로 세션을 들을 수 있었다.

 

개발자를 위한 AWS 신규 서비스 소개

서버리스 히어로의 발표였는데 무척 인상적이었다. 퍼블릭 클라우드는 Google Cloud Platform만 사용하다가 꽤 오랜만에 AWS로 돌아왔는데 미래로 여행하고 있는 느낌. 그새 엄청나게 벌전했구나 싶었다. 세션 키워드는 서버리스, 조금 더 상세히는 Lambda와 Aurora serverless v2가 되겠다. 특히 람다의 구동환경인 컨테이너를 직접 배포할 수 있다니. 굉장한 변화다. GCP에 Cloud Run[1]에 겨냥된걸까. 컨테이너로 배포했을 때 유일하게 걱정되는게 cold start 부분인데 기술적으로 native function과 별 차이 없도록 성능개선 작업이 많았단다. 외계인을 고문한건가... 람다의 변화는 이뿐만이 아니다. 사용 비용이 이제 1ms 단위로 청구된단다. 기존에 청구 단위가 100ms 였던 것에 비하면 1/100로 줄어든건데 이건 놀라운 변화다. 람다를 헤비하게 사용하면서 캐싱 비율이 높았던 곳은 자고 일어나보니 요금청구가 현저히 줄어있는 기적을 맛보지 않았을까? 람다에서 끝이 아니다. 오로라 서버리스는 또 언제 나와서 벌써 v2....

발표자는 서비스 전체 인프라를 서버리스로 운영중이라고 하는데 데이터베이스까지도 포함된단다. 헤비한 서비스에서 Aurora를 서버리스로 운영하면 어떤 부분을 고민하고 해결해야 할지 궁금했다. 이 부분은 차차 알아봐야지. 아무튼 오랜만에 AWS로 와서 서버리스를 마주하니 다시 불타오르네. 대충 3년 전에 숙박 플랫폼을 개발하던 당시에 푸시, 알림톡, 이메일 발송을 서버리스로 구현하면서 나름 람다를 깊이 있게 공부 했었는데 이제는 너무 옛날 지식이 된 듯한 느낌. 시대에 맞춰 빠르게 움직여야겠다.

 

아키텍트를 위한 AWS 신규 서비스 소개

앞서 기조연설에서 빠르게 훑어 낸 내용을 상세히 알아본 시간. 특히 Mac 인스턴스가 이제 AWS에서 제공된다는건 입이 다물어지지 않을정도의 충격이었다. 클라우드에서 Mac이 제공되어도 iOS 개발자에게 로컬 머신은 필수겠지만 테스팅이나 빌드 파이프라인 구성쪽에서 굉장한 효율이 있을 듯 하다. 곧 사용 사례도 쏟아지지 않을까?

arm 타입의 인스턴스 제공 소식은 어느정도 혜택이 있을지 아직 체감되지 않는다. 속도나 가격 등 모든 면에서 월등히 뛰어난 것처럼 보이지만 어떤 경우에 선택을 하면 안되는걸까? 이 의문은 풀리지 않는다. 아무튼, apple에서도 arm 기반의 m1 모델[2]이 출시된걸 보면 확실히 시대가 arm 기반으로 빠르게 격변하고 있는 듯 하다. 하지만 대다수의 애플이케이션이 이 변화에 잘 대응 할까? 벌써 5년정도 전의 일이지만 mariaDB를 arm 기반으로 크로스컴파일 하다가 굉장히 고생했던 기억이 불현듯 스쳐지나갔다. 앞으로 5년후에는 어떤 변화가 있을까.

 

데브옵스 엔지니어를 위한 AWS 신규 서비스 소개

DevOps 란 무엇이고 데브옵스의 업무 범위에 대해서 정의하면서 발표를 시작했다. 이번 세션에서 핵심 키워드는 AWS Proton이다. AWS Proton 은 컨테이너와 서버리스를 위한 첫 번째 완전관리형 배포 서비스가 출시됐단다. 템플릿을 생성해서 Proton에 올려두면 개발자는 애플리케이션에 적합한 인프라스트럭처를 찾아서 배포 할 수 있게 되는 구조인데 Proton를 통해 배포 과정과 업데이트를 모니터링할 수 있다. 템플릿이라고 하면 인프라 개발자를 위한 코드로서의 인프라스트럭처(Infrastructure as code, IaC)인데 테라폼과 같은게 여기에 해당하겠다. Proton과 유사한 서비스로 언급되는건 serverless framework가 있다고 한다.

 

데이터 분석가를 위한 AWS 신규 서비스 소개

키워드는 AWS Glue DataBrew 이다. Glue는 데이터 분석가와 데이터 과학자를 위한 도구인데 데이터의 프로파일링을 제공해주고 비쥬얼 맵이 제공되기 때문에 시각적으로도 도움을 받을 수 있다. 파이프라인을 코드로 관리하는 경우에는 코드를 읽을 수 없다면 전체 형상을 파악하기 어려운데 Visually map을 통해 데이터의 흐름을 한 눈에 볼 수 있다. 유사한 서비스로는 Apache Airflow가 있지만 이 경우에는 직접 파이프라이닝을 해야 하지만 Glue는 그럴 필요가 없단다. 데모를 보여줘서 서비스를 쉽게 이해할 수 있었ㄷ...라고 쓰고 싶지만 친근한 분야가 아니라서 어려웠다. (하하하)

 

데이터 과학자를 위한 AWS 신규 서비스 소개

이번 세션에서는 머신러닝 개발을 위한 완전 관리형 서비스 Amazon Sagemaker(2017)의 역사와 새로운 기능이 소개되었다. Sagemaker Pipelines는 개발자의 CI/CD처럼 머신러닝 엔지니어에게 필요한 워크플로우와 CI/CD를 제공해준다. 파이프라인 상태 시각화 실시간 제공받고, 모델을 관리하는 모델 레지스트리(ECR같은)를 통해 멀티 계정에 대한 문제도 쉽게 해결할 수 있다. 데이터계정에 있는 모델을 프로덕션 환경에서 가져다 사용하는 등. 

머신러닝을 위한 데이터 준비는 전체 과정의 80% 이상 소요되는데 이 부분을 Sagemaker Data Wrangler 서비스를 통해 처리 가능하다. 데이터만 준비되어 있다면 코드작업 없이 쿼리를 통해 가져올 수 있고 손쉬운 데이터 변환도 지원한다(요즘은 "코드 없이" 다 가능해! 이게 클라우드의 컨셉인 듯). 데이터 준비단계에서 이상점 발견, 샘플링된 데이터를 바탕으로 모델 성능에 영향을 주는 핵심 feature를 발견, 모델 성능 향상을 위해 feature 탐색 환경 제공... 모델 성능에 대한 빠른 예측까지 된다니, 세상 참... 

이런 서비스도 결국 누가 더 우아하게 사용하는지가 핵심이고 서비스의 한계를 이해하고 적절한 위치에 대안을 제시할 수 있는게 엔지니어의 역량이 되시겠다.

 

마무리

코로나의 여파로 온라인 세미나는 꽤 친숙한 편인데 오프라인과 다르게 발표자와 같이 호흡하는 느낌은 없어서 다소 아쉽다. 하지만 세션을 시청하며 궁금한 내용을 채팅창을 통해 실시간으로 질문하고 답변받을 수 있는 시스템은 굉장히 매력적인 요소이다. 나도 덕분에 바로바로 궁금한 걸 해소할 수 있었다. 그건 그렇고 여타 퍼블릭 클라우드처럼 AWS에도 눈 감았다 뜨면 새로운 서비스가 출시되어 있고, 잘 쓰던 기능은 확장되어 있고... 따라가려면 부지런해야겠다. :-)

 

---

[1] : jybaek.tistory.com/875?category=696494
[2] : https://ko.wikipedia.org/wiki/애플_M1

reference

유튜브 다시보기 : https://www.youtube.com/awskorea
발표자료 : https://www.slideshare.net/awskorea