컴맹 : 진화의 시작

helm upgrade --install 명령어가 실패하는 경우가 있습니다. $ helm upgrade --install airflow apache-airflow/airflow --namespace airflow --create-namespace Release "airflow" does not exist. Installing it now. Error: failed to download "apache-airflow/airflow" 공식문서에 있는 명령어를 그대로 사용했음에도 오류가 나는 경우는, 일반적으로 이미 오래전에 helm repo를 추가해두고 방치한 경우일겁니다. 아래와 같이 repo를 업데이트 해주세요. $ helm repo update Hang tight while we grab the late..

AWS에 대표적인 Data Warehouse 제품인 Redshift에 Serverless 버전의 비용 관련된 내용이 잘 정리된 글이 없어서 이번 기회에 정리해 봅니다. 글을 정리하는데 백서도 도움이 됐지만 메가존 포럼과 AWS Global Center의 도움을 많이 받았습니다. 우선 Redshift Serverless 비용을 이해하려면 Redshift Processing Units(RPUs) 개념을 알아야 합니다. Redshift Serverless는 워크로드에 따라 자동으로 컴퓨팅 파워를 확장하는데 그게 RPUs 단위입니다. 가벼운 쿼리는 32 RPUs(최소 설정 값)로 처리되고 좀 더 복잡한 쿼리는 최대 512 RPUs까지 늘어납니다. 기본 값을 Base capacity라고 하는데 이 값을 32부터 ..

이번에 한빛미디어에서 아주 재밌는 책이 발간됐습니다. 테라폼의 기본부터 실무까지 두루 훑고 있는 테라폼으로 시작하는 IaC 입니다. 이 책이 매력적인 이유를 하나씩 이야기해 보도록 하겠습니다. 💫 먼저 이 책인 기본에 아주 충실한 책입니다. IaC(Infrastructure as Code) 가 필요했던 이유부터 시작합니다. 프로그래밍 언어를 다룰 때 좋은 코드와 구조, 나아가 우리(코드를 읽고 쓰는 사람)가 코드를 읽는데 더 많은 시간을 사용하는 점을 들며 테라폼의 등장을 소개합니다. 그리고 기본적인 콘셉트, 그러니까 테라폼 코어와 프로바이더가 통신하고 실제 인프라 API와 통신하는 구조를 설명합니다. 그다음으로 테라폼의 기본 문법부터 모듈까지 다룹니다. 그렇기 때문에 입문자도 어렵지 않게 모든 예제를 ..

지난주에 생애 첫 🇺🇸 미국 여행으로 마이애미를 다녀오고 자질구레한 팁을 정리합니다. 미국에 처음 발을 딛으려는 분들께 도움이 되길 바랍니다. (나열된 순서는 의미 없습니다) - 만약 미국 내에서 환승을 해야 하는 경우가 있다면 첫 번째 환승 공항에서 입국 심사를 받아야 한다. 그 말인 즉, 짐을 다시 찾고 붙이는 과정이 이때 필요하다는 거다. 가뜩이나 미국 첫 여행이라 걱정이 많았는데 토익시험 보러 가는 것처럼 그냥 앞사람들과 함께 흘러가면 된다. 정 불안하면 공항 직원 붙잡고 비행기 티켓(최종 목적지) 보여주고 캐리어만 가리켜도 어디로 이동해서 짐을 부쳐야 하는지 알려줄 거다. - 🚕 교통수단은 우버(Uber) 혹은 리프트(Lyft)를 이용하면 좋다. 몇 달러(💰) 차이 나는 거 신경 안 쓸 거면 그..

오롯이 데이터에 집중해서 주변 기술을 정리하고 설명하는 책이 출간되었습니다. 디코딩이라고 하는 한빛미디어 임프린트 브랜드에서 번역서로 나왔는데요. 데이터 품질의 비밀입니다. 아주 재밌는 것은 역자로 등록된 게 커뮤니티라는 점입니다. "데이터야놀자"에서 번역을 진행했네요. 데이터야놀자와는 2017년에 인연이 있습니다. 각설하고, 이 책은 데이터 품질부터 시작해서 다룹니다. 품질이란 무엇이며 데이터 다운타임이 주는 의미를 다시금 생각할 수 있게 합니다. 그리고 많은 사람들이 그 개념에 대해 아직 팽팽하게 논의하는 "데이터 웨어하우스"와 "데이터 레이크"에 대해서 다루고 있고요. 뭐 이것 또한 유행의 흐름이라고 생각합니다. 시간이 조금 더 지나야 조금 더 명확해질 것으로 보입니다. "데이터 레이크 하우스"라는..

예비 개발자 분들께 조금이라도 도움이 되길 바라는 마음으로 작성했습니다. 주관이 잔뜩 담긴 글인데 혹여 이 글로 인해 불편한 마음 갖는 분이 없으시길 바랍니다. 마이스터고 진학, 컴퓨터공학 관련 전공, 나아가 비전공자까지 닷컴 버블 이후로 이만큼 IT 업계가 호황인적이 없었기 때문에[1] 많은 사람들이 개발자 문턱을 넘으려고 합니다. 본 글에서는 개발자가 되려는 사람이 알아두면 좋을 것들을 정리합니다. 개발자로 진로를 선택한 누군가에게는 도움이 되길 바랍니다. # 이건 누구를 위한 글입니까? 아직 현업에서 개발을 해본 적이 없지만 개발자가 되기를 희망하는 불특정 다수입니다. 특정 도메인이나 IT 전문 용어는 최대한 빼고 작성했습니다. 그럼에도 이 글이 어렵게 느껴지신다면 똥글이라고 욕하기보단 조용히 뒤로..

FastAPI를 사용한 파이썬 웹 개발은 파이썬 웹 프레임워크 FastAPI를 소개하고, 이를 활용한 웹 애플리케이션을 개발하는 방법을 다루는 번역서입니다. 총 9개의 챕터로 구성되어 있으며, FastAPI의 기본 개념과 기능, 데이터베이스 연결 방법, 보안 기능, 테스트 코드 작성 방법, REST API 작성 방법, 비동기 처리 방법, 도커를 이용한 배포 방법 등을 다룹니다. 정말 모든 걸 품고 있는 듯한 목차죠. 이 책 한 권으로 끝내보겠다는 욕심이 느껴집니다. 하지만 두께가 얇아서 내용을 지면에 다 담지 못하는 아쉬운 점도 있습니다. 앞에 다른 내용은 상상하는 그대로 일 테니 특별히 언급하지는 않겠습니다. 마지막 도커 이미지 배포는 재밌는 게 있어서 이미지로 저장해 봤습니다. "도커 이미지를 다른 ..

이번에는 전공 서적은 아니지만 업무에 도움이 되는 책을 접했습니다. 현재 마케팅 에이전시에서 데이터를 다루는 업무를 하고 있는데요. 꼭 퍼포먼스 마케팅의 세계를 알아야만 할 수 있는 업무는 아니지만, 도메인을 알고 있다면 더 넓은 시야를 가질 수 있고 좋은 제품을 만들 수 있습니다. 이번에 읽은 책은 "데이터로 말한다! 퍼포먼스 마케팅" 입니다. 책은 미디어 커머스 회사를 운영하는 대표가 지금까지 걸어온 길을 바탕으로 퍼포먼스 마케팅을 소개하고 있습니다. 꽤나 재밌게 읽혔던 부분은 2015년부터 2019년까지 마케팅 업계가 어떻게 바뀌어 왔는지였습니다. "2015년, 콘텐츠를 만들면 소비되었다. 2016년, 콘텐츠를 보면 구매가 일어났다. 2017년, 자극적 콘텐츠 그리고 믿거페. 2018년, 너는 떠들..

첫 번째 글을 통해 슬랙 앱을 설치했고 두 번째 글에서 로컬 PC에서 ChatGPT를 서비스하는 방법을 살펴봤습니다. 이번 글에서는 앞서 소개한 소스코드를 클라우드에 올려두고 슬랙에 연동해서 사용해 볼 겁니다. 슬랙 앱이 없다면 첫 번째 글을 참고하시고, 두 번째 글은 슬랙 앱에 권한 설정 부분과 토큰을 얻는 설명이 있기 때문에 부분적으로 참고하셔야 할 겁니다. 만약 권한 같은 문제를 이미 통달하셨다면 이번 글만 보셔도 상관은 없습니다. 자, 그럼 클라우드로 출발합니다. 우리는 Google Cloud 를 통해 서버리스 환경에서 ChatGPT와 슬랙앱을 운영해 볼 겁니다. 대략적인 아키텍처는 아래와 같습니다. 보이는 것처럼 아주 심플합니다. Cloud Run은 fully-managed serverless ..

이번 글에서는 ChatGPT를 로컬 PC 서비스하기 위한 과정을 살펴볼 겁니다. 이 과정을 준비하기 위해서는 첫 번째로 Slack App이 필요합니다. 혹시 아직 앱이 없으시다면 이전 글을 참고해서 앱을 먼저 생성해 주세요. 두 번째는 ngrok이라는 애플리케이션이 필요합니다. 그리고 끝으로는 제가 만든 애플리케이션을 동작시키기 위해 Git과 Python이 필요합니다. 먼저 ngrok 은 Slack에서 발생하는 메시지를 내 PC에서 받아서 처리하기 위해 필요한데요. 설치를 포함한 자세한 내용은 여기 글을 통해 확인하시기 바랍니다. # OpenAI 회원 가입 및 토큰 획득 우리 프로그램을 돌리기 위해서는 OpenAI API를 호출할 수 있는 토큰 정보가 필요합니다. https://platform.opena..

이번 글에서는 연일 화제를 이어가고 있는 ChatGPT를 슬랙에 연동하는 과정을 살펴보겠습니다. 소스코드는 제가 모두 준비해 놨으니 천천히 따라오시면 누구나 슬랙에 ChatGPT를 사용하실 수 있을 겁니다. 글은 총 세 편으로 이어질 겁니다. 첫 번째 글에서는 슬랙 앱을 생성하고 두 번째 글에서는 로컬에서 서비스를 실행시켜 ChatGPT를 슬랙에 연동할 겁니다. 세 번째 글에서는 클라우드에 서비스를 배포하고 운영하는 내용을 다룰 겁니다. 자, 그럼 첫 번째 글을 시작합니다. 첫 번째 글에서는 슬랙 앱을 생성합니다. 아주 간단한 과정으로 이어지니 편하게 따라와 주시면 됩니다. 먼저 https://api.slack.com/apps로 접속해서 앱을 생성하도록 하겠습니다. 사이트에 접속했으면 Create New..

HashiCorp를 제대로 알게 된 건 2021년 초쯤 되려나? 회사의 인프라를 Terraform으로 관리해 보겠다는 생각에 나름 깊이 있게 공부를 시작한 후부터다. 아는 만큼 보인다고 키워드를 알기 시작하니 주변에 IaC니 뭐니 많은 것들이 보이기 시작했다. 마침 그때 당시에 한빛미디어에서 Terraform 관련된 책도 여러 권 나왔던 걸로 기억한다. 운 좋게 서평 리뷰까지 했으니까. 지금 생각해 보니 모든 것이 타이밍이 잘 맞았던 것 같다. 21년에는 개발하던 (거의) 모든 인프라를 테라폼으로 구현했는데 지금 보면 정말 날코딩 느낌이다(웃음) 뭔가 반년 전에 내가 짠 코드 보는 느낌이랄까? 시간이 흘러 22년에 하반기부터 새로운 제품 개발에 착수 됐는데 그때 정말 혼신의 힘을 다 해 테라폼을 다룬 듯..

TL;DR 글은 체크인, 객실, 식사, 소나타 오브 라이트 순으로 작성되어 있습니다. 성격 급하신 분은 Ctrl + F로 찾아서 보시길. 아이 방학이 끝나기 전에 여행을 한 번 다녀오고자 원주에 있는 오크밸리 리조트에 다녀왔습니다. 목적은 신비아파트 캐릭터 룸. 결론부터 말씀드리자면 콩순이, 시크릿주주, 브레드 이발소 캐릭터 룸을 다녀봤지만 이곳이 가성비가 가장 좋았습니다. 가격은 제일 저렴하지만 아이의 만족도가 가장 높았습니다. 이미 인터넷에 신비아파트 캐릭터 룸에 좋은 후기는 많으니, 아빠 입장으로 몇 가지 포인트만 짚어봅니다. 누군가에게는 도움이 되시길. 우선 오크밸리 리조트는 골프빌리지와 스키빌리지로 나뉘어 있는데요, 캐릭터룸은 골프빌리지에 있습니다. 참고로 골프빌리지와 스키빌리지는 차로 10분 ..

"우리가 사랑한 한국 PC 게임"은 X 세대를 보내온 이들에게 전하는 아주 유쾌한 추억 여행 책입니다. 책은 총 두 개의 파트로 구성되어 있는데 PART 1은 게임 소개와 비하인드 스토리, 개발자 인터뷰, 저자의 칼럼으로 되어있습니다. PART 2는 게임 도록으로 구성되어 있습니다. 개인적으로 이 책에서 특히 재밌었던 부분은 대한민국 게임산업의 한 획을 그으신 당시 개발자들의 인터뷰입니다. 현재 어디서 무엇을 하는지 밝히신 분들도 계셔서 더 흥미로웠던 것 같습니다. 비록 제가 게임 개발 쪽으로 진로를 잡지는 않았지만 어쨌든 개발 업계 선배님들이니까요. 아래 책 이미지를 보면 PART 1, 2가 구분될 것입니다. 앞쪽에 푸르스름한 부분이 PART 1, 뒤쪽이 PART 2입니다. 언뜻 보면 PART 2는 흑..

Amazon Managed Workflow for Apache Airflow (MWAA) 때문에 일주일 넘게 고생했다. 여러 가지 문제가 있었는데 여기 정리하고 매니지 서비스에 대해 다시 생각해보고자 한다 우선 MWAA를 개발/운영 환경에서 쓰고 있었다. 인프라는 전부 테라폼으로 구축됐고 DAG은 GitHub Actions에 의해 배포된다. 즉, 사람의 실수로 뭔가 갑자기 이상 증세를 보이는 게 쉬운 구조는 아니다. 1. 개발 쪽 MWAA에 자원이 부족해서 워커 인스턴스 개수를 늘리기 위해 다시 배포했는데 업데이트가 실패했다. environment를 배포한 건 꽤 오랜만이지만 특별히 문제가 될 건 없어 보였다. 단순히 인스턴스 개수 숫자만 바꾼 거니까. 2. 원인을 알 수 없었기에 Case를 열고(clo..

Google Analytics 4(GA4)는 구글에서 제공하는 웹 분석 도구 중 하나로, 기존의 Universal Analytics (UA)와는 다른 구조와 기능을 가지고 있습니다. GA4는 향상된 사용자 경험과 효율성, 광고 및 마케팅 분석 등을 위해 개발되었습니다. 기존의 UA와는 달리, GA4는 이벤트 중심의 데이터 수집 방식을 채택하고 있습니다. 이벤트 중심의 데이터 수집은 화면 뷰나 페이지 뷰 등에 대한 추적이 아닌, 사용자가 웹 사이트에서 수행하는 작업에 초점을 둡니다. 예를 들어, 사용자가 제품을 구매하거나 동영상을 시청하는 등의 작업은 이벤트로 수집되며, 이를 기반으로 사용자의 행동 패턴 등을 분석할 수 있습니다. 또한, GA4는 머신 러닝을 활용한 분석 기능을 제공합니다. 예를 들어, 사..

Google Cloud Platform(GCP)하면 역시 빅쿼리(BigQuery)를 빼놓을 수 없습니다. 타사 어떤 DW(Data Warehouse)와 비교해도 더 우수한 성능을 자랑하며 사용성도 뛰어나니까요. 실례로 Redshift는 파티셔닝을 지원하지 않아서 데이터 관리에 불편함이 있는데 빅쿼리는 이를 지원합니다. 혹자는 Redshift는 데이터/비즈니스에 맞게 튜닝을 해야 성능이 나오지만 빅쿼리는 그냥 그 상태로 성능을 낸다고도 합니다. 각설하고, DW 때문에 혹은 빅쿼리의 강력함 때문에 AWS에 쌓아둔 데이터를 Google Cloud에 Cloud Storage로 옮기려고 하시는 분들도 계신데요. 이런 상황을 타개하기 위해 빅쿼리 옴니(BigQuery Omni)를 사용할 수 있습니다. 빅쿼리 옴니는..

Jpub에서 나온 15단계로 배우는 도커와 쿠버네티스는 도커와 쿠버네티스를 배우기에 적합한 15단계의 구조로 구성되어 있습니다. 각 단계는 쉽게 이해할 수 있는 설명과 실습이 포함되어 있어, 처음에 도커와 쿠버네티스에 대한 기본 지식이 없더라도 쉽게 따라 할 수 있습니다. 책은 도커와 쿠버네티스를 아주 상세히 설명하고 있습니다. 도커에 대한 기본 이해가 없더라도 이 책으로 시작해서 끝낼 수 있을 정도로 지면을 할애해서 자세히 언급하고 있네요. 실제 프로젝트에서 도커와 쿠버네티스를 활용할 수 있는 방법을 쉽게 이해할 수 있는 예제도 포함되어 있습니다. 전체적으로 이 책은 도커와 쿠버네티스의 기본 지식부터 활용할 수 있는 방법까지 포괄적으로 설명하고 있어, 처음 접하는 분들이나 기존 개발자들에게 매우 유용한..

ChatGPT가 연일 화재를 이어가고 있습니다. 그리고 최근 Plus 플랜이 한국에 상륙했습니다. 익명의 개발 커뮤니티에서 GPT에 대한 언급을 보면, "개발자는 이제 끝이다"와 같은 뉘앙스의 글을 제법 보입니다. 그런데 글쎄요? 제 생각은 조금 다릅니다. ( 대충 안도의 한숨을 내쉬어도 됩니다 ) ChatGPT와 하루종일 같이 개발을 해봤습니다. 제가 prompt engineering 스킬이 부족해서인지 ChatGPT를 데리고 일하면 뭔가 좀 답답합니다. 소프트스킬이 부족한(사실 고문관이라고 표현하고 싶었..) 인턴 친구랑 일하는 느낌이랄까. 대여섯 번 피드백 줄 때쯤이면 처음에 줬던 피드백은 잊고 도돌이표입니다. 아주 단순한 코딩이라면 그럭저럭 답을 만들어냅니다만, 문제가 조금 복잡해지면 서서히 한계..

지금 회사에서 스크럼이 돌아간 지 1년이라는 시간이 조금 지났습니다. 시간이 조금 흐르다 보니 스크럼 팀마다 특색을 띠게 됐는데요. 그 와중에 스크럼 홀릭에 빠지신 분도 계시고, 열성 팬이 되신 분, 원래 잘 흘러가시던 분, 다양한 형태를 보입니다. 한편, 우리끼리 계속 진행하다 보니 "잘하고 있는 게 맞나?"라는 생각이 지난 2022년 회고를 하며 들게 됐고, 그 궁금증을 풀기 위해 아래 책을 선택했습니다. 아주 절묘한 시기에 좋은 책을 만났네요. 스크럼(Scrum)은 소프트웨어 개발, 프로젝트 관리 및 프로세스 개선에 대한 접근 방식입니다. 스크럼은 애자일(Agile) 방법론의 하위 집합에 속하며, 팀이 빠르게 변화하는 요구에 대응할 수 있도록 지원합니다. 스크럼은 팀, 제품 소유자, 스크럼 마스터(..