더보기 다양한 기술 중 어떤 기술을 채택할 것인가에 대해 고민할 때, 최첨단의 화려한 기술을 쫓는 데만 몰두하기 쉽다. 하지만 그것은 좋은 방법이 아니라고 말한다. 개인적으로 판단했을 때 기술은 더 나은 방향으로 발전하기 때문에 최신 기술이 가장 좋을 것이라고 생각했다. 하지만 이번 챕터를 읽고나서 이는 굉장히 위험한 생각이라는 것을 깨달았다. 그렇다면 어떤 기준으로 기술을 선택해야 할까? 곧 실무자가 되어 실제로 기술을 선택해야 하는 날이 올 때, 당황하지 않기 위한 대비책으로 이번 글을 정리했다. 그 기술이 데이터 제품과 광범위한 비즈니스에 가치를 더해줄 수 있는가? 데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택 아키텍처를 올바르게 구축하기 전까지는 기술을 먼저 선택하는 일이 없도록 유의해야 한..
더보기 데이터 수명 주기를 다룬 후 아키텍처 설계에 대해 설명한다는 것은 우수한 아키텍처가 엔지니어링에 있어서 그만큼 중요하다는 뜻인 거 같다. 공감 하는게, 견고한 데이터 엔지니어링을 한다는 것은 곧 견고한 데이터 아키텍처가 기반이 되어야만 가능한 일이라고 생각한다. 이번 chapter3 후기도 chapter2와 마찬가지로 주관적인 메모장 정도이므로 책의 내용이 궁금하다면 꼭 구매해서 정독해보는 걸 추천한다. 데이터 아키텍처란? 기업의 진화하는 데이터 요구 사항을 지원하는 시스템 설계이다. 최적의 시스템을 설계하려면 모든 단계에서 트레이드오프를 고려해야 하며 동시에 값비싼 기술 부채를 최소화해야 한다. 되돌릴 수 있는 결정을 내려야 한다. 즉, 유연성과 트레이드오프의 균형을 유지하는 것이 중요하다. 우..
더보기 Chapter1은 데이터 엔지니어링이 무엇인지 파악하는 단원이였다면 Chapter2에서는 1에서 수차례 강조되었던 데이터 엔지니어링 수명 주기에 대해 설명한다. 이 책을 읽으며 가장 마음에 들었던 점은 화려한 최신 기술들을 설명해주는 것이 아닌 데이터 엔지니어링의 숲을 파악할 수 있도록 집필되었다는 점이다. 이 분야에 조금이라도 관심있는 사람이라면 알 것이다. 이 직무는 굉장히 다양한 기술의 집합이라는 것을.. 그러나 기술의 집합이라고 보는 관점에서 벗어나도록 장려하는 것이 이 책의 주요 목표라고 한다. 따라서 이 후기도 단순한 책의 요약이 아닌, 데이터 엔지니어로 성장하고 생각하기 위해 주관적으로 되새기고 싶은 내용들의 메모 정도로 생각하길 바란다. Chapter.2 데이터 엔지니어링 수명 주기..
빅데이터를 지탱하는 걸까 감당하는 걸까.. 감당 안 돼.. 돌아가.. 시스템은 데이터를 생성하고 데이터를 통해 서로 연결된다 chapter 1 에서는 빅데이터와 관련된 기술이 생겨난 역사적 배경을 되돌아보고 그 기본이 되는 사고방식과 용어를 정리한다. 역사를 잊은 민족에게 미래는 없다라는 말이 있듯이 어떤 시대적 흐름을 이해할 때 그 역사를 되돌아보는 건 굉장히 큰 의미가 있다고 생각한다. 따라서 이러한 마음을 갖고 '빅데이터' 나라의 민족이 되어보도록 하자. 인터넷의 보급으로 세계 곳곳으로부터 엑세스 되는 시스템이 증가함에 따라 전통적인 관계형 데이터 베이스로는 취급할 수 없을 만큼 대량의 데이터가 쌓이게 되었다. 그렇게 축적된 데이터를 처리하기 위해 기존과 다른 구조가 필요했는데 이 때 등장한 기술이..
