아키텍처

Daily/Book

견고한 데이터 엔지니어링 Chapter.3 후기

더보기 데이터 수명 주기를 다룬 후 아키텍처 설계에 대해 설명한다는 것은 우수한 아키텍처가 엔지니어링에 있어서 그만큼 중요하다는 뜻인 거 같다. 공감 하는게, 견고한 데이터 엔지니어링을 한다는 것은 곧 견고한 데이터 아키텍처가 기반이 되어야만 가능한 일이라고 생각한다. 이번 chapter3 후기도 chapter2와 마찬가지로 주관적인 메모장 정도이므로 책의 내용이 궁금하다면 꼭 구매해서 정독해보는 걸 추천한다. 데이터 아키텍처란? 기업의 진화하는 데이터 요구 사항을 지원하는 시스템 설계이다. 최적의 시스템을 설계하려면 모든 단계에서 트레이드오프를 고려해야 하며 동시에 값비싼 기술 부채를 최소화해야 한다. 되돌릴 수 있는 결정을 내려야 한다. 즉, 유연성과 트레이드오프의 균형을 유지하는 것이 중요하다. 우..

Develop/DevCourseTIL

07.12 데이터 엔지니어링 68일차 - Kafka

Kafka란? 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 데이터 재생이 가능한 분산 커밋 로그 (Distributed Commit Log) 한번 기록되면 영구적임 Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템 Producer-Consumer (Publish-Subscription) High Throughput과 Low Latency 실시간 데이터 처리에 맞게 구현됨 분산 아키텍처를 따르기 때문에 Scale out 이란 형태로 스케일 가능 서버 추가를 통해 Scalability 작성 (서버=Broker) 정해진 보유기한 (default=일주일) 동안만 메시지를 저장 Eventual Consistency 100대 서..

향식이
'아키텍처' 태그의 글 목록