회사는 점점 데이터가 많아질수록 데이터의 위치와 의미를 한눈에 보고자하는 니즈가 생길 것이다. 쏘카에서도 데이터가 어디에 있고, 이 데이터는 무슨 의미인지에 대한 의미를 한눈에 보고자 했고, 이를 위한 플랫폼을 데이터 디스커버리 플랫폼(Data Discovery Platform)이라고 한다. 오늘은 데이터 디스커버리의 개념과 왜 디스커버리 플랫폼이 필요한지, 그리고 쏘카는 어떤 기준으로 디스커버리 플랫폼을 선택했는지 알아보자. 기술 블로그 출처 https://tech.socarcorp.kr/data/2022/02/25/data-discovery-platform-01.html 데이터 디스커버리 플랫폼 도입기 - 1편. 데이터 디스커버리란?(feat. Datahub VS Amundsen 비교 분석) Data..
오늘은 다나와 상품 색인 파이프라인 글에 대해 리뷰해보려고 한다. 다나와는 컴퓨터, 가전제품, 휴대폰 등의 제품을 가격 비교할 수 있는 사이트이다. 그래서 검색 엔진이 중요한데 검색 개발팀에서 사용하고 있는 동적 색인 서비스에 대해 알아보자. (다나와는 약 11억건의 상품 데이터를 보유하고 있다고 한다. 헉!) 대용량 데이터를 실시간에 가까운 속도로 처리하고, 전문 검색이 가능하도록 엘라스틱 서치를 채택했다. 기술 블로그 출처 https://danawalab.github.io/elastic/2023/11/10/logstash.html 다나와의 상품 색인 파이프라인 다나와에서 사용하는 상품 색인 파이프라인을 개선해봅니다. danawalab.github.io 상품 색인 파이프라인 기능 요약 Indexing ..
오늘은 29CM의 데이터 파이프라인을 리뷰해보려고 한다. 데이터 엔지니어로서 한 회사의 파이프라인을 들여다볼 수 있는 건 되게 재밌고 흔치 않은 기회라고 생각된다. 글은 2023년도 초에 작성되었지만 파이프라인의 초기 상태에서 발전해 나가는 흐름을 파악하기 좋아 선택했다. 기술 블로그 출처 https://medium.com/29cm/29cm-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8-%EC%86%8C%EA%B0%9C-5dde09621d81 29CM 데이터 파이프라인 소개 안녕하세요 데이터그로스팀 이진환입니다. 29CM에선 21년 9월 이후부터 데이터에 기반한 의사결정을 원활하게 할 수 있도록 데이터 파이프라인을 빠르..
오늘은 원티드랩에서 데이터 마트를 설립한 배경과 과정에 대한 글이 있어 이를 리뷰하고자 한다. 이전 직장에서 데이터 마트를 만들 때는 기존 대시보드를 바탕으로 만들었었다. 대시보드를 주로 이용하는 사업부와 미팅을 거치며 어떤 식으로 보완되면 좋은지 니즈를 파악하고 마트를 구성했다. 원티드랩에서는 어떻게 데이터 마트를 설계하는지 알아보자. 기술 블로그 출처 https://medium.com/wantedjobs/%EC%9B%90%ED%8B%B0%EB%93%9C%EB%9E%A9-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%A7%88%ED%8A%B8-%EC%84%A4%EB%A6%BD%EA%B8%B0-bbb54169c6ce 원티드랩 데이터 마트 — 설립기 데이터 마트는 데이터 기반 의사결정에 있어, ..
이전 직장에서 AWS Glue와 Athena를 이용해 ETL 파이프라인을 구성한 경험이 있다. AWS 내 있는 기술들이다 보니 사용법도 굉장히 쉽고 편했는데 이번 시간에는 이를 이용해서 MongoDB 데이터 분석 방법을 비교해보자. 최근 애플리케이션에서 발생되는 데이터는 주로 JSON 다큐먼트 형태로 저장된다. 이는 MongoDB와 같은 다큐먼트 지향 데이터베이스의 사용도 같이 늘어나게 한다. MongoDB는 사용해본 경험이 아직 없어서 잘 모르지만 이번 글을 통해 어떻게 데이터를 분석하는지 알아보자. 기술 블로그 출처 https://aws.amazon.com/ko/blogs/tech/comparing-mongodb-data-analysis-methods-using-aws-glue-and-amazon-a..
트랜잭션이란 트랜잭션이란, 데이터베이스의 상태를 변환시키는 논리적 기능을 수행하기 위한 가장 최소한의 작업 단위 또는 한꺼번에 모두 수행되어야 할 일련의 연상들을 의미한다. 즉, 쉽게 말하면 더이상 분할이 불가능한 업무처리의 단위이다. 하나의 작업을 위해 더이상 분할될 수 없는 명령들의 모음이자 한꺼번에 수행되어야 할 일련의 연산모음을 의미한다. 예를 들어, 은행 시스템에서 고객 A와 고객 B 간의 자금 이체를 수행하는 상황이다. A계좌에서의 출금과 B계좌로의 입금이 모두 성공적으로 이루어져야 이체 트랜잭션이 성공적으로 완료된다 → 원자성 이체 전에 각 계좌의 총 잔액이 일치하고, 이체 후에도 동일한 조건이 유지되어야 한다. → 일관성 다른 고객이 동시에 계좌를 조작하더라도, 각 트랜잭션은 서로에게 영향..
