기술 블로그 출처 https://techblog.lycorp.co.jp/ko/experience-in-migrating-order-db-on-ecommerce-platform 이커머스 플랫폼의 주문 DB 마이그레이션 경험기 들어가며 안녕하세요. LINE Plus에서 Global E-Commerce Platform 개발을 맡고 있는 서종현입니다. 저희 팀은 작년에 주문 DB를 Oracle에서 MySQL... techblog.lycorp.co.jp DB 모델 재정의 DB 이관 전에 MySQL에서 사용할 DB 모델을 재정의한 이유는 기존 Oracle 모델에서 조회 성능이 나오지 않았기 때문이다. 주문 데이터 조회 시 17개의 테이블을 조인해야 했으며, 이로 인해 부하가 발생하여 주문당 최대 5초 이상 소요되었..
회사는 점점 데이터가 많아질수록 데이터의 위치와 의미를 한눈에 보고자하는 니즈가 생길 것이다. 쏘카에서도 데이터가 어디에 있고, 이 데이터는 무슨 의미인지에 대한 의미를 한눈에 보고자 했고, 이를 위한 플랫폼을 데이터 디스커버리 플랫폼(Data Discovery Platform)이라고 한다. 오늘은 데이터 디스커버리의 개념과 왜 디스커버리 플랫폼이 필요한지, 그리고 쏘카는 어떤 기준으로 디스커버리 플랫폼을 선택했는지 알아보자. 기술 블로그 출처 https://tech.socarcorp.kr/data/2022/02/25/data-discovery-platform-01.html 데이터 디스커버리 플랫폼 도입기 - 1편. 데이터 디스커버리란?(feat. Datahub VS Amundsen 비교 분석) Data..
오늘은 딜라이트룸 기술 블로그에서 작성한 'ELT vs ETL'에 대해 리뷰해보고자 한다. 딜라이트룸은 알라미라는 글로벌 알람앱을 운영하고 있는 회사로, 누적 다운로드가 7,500만이 넘고 상위 알람앱 중 평점 1위를 기록하는 등 다양한 기록을 가지고 있다. 나도 아침을 잘 활용하기 위해 이 어플을 사용해 본 적이 있는데 단순히 알람 기능만 있는 것이 아닌 질 높은 수면을 위한 기능들이 있어 유용했다. 역시 이렇게 퀄리티 있는 어플을 만들고 유지하기 위해서는 수준 높은 전문가들이 있어야 하는 거 같다. 딜라이트룸에서는 기술블로그를 운영하고 있고 글도 꾸준히 올라온다. 이 중 데이터 엔지니어로서 이목을 사로잡은 ETL vs ELT에 대해 알아보자. 기술 블로그 출처 https://medium.com/del..
데이터 엔지니어로서 효율적인 DB관리는 매우 중요하다. 이 중 인덱스 튜닝을 해서 DB 성능을 높이고자 하는데 직방에서도 이와 같이 SQL의 비효율을 제거하는 고민을 가졌다. 인덱스는 테이블의 특정 열에 대한 검색 및 정렬 속도를 향상시키는 데 사용된다. 따라서 인덱스 튜닝은 DB 성능을 향상시키는 중요한 역할이므로 어떻게 해결해나갔는지 알아보자. 기술 블로그 출처 https://medium.com/zigbang/mysql-%EC%9D%B8%EB%8D%B1%EC%8A%A4-%ED%8A%9C%EB%8B%9D-18e183e9246d MYSQL 인덱스 튜닝 안녕하세요. 호갱노노BE팀 폴 입니다. medium.com SQL 튜닝 개요 SQL 튜닝은 동일한 쿼리 결과를 더 빠르고 더 효율적으로 얻기 위한 모든 작..
오늘은 데이터 엔지니어링의 기술이 아닌 코드 리뷰에 관한 글을 리뷰해보고자 한다. 흔히 개발자는 혼자서 일한다고 생각하기 쉽지만 그렇지 않다. 여러 팀이 유기적으로 묶여있고 같은 팀 내에서도 배포와 유지보수를 꾸준히 해야 하기 때문에 단순히 코드만 잘 작성하는 것이 능사는 아니다. 토스페이먼츠는 결제의 다양한 맥랑을 다루는 회사로, 코드 변경과 배포가 신중하게 이루어져야 한다. 이를 위해 코드 리뷰를 진행하고 있는데, 피드백의 속도와 PR 코멘트로 이루어지는 대화의 양이 가장 중요한 조건이라고 한다. 이를 위해 Github Actions로 코드 리뷰 문화를 개선했다고 한다. 어떤 부분을 중요하게 생각하고 개선했는지 알아보자. 기술 블로그 출처 https://toss.tech/article/25431 Gi..
로플랫은 오프라인 매장 방문자의 체류시간, 유입경로, 교차방문, 경쟁사 분석 등을 분석하여 인사이트를 도출하는 기업이다. 다양한 오프라인 데이터를 보유하고 있기 때문에 쌓이는 데이터 양만 월간 4.5TB라고 한다. 이렇게 방대한 양의 데이터를 로플랫은 어떻게 처리하는지 알아보자. 기술 블로그 출처 https://medium.com/loplat/%EA%B8%B0%EC%88%A0-%EB%B8%94%EB%A1%9C%EA%B7%B8-%EB%A1%9C%ED%94%8C%EB%9E%AB%EC%9D%98-%EB%8C%80%EC%9A%A9%EB%9F%89-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%B2%98%EB%A6%AC-8a78173c3b02 [기술 블로그] 로플랫의 대용량 데이터 처리 1. 로플랫의 ..
