정규화란 데이터베이스 설계에서 테이블 간에 중복된 데이터를 허용하지 않고 무결성을 유지하기 위한 과정이다. 이는 데이터를 효과적으로 저장하고 검색하기 위해 테이블을 구조화하는 프로세스를 의미한다. 정규화는 관계형 데이터베이스에서 사용되며, 데이터의 중복을 최소화하고 각 테이블이 특정 종류의 종속성을 만족하는 데 목적을 둔다. 목적 최종 목적은 이상 현상 발생 가능성을 줄이는 것이다. 중복 최소화 데이터의 중복을 최소화하여 저장 공간을 절약하고 데이터 일관성을 유지한다. 데이터가 중복될 경우 수정이 필요할 때 여러 테이블에서 수정해야 하므로 문제가 될 수 있다. 데이터 일관성 유지 각 테이블이 특정 종류의 종속성을 갖도록 한다. 데이터의 논리적 일관성을 확보하고 변경 시 발생할 수 있는 이상 현상을 방지한..
이전 직장에서 AWS Glue와 Athena를 이용해 ETL 파이프라인을 구성한 경험이 있다. AWS 내 있는 기술들이다 보니 사용법도 굉장히 쉽고 편했는데 이번 시간에는 이를 이용해서 MongoDB 데이터 분석 방법을 비교해보자. 최근 애플리케이션에서 발생되는 데이터는 주로 JSON 다큐먼트 형태로 저장된다. 이는 MongoDB와 같은 다큐먼트 지향 데이터베이스의 사용도 같이 늘어나게 한다. MongoDB는 사용해본 경험이 아직 없어서 잘 모르지만 이번 글을 통해 어떻게 데이터를 분석하는지 알아보자. 기술 블로그 출처 https://aws.amazon.com/ko/blogs/tech/comparing-mongodb-data-analysis-methods-using-aws-glue-and-amazon-a..
트랜잭션이란 트랜잭션이란, 데이터베이스의 상태를 변환시키는 논리적 기능을 수행하기 위한 가장 최소한의 작업 단위 또는 한꺼번에 모두 수행되어야 할 일련의 연상들을 의미한다. 즉, 쉽게 말하면 더이상 분할이 불가능한 업무처리의 단위이다. 하나의 작업을 위해 더이상 분할될 수 없는 명령들의 모음이자 한꺼번에 수행되어야 할 일련의 연산모음을 의미한다. 예를 들어, 은행 시스템에서 고객 A와 고객 B 간의 자금 이체를 수행하는 상황이다. A계좌에서의 출금과 B계좌로의 입금이 모두 성공적으로 이루어져야 이체 트랜잭션이 성공적으로 완료된다 → 원자성 이체 전에 각 계좌의 총 잔액이 일치하고, 이체 후에도 동일한 조건이 유지되어야 한다. → 일관성 다른 고객이 동시에 계좌를 조작하더라도, 각 트랜잭션은 서로에게 영향..
프로젝트 임팩트 산정하는 것은 매우 중요하고 또 어려운 일이라고 생각한다. 약 2년 동안 근무하면서 이 임팩트를 계산하고 판단해야 하는 일이 있었는데 그 때 당시 혼자 엔지니어링 업무를 진행했었기 때문에 생각보다 간단했다. 그러나 어느정도 규모가 있고 다른 팀과 협업해서 진행해야 하는 업무가 있다면 이를 정량화하고 정확히 파악하는 것은 프로젝트의 성공과 향후 개선의 핵심이라고 느껴진다. 원티드랩에서는 임팩트를 원화 단위의 가치로 환산해 산정한다고 한다. 굉장히 흥미롭고 현실적인 조언을 주셔서 리뷰해보기로 했다 :) 기술 블로그 출처 https://medium.com/wantedjobs/%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81-%ED%94%84%EB%A1%9C%EC..
API란 API는 Application Programming Interface의 줄임말로, 프로토콜 집합을 사용하여 두 소프트웨어 구성 요소가 서로 통신할 수 있게 하는 인터페이스이다. 인터페이스는 두 애플리케이션 간의 서비스 계약이라고 할 수 있는데, 이 계약은 요청과 응답을 사용하여 두 애플리케이션이 서로 통신하는 방법을 정의한다. API 문서에는 개발자가 요청과 응답을 구성하는 방법에 대한 정보가 들어있다. API 아키텍처는 일반적으로 클라이언트와 서버 측면에서 설명된다. 요청을 보내는 애플리케이션을 클라이언트라고 하고 응답을 보내는 애플리케이션을 서버라고 한다. API 유형 API는 크게 두 가지 유형으로 나뉜다. Web API: HTTP 프로토콜을 통해 웹 서비스 간에 통신하기 위한 API이다...
더보기 첫 주제에 너무 큰 의미를 담지 말자. 해외여행 갈 때 제일 먼저 해야 할 일은 항공편을 예매해야 한다. 그러나 나라별, 월별, 요일별, 시간별 항공편 금액이 천차만별이기 때문에 저렴하게 잘 갔다오려면 금액비교는 필수이다. 예전에는 옵션에서 날짜를 바꿔가며 비교해야 됐어서 꽤나 까다로웠는데 오랜만에 여행가려고 항공편을 찾아보니 날짜별로 최저가를 확인할 수 있도록 뜨더라! 신기해하고 있던 와중에 이 요금 데이터 수집에 대한 데이터 파이프라인 개발글이 있어 리뷰해보기로 했다:) 기술 블로그 출처 https://squarelab.co/blog/how-to-build-flight-fare-data-pipeline-with-argo/ 최저가 항공 요금 수집을 위한 데이터 파이프라인 개발기 카이트에서는 사용..
