정규화란 데이터베이스 설계에서 테이블 간에 중복된 데이터를 허용하지 않고 무결성을 유지하기 위한 과정이다. 이는 데이터를 효과적으로 저장하고 검색하기 위해 테이블을 구조화하는 프로세스를 의미한다. 정규화는 관계형 데이터베이스에서 사용되며, 데이터의 중복을 최소화하고 각 테이블이 특정 종류의 종속성을 만족하는 데 목적을 둔다. 목적 최종 목적은 이상 현상 발생 가능성을 줄이는 것이다. 중복 최소화 데이터의 중복을 최소화하여 저장 공간을 절약하고 데이터 일관성을 유지한다. 데이터가 중복될 경우 수정이 필요할 때 여러 테이블에서 수정해야 하므로 문제가 될 수 있다. 데이터 일관성 유지 각 테이블이 특정 종류의 종속성을 갖도록 한다. 데이터의 논리적 일관성을 확보하고 변경 시 발생할 수 있는 이상 현상을 방지한..
이전 직장에서 AWS Glue와 Athena를 이용해 ETL 파이프라인을 구성한 경험이 있다. AWS 내 있는 기술들이다 보니 사용법도 굉장히 쉽고 편했는데 이번 시간에는 이를 이용해서 MongoDB 데이터 분석 방법을 비교해보자. 최근 애플리케이션에서 발생되는 데이터는 주로 JSON 다큐먼트 형태로 저장된다. 이는 MongoDB와 같은 다큐먼트 지향 데이터베이스의 사용도 같이 늘어나게 한다. MongoDB는 사용해본 경험이 아직 없어서 잘 모르지만 이번 글을 통해 어떻게 데이터를 분석하는지 알아보자. 기술 블로그 출처 https://aws.amazon.com/ko/blogs/tech/comparing-mongodb-data-analysis-methods-using-aws-glue-and-amazon-a..
DB timeout 관련 파라미터 정리 show variables like '%timeout'; 각 파라미터가 가지는 의미 connect_timeout : MySQL 서버 접속시에 접속 실패 메세지를 보내기까지 대기하는 시간 delayed_insert_timeout : insert 시 delay 되는 경우 대기하는 시간 innodb_lock_wait_timeout : innodb에 transaction 처리 중 lock이 걸렸을 시 롤백 될 때 까지 대기하는 시간, innodb는 자동으로 데드락을 검색하여 롤백시킴 innotdb_lock_on_timeout: innodb의 마지막 구문을 롤백시킬지 결정하는 파라미터, timeout은 진행중인 transaction을 중단하고 전체 transaction을 롤..
