https://myinfrabox.tistory.com/20 [MySQL][Admin] Binary 로그 소개 및 특징 ■ MySQL 바이너리 로그 ▶ 바이너리 로그란?? MySQL 서버에서 Create, Drop, Alter같은 DDL과 Insert, Update, Delete같은 DML을 통해 데이터베이스, 오브젝트, 데이터에 생성,수정,업데이트를 했을 시 그 변화된 myinfrabox.tistory.com
situation pip install psycopg2 를 했더니 아래와 같은 오류 메시지를 받았다. solution 이는 PostgreSQL이 시스템에 설치되어 있지 않아서 생기는 문제이다. 따라서 postgreSQL을 설치해주거나 pip install psycopg2-binary 로 설치하면 psycopg2를 사용할 수 있다. 참고: https://stackoverflow.com/questions/71631259/can-not-install-psycopg2-on-mac-12-3-i-keep-getting-this-error
Docker-Compose 다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴 + 환경설정파일 docker-compose.yml(yaml)로 설정 여기서 다양한 테스트등도 수행가능 다양한 버전을 만드는 것도 일반적 (dev, test, prod 등등) 개인적으로 개발할 때 product일 때 등등.. 개별 Container를 따로 관리하는 것보다 훨씬 더 생산성이 높음 사용법 자체는 간단함, 소프트웨어를 구성하는 모든 컨테이너에게 적용됨 docker-compose up: docker run과 동일 docker-compose down: 컨테이너 중지 및 삭제까지 진행, 이미지는 그대로 있음 docker-compose pull: 그룹으로 진행 Docker Desktop의 일부로 설치됨 ..
Docker Volume의 필요성 Docker Container가 실행되었다가 중단되면 데이터들은 어떻게 될까? -> 유실됨.. 특정 소프트웨어가 Docker Container를 통해 일회성으로 동작하는 것이 아니라 지속적으로 동작해야 한다면 데이터가 영구적으로 보관되어야 함 ex. 데이터베이스가 docker container안에서 동작한다면? 이를 보장하는 기능이 Docker Volumes -> Data Persistence Docker Container내의 가상 파일 시스템과 호스트 시스템의 파일 시스템을 매핑 ex. 호스트 파일 시스템의 /home/hyangsso/logs를 Docker Container의 /var/lib/airflow/logs로 매핑 이 경우 Docker Container가 중단되..
소프트웨어 빌드 우리가 개발한 소프트웨어를 최종적으로 출시하기 위한 형태로 만드는 것 테스트가 빌드의 중요한 일부로 포함 테스트를 다 통과해야 패키지 포맷으로 만듦 테스트가 충분히 있어야 함 참여 개발자들이 많을수록 더 중요 개발이 끝나기 전부터 빌드를 하면 소프트웨어의 안정성 증대 -> Continuous Integration 개발자가 코드를 고칠 때 마다 테스트를 돌림 -> 테스트가 많아야 함 -> 작은 회사에서는 어려움 Continuous Integration (CI) 기본 원칙 코드 Repo는 하나만 유지 (master/main) 코드 변경은 최대한 자주 반영 테스트를 최대한 추가 Test Coverage 빌드를 계속적으로 수행 (자동화) Commit Build vs. Nightly Build 성..
관리해야 하는 DAG의 수가 100개를 넘어간다면? 데이터 품질이나 데이터 리니지 이슈 이외에도 다양한 이슈들이 발생 주로 발생할 수 있는 이슈 라이브러리 충돌 라이브러리/모듈의 충돌 이슈가 발생하기 시작함 DAG에 따라 실행에 필요한 라이브러리/모듈이 달라지기 시작 (ex. python 버전) 이로 인해 DAG 혹은 Task 별로 별도의 독립공간을 만들어주는 것이 필요 Docker to the rescue Dag 혹은 Task 코드를 Docker Image로 만들고 이를 독립된 공간(Docker Container)안에서 실행 Worker의 부족 해결책 scale up (언젠가 한계가 있음) scale out 클라우드 서비스 사용 K8s와 같은 컨테이너 기술 사용 필요한대로 서버 요청 Worker 서버..
