airflow를 실행하려고 할 때 발생하는 Permission Denied 오류 해결 방법에 대해 설명하고자 한다. situation airflow-worker_1 | Traceback (most recent call last): airflow-worker_1 | File "/usr/local/lib/python3.7/logging/config.py", line 563, in configure airflow-worker_1 | handler = self.configure_handler(handlers[name]) airflow-worker_1 | File "/usr/local/lib/python3.7/logging/config.py", line 736, in configure_handler airflow..
situation airflow를 실행하기 위해 docker compose 를 작성했는데 Unsupported config option for services.airflow-cli: 'profiles' 오류가 났다. 이는 docker-compose 파일에 지원하지 않는 설정 옵션들이 포함되어 있을 때 발생한다. 즉, 'profiles'라는 옵션이 docker-compose의 이전 버전에서는 지원되지 않았던 옵션이기 때문에 발생한 오류이다. solution 먼저, docker 버전을 확인한다. docker-compose --version 만약 1.29버전 보다 낮다면 업그레이드를 시켜준다. # docker-compose 파일 위치 확인 whereis docker-compose # 보통 /usr/bin/do..
Spark.sql.shuffle.partitions 이 변수 하나로 다양한 상황의 shuffling을 해결하기는 쉽지 않음 MapReduce 세상에서 mapreduce.job.reduces와 동일 적은 수의 Partition은 병렬성을 낮추고 OOM과 disk spill의 가능성을 높임 -> processing 시간이 오래 걸림 많은 수의 Partition은 task scheduler와 task 생성과 관련된 오버헤드가 생기며 너무 흔한 네트워크 I/O 요청으로 병목 초래 만약 Spark Engine Optimizer가 알아서 Partition의 수를 결정할 수 있다면? -> AQE의 목적 AQE "Dynamic query optimization that happens in the middle of qu..
situation pip install psycopg2 를 했더니 아래와 같은 오류 메시지를 받았다. solution 이는 PostgreSQL이 시스템에 설치되어 있지 않아서 생기는 문제이다. 따라서 postgreSQL을 설치해주거나 pip install psycopg2-binary 로 설치하면 psycopg2를 사용할 수 있다. 참고: https://stackoverflow.com/questions/71631259/can-not-install-psycopg2-on-mac-12-3-i-keep-getting-this-error
