Infra/Airflow
airflow에서 TaskGroup 적용하기
TaskGroup이란 태스크 그룹은 여러 개의 task를 하나의 그룹으로 묶어 관리하는 airflow 기능이다. 이를 통해 코드의 재사용성을 높이고 복잡한 워크플로우를 더 구조화된 방식으로 작성할 수 있게 된다. 예시 코드 태스크 그룹으로 설정하는 코드는 매우 간단하다 ! with TaskGroup(group_id='GROUP_ID', dag=dag) as GROUP_ID_PYTHON : 그룹 ID를 지정해주고 들여쓰기를 통해 태스크들을 묶어주면 된다. GROUP_ID는 웹 UI상에서 보는 이름이고 as 뒤에 GROUP_ID_PYTHON은 python에서 사용하는 명칭이다. from airflow.utils.task_group import TaskGroup # 기본 dag 설정 default_args ..
