구글 클라우드의 Cloud Composer에서 DAG를 설정하는 방법은?

Q1: Cloud Composer에서 DAG란 무엇인가요?
A1: DAG(Directed Acyclic Graph)는 작업(태스크)들의 실행 순서와 의존성을 정의하는 그래프로, Cloud Composer에서는 워크플로우를 구성하는 기본 단위입니다.

Q2: Cloud Composer에서 DAG를 설정하기 위한 기본 파일 형식은 무엇인가요?
A2: DAG는 Python 스크립트 파일(.py)로 작성하며, Airflow API를 사용해 DAG 객체와 태스크들을 정의합니다.

Q3: Cloud Composer 환경에 DAG 파일을 어떻게 업로드하나요?
A3: Cloud Composer 환경의 GCS(Google Cloud Storage) 버킷 내 `dags/` 폴더에 Python DAG 파일을 업로드하면 자동으로 인식됩니다.

Q4: 기본적인 DAG 생성 방법은 어떻게 되나요?
A4:
1. `airflow` 패키지에서 DAG 클래스를 임포트합니다.
2. `DAG` 객체를 생성하며 `dag_id`, `start_date`, `schedule_interval` 등을 설정합니다.
3. `PythonOperator`, `BashOperator` 등 적절한 연산자(operator)를 사용해 태스크를 정의합니다.
4. 태스크 간 의존성을 `>>` 또는 `set_upstream()`/`set_downstream()`으로 설정합니다.

예시 코드:
```python
from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime

default_args = {
'start_date': datetime(2024, 1, 1),
}
with DAG(dag_id='example_dag', default_args=default_args, schedule_interval='@daily') as dag:
task1 = BashOperator(task_id='print_date', bash_command='date')
task2 = BashOperator(task_id='sleep', bash_command='sleep 5')
task1 >> task2
```

Q5: DAG 스케줄 설정은 어떻게 하나요?
A5: `schedule_interval` 파라미터에 cron 표현식, @daily, @hourly 등의 예약어를 넣어 스케줄을 설정할 수 있습니다.

Q6: DAG 파일 업로드 후 정상 작동 여부는 어떻게 확인하나요?
A6: Cloud Composer 환경의 Airflow UI에 접속하여 DAG 리스트가 나타나는지 확인하고, DAG가 활성화되어 있는지 및 로그를 통해 실행 상태를 점검합니다.

Q7: DAG 기본 설정 중 반드시 지정해야 하는 항목은 무엇인가요?
A7: 최소한 `dag_id`, `start_date`, `schedule_interval`(필요 시), 그리고 기본 인수(`default_args`)를 지정해야 합니다.

Q8: 여러 태스크 간 의존성은 어떻게 설정하나요?
A8: `>>`(순방향 의존) 또는 `<<`(역방향 의존) 연산자를 이용하거나 `set_upstream()`, `set_downstream()` 메서드를 활용해 태스크 순서를 정의합니다.

Q9: Cloud Composer에서 DAG를 버전 관리하려면 어떻게 해야 하나요?
A9: DAG 파일을 Git과 같은 버전 관리 시스템으로 관리하며, 변경 시 GCS의 `dags/`에 자동 배포하도록 CI/CD 파이프라인을 구성할 수 있습니다.

Q10: Cloud Composer에서 DAG를 삭제하거나 비활성화하는 방법은?
A10: GCS `dags/` 폴더에서 DAG 파일을 삭제하거나, Airflow UI에서 DAG를 비활성화(Off)하여 실행을 중지할 수 있습니다.

---

이 FAQ는 Cloud Composer에서 DAG를 처음 작성하고 설정하는 사용자에게 필수적인 정보를 제공합니다.

Google Cloud Composer는 Apache Airflow를 기반으로 한 관리형 워크플로우 오케스트레이션 서비스입니다.

Cloud Composer를 사용하면 데이터 파이프라인을 쉽게 설정하고 관리할 수 있습니다.

DAG(Directed Acyclic Graph)는 Airflow에서 작업의 흐름을 정의하는 핵심 구성 요소입니다.

아래는 Cloud Composer에서 DAG를 설정하는 방법에 대한 단계별 가이드입니다.

1. Cloud Composer 환경 생성 먼저 Cloud Composer 환경을 생성해야 합니다.

1. Google Cloud Console에 로그인 합니다.



2. "Composer" 를 검색하여 Composer 페이지로 이동합니다.



3. "환경 만들기" 버튼을 클릭합니다.



4. 환경의 이름, 위치, 머신 유형, 노드 수 등을 설정합니다.



5. "만들기" 버튼을 클릭하여 환경을 생성합니다.

이 과정은 몇 분 정도 소요될 수 있습니다.



2. DAG 파일 준비 DAG 파일은 Python 스크립트로 작성되며, Airflow의 DAG 객체를 정의합니다.

기본적인 DAG 파일의 구조는 다음과 같습니다.

```python from airflow import DAG from airflow.operators.dummy_operator import DummyOperator from datetime import datetime default_args = { 'owner': 'airflow', 'start_date': datetime(2023, 1, 1), 'retries': 1, } dag = DAG( 'example_dag', default_args=default_args, description='An example DAG', schedule_interval='@daily', ) start = DummyOperator(task_id='start', dag=dag) end = DummyOperator(task_id='end', dag=dag) start >> end ``` 위의 예제는 간단한 DAG을 정의합니다.

`DummyOperator`는 실제 작업을 수행하지 않고, DAG의 흐름을 정의하는 데 사용됩니다.



3. DAG 파일 업로드 DAG 파일을 Cloud Composer 환경에 업로드해야 합니다.

1. Google Cloud Console 에서 "Cloud Storage" 로 이동합니다.



2. Composer 환경에 연결된 Cloud Storage 버킷을 찾습니다.

버킷 이름은 `your-project-id-composer-env-name` 형식입니다.



3. `dags` 폴더를 찾아서 클릭합니다.



4. 준비한 DAG 파일을 `dags` 폴더에 업로드합니다.



4. DAG 활성화 및 모니터링 DAG 파일을 업로드한 후, Cloud Composer에서 DAG를 활성화하고 모니터링할 수 있습니다.

1. Google Cloud Console 에서 "Composer" 페이지로 돌아갑니다.



2. 생성한 Composer 환경을 클릭합니다.



3. "Airflow 웹 서버" 링크를 클릭하여 Airflow UI에 접속합니다.



4. DAG 목록에서 방금 업로드한 DAG을 찾습니다.

DAG이 활성화된 상태인지 확인합니다.

(활성화되지 않았다면, DAG을 클릭하여 활성화할 수 있습니다.

)

5. DAG을 클릭하여 세부 정보를 확인하고, 실행할 수 있습니다.



5. DAG 실행 및 로그 확인 DAG을 수동으로 실행하거나 스케줄에 따라 자동으로 실행할 수 있습니다.

1. DAG을 클릭한 후, "Trigger DAG" 버튼을 클릭하여 수동으로 실행합니다.



2. DAG 실행 후, "Graph View" 또는 "Tree View" 를 통해 작업의 상태를 확인할 수 있습니다.



3. 각 작업의 로그를 확인하려면 해당 작업을 클릭하고 "Log" 버튼을 클릭합니다.



6. DAG 수정 및 업데이트 DAG 파일을 수정하려면 로컬에서 파일을 편집한 후, 다시 Cloud Storage의 `dags` 폴더에 업로드하면 됩니다.

Cloud Composer는 DAG 파일의 변경 사항을 자동으로 감지하고 업데이트합니다.



7. 추가 설정 및 최적화 Cloud Composer에서는 다양한 설정을 통해 DAG의 성능을 최적화할 수 있습니다.

예를 들어, `schedule_interval`, `retry`, `execution_timeout` 등의 매개변수를 조정하여 DAG의 동작 방식을 세밀하게 조정할 수 있습니다.

결론 Google Cloud Composer에서 DAG를 설정하는 과정은 비교적 간단합니다.

DAG 파일을 작성하고, Cloud Storage에 업로드한 후, Airflow UI에서 모니터링 및 관리할 수 있습니다.

Cloud Composer의 강력한 기능을 활용하여 복잡한 데이터 파이프라인을 효율적으로 관리할 수 있습니다.