서비스 계정의 키를 사용하여 Cloud Composer를 설정하는 방법은?

Q1: Cloud Composer에서 서비스 계정 키를 사용하는 이유는 무엇인가요?
A1: 서비스 계정 키를 사용하면 Cloud Composer 환경에서 GCP 리소스에 대한 인증을 자동화할 수 있어, 작업의 보안성과 편리성을 높일 수 있습니다.

Q2: 서비스 계정 키를 생성하는 방법은 무엇인가요?
A2:
1. GCP 콘솔에서 IAM & 관리자 > 서비스 계정으로 이동합니다.
2. 새 서비스 계정을 생성하거나 기존 계정을 선택합니다.
3. 서비스 계정의 상세 페이지에서 ‘키’ 탭을 선택합니다.
4. ‘키 추가’ > ‘새 키 만들기’를 클릭합니다.
5. JSON 형식의 키를 선택 후 ‘만들기’를 클릭하면 키 파일(.json)이 다운로드됩니다.

Q3: 생성한 서비스 계정 키를 Cloud Composer 환경에 적용하려면 어떻게 해야 하나요?
A3:
1. 키 파일(.json)을 Cloud Storage 버킷에 업로드합니다.
2. Cloud Composer 환경의 Airflow 구성에서 환경 변수 또는 연결(Connections)에 해당 키 경로 또는 내용을 설정합니다.
3. Airflow DAG 또는 Operator에서 해당 서비스 계정을 사용하도록 인증 정보를 참조합니다.

Q4: 키 파일을 Cloud Composer에 직접 넣어야 하나요?
A4: 직접 키 파일을 환경 내에 저장하는 대신 Cloud Storage에 안전하게 저장하고, Airflow 환경 변수나 연결을 통해 참조하는 방식을 권장합니다. 이는 보안상 안전하며 관리가 편리합니다.
Q5: Airflow에서 서비스 계정을 사용하는 일반적인 방법은?
A5: Airflow Operator (예: GCP 관련 Operator)에서 `gcp_conn_id` 파라미터를 사용해 연결을 지정하거나, Google Cloud API 클라이언트를 사용할 때 환경 변수 `GOOGLE_APPLICATION_CREDENTIALS`에 키 파일 경로를 설정하여 인증합니다.

Q6: 보안을 위해 서비스 계정 키 관리는 어떻게 해야 하나요?
A6:
- 키를 필요할 때만 생성하고, 불필요하면 즉시 삭제합니다.
- 키 파일은 암호화된 저장소나 Cloud KMS를 활용해 보관합니다.
- 권한 최소화 원칙에 따라 역할을 지정하여 키가 가진 권한을 제한합니다.
- 키를 환경 변수로 노출하지 않도록 주의합니다.

Q7: 기존 Cloud Composer 환경에 서비스 계정 키를 추가하려면 어떻게 하나요?
A7:
1. 키 파일을 Cloud Storage에 업로드합니다.
2. Cloud Composer 환경의 Airflow 환경 변수(예: `GOOGLE_APPLICATION_CREDENTIALS`)를 키 파일 경로로 설정합니다.
3. Airflow 재시작 또는 환경 재배포를 수행해 변경 사항을 적용합니다.

Q8: Cloud Composer 환경 생성 시 서비스 계정 키를 지정할 수 있나요?
A8: Cloud Composer 환경 생성 시 서비스 계정을 별도로 지정할 수 있으나, 키 파일은 직접 지정하지 않습니다. 대신 환경 내에서 서비스 계정에 적절한 역할이 부여되어야 하며, 필요 시 키 파일을 별도로 생성해 Airflow에서 참조하도록 구성합니다.

Cloud Composer는 Google Cloud Platform(GCP)에서 제공하는 관리형 Apache Airflow 서비스로, 데이터 파이프라인을 쉽게 구축하고 관리할 수 있도록 도와줍니다.

Cloud Composer를 설정할 때 서비스 계정의 키를 사용하는 방법에 대해 자세히 설명하겠습니다.

1. 서비스 계정 생성 Cloud Composer를 설정하기 전에, 먼저 GCP 프로젝트에서 서비스 계정을 생성해야 합니다.

서비스 계정은 GCP 리소스에 대한 인증 및 권한 부여를 관리하는 데 사용됩니다.

1. GCP Console에 로그인 : [Google Cloud Console](https://console.cloud.google.com/)에 로그인합니다.



2. IAM 및 관리자 선택 : 왼쪽 메뉴에서 "IAM 및 관리자"를 클릭한 후 "서비스 계정"을 선택합니다.



3. 서비스 계정 만들기 : "서비스 계정 만들기" 버튼을 클릭합니다.

- 이름 : 서비스 계정의 이름을 입력합니다.

- 설명 : 서비스 계정에 대한 설명을 추가합니다.



4. 역할 할당 : 서비스 계정에 필요한 역할을 할당합니다.

Cloud Composer를 사용하기 위해서는 다음과 같은 역할이 필요할 수 있습니다: - `Composer Admin` - `Storage Admin` - `BigQuery Admin` (필요한 경우)

5. 서비스 계정 만들기 완료 : "만들기" 버튼을 클릭하여 서비스 계정을 생성합니다.



2. 서비스 계정 키 생성 서비스 계정을 생성한 후, 해당 계정의 키를 생성해야 합니다.

이 키는 Cloud Composer와 상호작용할 때 인증에 사용됩니다.

1. 서비스 계정 선택 : 생성한 서비스 계정을 선택합니다.



2. 키 추가 : "키" 탭으로 이동한 후 "키 추가" 버튼을 클릭합니다.



3. JSON 형식 선택 : "새 키 만들기"에서 JSON 형식을 선택하고 "만들기"를 클릭합니다.



4. 키 다운로드 : JSON 파일이 자동으로 다운로드됩니다.

이 파일은 안전하게 보관해야 하며, 다른 사람과 공유하지 않아야 합니다.



3. Cloud Composer 환경 생성 이제 서비스 계정과 키가 준비되었으므로 Cloud Composer 환경을 생성할 수 있습니다.

1. Cloud Composer 페이지로 이동 : GCP Console에서 "Cloud Composer"를 선택합니다.



2. 환경 만들기 : "환경 만들기" 버튼을 클릭합니다.



3. 환경 설정 : - 이름 : 환경의 이름을 입력합니다.

- 지역 : 환경을 배포할 지역을 선택합니다.

- 서비스 계정 : 앞서 생성한 서비스 계정을 선택합니다.

- 기타 설정 : 필요에 따라 다른 설정(예: 머신 유형, 용량 등)을 조정합니다.



4. 환경 생성 : 모든 설정을 완료한 후 "만들기" 버튼을 클릭하여 Cloud Composer 환경을 생성합니다.



4. Cloud Composer 환경에 대한 인증 Cloud Composer 환경이 생성된 후, Airflow 웹 UI에 접근하거나 DAG를 실행할 때 서비스 계정 키를 사용하여 인증할 수 있습니다.

이를 위해 다음 단계를 따릅니다.

1. Airflow 웹 UI 접근 : Cloud Composer 환경이 생성되면, GCP Console에서 해당 환경의 "Airflow 웹 UI" 링크를 클릭하여 접근합니다.



2. DAG 작성 및 실행 : Airflow 웹 UI에서 DAG를 작성하고 실행할 수 있습니다.

이때 서비스 계정의 권한을 통해 GCP 리소스에 접근할 수 있습니다.



5. 보안 및 관리 서비스 계정 키는 민감한 정보이므로, 다음과 같은 보안 조치를 취해야 합니다.

- 키 관리 : 사용하지 않는 키는 삭제하고, 필요한 경우 키를 회전하여 보안을 강화합니다.

- IAM 정책 : 서비스 계정에 최소 권한 원칙을 적용하여 필요한 권한만 부여합니다.

- 모니터링 : GCP의 IAM 및 Cloud Logging을 사용하여 서비스 계정의 활동을 모니터링합니다.

결론 Cloud Composer를 설정하는 과정에서 서비스 계정과 키를 사용하는 것은 GCP 리소스에 대한 안전하고 효율적인 접근을 가능하게 합니다.

위의 단계를 따르면 Cloud Composer 환경을 성공적으로 설정하고, 데이터 파이프라인을 관리할 수 있습니다.