서비스 계정의 키를 사용하여 Cloud Composer의 IAM 정책을 설정하는 방법은?

Q1: Cloud Composer에서 서비스 계정 키를 이용해 IAM 정책을 설정하려면 어떻게 하나요?
A1: Cloud Composer 환경에 사용할 서비스 계정을 생성한 후, 해당 서비스 계정의 키를 생성하여 안전한 위치에 저장합니다. 이후, Cloud Composer 환경에 할당된 리소스(예: Storage 버킷, Cloud SQL 등)에 적절한 IAM 역할을 서비스 계정에 부여하여 권한을 설정합니다. 최종적으로 Airflow DAG나 작업에서 해당 서비스 계정 키 파일을 참조하여 인증을 수행하도록 구성합니다.

Q2: 서비스 계정 키를 생성하는 방법은?
A2: Google Cloud Console에서 [IAM 및 관리자] > [서비스 계정]으로 이동하여 원하는 서비스 계정을 선택하거나 새로 만듭니다. "키" 탭에서 "키 추가" > "새 키 만들기"를 클릭한 뒤 JSON 형식의 키를 생성해 다운로드합니다.

Q3: 서비스 계정에게 어떤 IAM 역할을 부여해야 하나요?
A3: Cloud Composer 환경에서 사용할 리소스에 따라 다릅니다. 예를 들어, Cloud Storage 접근을 위해서는 `roles/storage.objectAdmin` 역할, Pub/Sub 권한이 필요하면 `roles/pubsub.publisher` 또는 `roles/pubsub.subscriber` 역할 등을 할당합니다. 최소 권한 원칙에 따라 필요한 권한만 부여하는 것을 권장합니다.

Q4: 키 파일을 Cloud Composer에 안전하게 배포하는 방법은? A4: 보안 강화를 위해 서비스 계정 키 파일은 Cloud Storage의 비공개 버킷에 저장하거나 환경 변수로 직접 지정하기보다는 Secret Manager를 이용하여 관리하는 것이 좋습니다. Airflow DAG에서 Secret Manager API를 사용해 키를 불러오도록 설정할 수도 있습니다.

Q5: Airflow DAG 내에서 서비스 계정 키를 사용하는 예시는?
A5: DAG 내의 작업(task)에서 `GOOGLE_APPLICATION_CREDENTIALS` 환경 변수를 키 파일 경로로 설정하거나, Google Cloud Client 라이브러리를 사용할 때 `from_service_account_json()` 메서드를 이용해 명시적으로 키 파일을 참조하여 인증 인증할 수 있습니다.

Q6: 서비스 계정 키를 사용하지 않고도 IAM 정책을 설정할 수 있나요?
A6: 네, Cloud Composer 환경은 기본적으로 환경 생성 시 할당되는 서비스 계정의 인증 정보를 사용합니다. 키 파일 없이도 환경에 연결된 서비스 계정에 적절한 IAM 권한을 부여하여 작업을 수행할 수 있습니다. 키를 직접 사용하는 것은 특정한 사용자 인증이나 외부 연결이 필요할 때만 권장됩니다.

Q7: 서비스 계정 키 사용 시 주의할 점은?
A7: 키 파일 유출 위험을 방지하기 위해, 키 파일을 안전하게 관리하고, 필요 시 즉시 키를 폐기하며, 키 파일을 코드 저장소에 저장하지 않는 것이 중요합니다. 또한 가능하다면 Workload Identity Federation이나 Cloud IAM 기반 인증을 사용하는 것이 더 안전합니다.

Cloud Composer는 Google Cloud Platform(GCP)에서 제공하는 관리형 Apache Airflow 서비스로, 데이터 파이프라인을 쉽게 구축하고 관리할 수 있도록 도와줍니다.

Cloud Composer의 IAM(Identity and Access Management) 정책을 설정하는 것은 보안 및 권한 관리를 위해 매우 중요합니다.

서비스 계정의 키를 사용하여 IAM 정책을 설정하는 방법에 대해 자세히 설명하겠습니다.

1. 서비스 계정 생성 먼저, Cloud Composer에서 사용할 서비스 계정을 생성해야 합니다.

서비스 계정은 GCP 리소스에 대한 액세스를 제어하는 데 사용됩니다.

1. GCP 콘솔에 로그인 : [Google Cloud Console](https://console.cloud.google.com/)에 로그인합니다.



2. IAM 및 관리자 선택 : 왼쪽 메뉴에서 "IAM 및 관리자"를 클릭한 후 "서비스 계정"을 선택합니다.



3. 서비스 계정 만들기 : "서비스 계정 만들기" 버튼을 클릭하고, 서비스 계정의 이름과 설명을 입력합니다.



4. 역할 할당 : 서비스 계정에 필요한 IAM 역할을 할당합니다.

예를 들어, Cloud Composer의 작업을 수행하기 위해 `Composer Worker` 역할을 부여할 수 있습니다.



5. 서비스 계정 키 생성 : 서비스 계정을 생성한 후, "키" 탭으로 이동하여 "키 추가"를 클릭하고 JSON 형식의 키를 생성합니다.

이 키는 나중에 애플리케이션에서 인증을 위해 사용됩니다.



2. IAM 정책 설정 서비스 계정을 생성한 후, Cloud Composer 환경에 대한 IAM 정책을 설정해야 합니다.

이를 통해 특정 사용자나 서비스 계정이 Cloud Composer 리소스에 접근할 수 있도록 권한을 부여할 수 있습니다.

1. Cloud Composer 환경 선택 : GCP 콘솔에서 "Cloud Composer"를 선택하고, IAM 정책을 설정할 Composer 환경을 클릭합니다.



2. IAM 및 관리자 선택 : 왼쪽 메뉴에서 "IAM 및 관리자"를 클릭한 후 "IAM"을 선택합니다.



3. 멤버 추가 : "멤버 추가" 버튼을 클릭하여 서비스 계정의 이메일 주소를 입력합니다.



4. 역할 선택 : 서비스 계정에 부여할 역할을 선택합니다.

예를 들어, `Composer Viewer`, `Composer Editor`, `Composer Admin` 등의 역할을 선택할 수 있습니다.



5. 저장 : 모든 설정을 완료한 후 "저장" 버튼을 클릭하여 IAM 정책을 업데이트합니다.



3. 서비스 계정 키 사용 서비스 계정 키를 사용하여 Cloud Composer에 접근하려면, 애플리케이션에서 Google Cloud SDK 또는 클라이언트 라이브러리를 사용하여 인증을 수행해야 합니다.

1. Google Cloud SDK 설치 : 로컬 개발 환경에 Google Cloud SDK를 설치합니다.



2. 환경 변수 설정 : 생성한 서비스 계정 키 파일의 경로를 환경 변수로 설정합니다.

예를 들어, Linux 또는 macOS에서는 다음과 같이 설정할 수 있습니다.

```bash export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-file.json" ```

3. 애플리케이션에서 인증 사용 : 이제 애플리케이션에서 Google Cloud 클라이언트 라이브러리를 사용하여 Cloud Composer API에 접근할 수 있습니다.

예를 들어, Python에서는 다음과 같이 사용할 수 있습니다.

```python from google.cloud import composer_v1 client = composer_v1.EnvironmentsClient() project_id = 'your-project-id' location = 'your-location' environment_name = 'your-environment-name' environment = client.get_environment(name=f'projects/{project_id}/locations/{location}/environments/{environment_name}') print(environment) ```

4. 권한 검토 및 감사 IAM 정책을 설정한 후, 주기적으로 권한을 검토하고 감사하는 것이 중요합니다.

이를 통해 불필요한 권한을 제거하고 보안을 강화할 수 있습니다.

GCP에서는 IAM 정책 변경 이력을 확인할 수 있는 감사 로그 기능을 제공하므로, 이를 활용하여 누가 어떤 권한을 변경했는지 추적할 수 있습니다.

결론 Cloud Composer의 IAM 정책을 설정하는 것은 데이터 파이프라인의 보안을 강화하고, 필요한 사용자 및 서비스 계정에 적절한 권한을 부여하는 데 필수적입니다.

서비스 계정 키를 사용하여 인증을 수행하고, IAM 정책을 통해 리소스에 대한 접근을 제어함으로써, 안전하고 효율적인 데이터 처리 환경을 구축할 수 있습니다.