BigQuery는 구글 클라우드가 제공하는 완전관리형 서버리스 데이터 웨어하우스 서비스입니다. 대규모(테라바이트~페타바이트) 데이터의 저장과 분석을 위해 설계되었으며, 복잡한 분석 쿼리를 빠르게 실행하도록 최적화되어 있습니다. 주요 특징 - 완전관리형/서버리스: 인프라 관리(하드웨어, 패치, 용량 계획 등)를 사용자가 신경 쓸 필요 없이 구글이 관리. - 확장성: 자동으로 수평 확장되어 대용량 데이터와 동시 쿼리를 처리. - SQL 기반: 표준 SQL(ANSI 기반)을 지원하므로 기존 SQL 지식을 사용해 분석 가능. - 컬럼형 스토리지 및 분산 실행(Dremel 기반): 컬럼형 저장(Capacitor)과 병렬 쿼리 엔진으로 대규모 스캔과 집계를 고속 처리. - 저장과 컴퓨트의 분리: 데이터 저장과 쿼리 수행 자원(슬롯)을 분리하여 유연한 비용/성능 제어 가능. - 다양한 데이터 적재 방식: 일괄 로드, 스트리밍 인서트, Cloud Storage/Bigtable/Drive 등 외부 소스에 대한 연동(페더레이티드 쿼리). - 파티셔닝·클러스터링: 테이블을 날짜 등으로 파티셔닝하거나 컬럼 기반으로 클러스터링해 쿼리 비용과 성능 최적화. - 보안 및 거버넌스: IAM, 역할 기반 접근 제어, 데이터 암호화(CMEK 지원), VPC Service Controls 등 제공. - 분석 생태계 통합: Data Studio / Looker / Tableau 등 BI 도구 및 Dataflow, Dataproc 등 GCP 서비스와 통합. - 확장 기능: BigQuery ML(쿼리로 ML 모델 생성/예측), ML 모델 저장·호스팅, 빅데이터 ETL·ELT 파이프라인 지원. - 개발자 도구: 웹 콘솔, bq 명령줄, REST API 및 다양한 언어용 클라이언트 라이브러리(Python/Java 등). 요금 구조(요약) - 저장 비용: 저장한 데이터에 대한 비용(장기 보관 할인 등 적용). - 쿼리 비용: 온디맨드(스캔한 바이트 기준 과금) 또는 플랫 레이트(슬롯 고정 구독) 방식 선택 가능. - 스트리밍 삽입, 복제, 저장 리더 등 추가 항목에 대한 별도 비용 존재. 일반적 사용 사례 - 대용량 로그/이벤트 분석, 실시간 대시보드 백엔드 - 비즈니스 인텔리전스 쿼리 및 리포팅 - 데이터 레이크/ELT 후 분석 처리 - 머신러닝 모델 학습·서빙(특히 BigQuery ML 활용) - 대화형 ad-hoc 쿼리 및 대시보드 지원 고려사항 - 쿼리 실행 시 스캔되는 데이터 양에 따라 비용이 발생하므로 파티셔닝/클러스터링과 쿼리 최적화가 중요. - 동시성/리소스 관리는 슬롯(예약) 기반으로 제어 가능하나 대규모 워크로드는 플랜 수립 필요. - 일부 고급 기능(예: 특정 UDF 구현 제한, 외부 데이터 소스 성능)은 제약이 있을 수 있음. 요약하면, BigQuery는 대규모 데이터 분석을 쉽고 빠르게 수행할 수 있게 해 주는 구글의 관리형 데이터 웨어하우스로서, SQL 친화성, 자동 확장성, 다양한 통합 기능과 비용 모델을 제공하여 분석·BI·ML 워크로드에 널리 사용됩니다.
