GPU/CPU 조합의 최적화: 5가지 방법!

Q1: GPU와 CPU 사이에 워크로드를 어떻게 최적 분할하나요?
A1:
- 작업 특성 파악
• 반복적이고 대량 병렬 연산: GPU 적합
• 분기나 조건문이 많고 순차 처리 위주: CPU 적합
- 정적 vs. 동적 분할
• 정적 분할: 입력 크기나 작업 특성이 일정할 때 미리 비율 고정
• 동적 분할: 런타임 성능에 따라 CPU/GPU 할당 비율 조정
- 하이브리드 연산
• 전처리·후처리​(데이터 정제, 결과 집계)​는 CPU, 핵심 수치 연산은 GPU에서 처리
• 서로 다른 코어 간 계산 결과를 적절히 교환할 수 있도록 인터페이스 설계

Q2: CPU↔GPU 간 데이터 전송 오버헤드를 줄이는 방법은?
A2:
- 비동기 전송(Asynchronous copy)
• CUDA Stream 또는 OpenCL Command Queue로 커널 실행과 전송 중첩
• cudaMemcpyAsync, clEnqueueWriteBufferWithMarker 등 활용
- 페이지 잠금 메모리(pinned/page-locked memory)
• cudaHostAlloc, clEnqueueMapBuffer 활용해 더 빠른 DMA 전송
- 버스트 전송(batch transfer)
• 작은 크기의 전송을 모아 한 번에 처리, API 호출 횟수 절감
- 제로 카피(Zero-copy) / Unified Memory
• Unified Memory(nvcc –-Unified-Memory)로 CPU/GPU 간 매핑된 메모리 공유
• 다만 전송 시점 제어와 페이지 폴트 비용 고려

Q3: 파이프라이닝(비동기 실행)으로 처리량을 높이려면?
A3:
- 멀티 스트림 스트래티지
• 서로 다른 CUDA Stream에 데이터 전송, 커널 실행, 결과 반환 작업 분산
• Stream 간 동기화 이벤트(cudaEvent)로 종속성 최소화
- 오버랩(overlap) • GPU + CPU 동시 실행 유도: CPU에서 후처리·다음 배치 준비, GPU에서 커널 수행
- 더블 버퍼링(Double buffering)
• 두 개 이상의 버퍼를 번갈아 사용해 전송·연산 동시 수행
- 작업 그래프(Task graph)
• CUDA Graph나 OpenCL Dependency Graph로 미리 정의된 워크플로우를 효율 실행

Q4: 메모리 계층 접근 패턴을 어떻게 최적화하나요?
A4:
- Coalesced Access (연속 접근)
• 글로벌 메모리 읽기/쓰기를 워프(또는 워크그룹) 단위로 연속 처리
- Shared Memory / L1 캐시 활용
• 블록 내 스레드 간 데이터 재사용: 트랜잭션 수 감소
- Bank Conflict 회피
• Shared Memory 인덱싱을 은행 크기(예: 32 워드) 배수로 조정
- 레지스터 활용
• 자주 쓰는 변수는 레지스터에 저장해 대기 시간 최소화
- 쓰기 결합(Write combining)
• 메모리 쓰기 시 쓰기 스루(write-through)가 아닌 쓰기 비허용(Write-combine) 옵션 검토

Q5: 성능 모니터링과 튜닝은 어떻게 하나요?
A5:
- 프로파일러 도구 활용
• NVIDIA Nsight Systems/Compute, nvprof, CUPTI
• Intel VTune, AMD CodeXL 등을 이용해 타임라인·메모리·연산 병목 분석
- 주요 지표 측정
• 메모리 대역폭(utilization), 커널 실행 시간, 스트림 동기화 대기 시간, GPU 점유율(occupancy)
- 반복 실험 및 파라미터 스윕
• 블록 크기(thread-per-block), 그리드 크기(grid-size), Shared Memory 크기 등 변경하며 최적점 탐색
- 자동 튜닝 프레임워크
• AutoTVM, Kernel Tuner 등으로 커널 파라미터 자동 조정
- 검증 및 회귀 테스트
• 최적화 직후 기능 오류 여부 확인, 성능 저하 방지를 위한 지속적 모니터링

아래에는 GPU와 CPU를 함께 사용할 때 성능을 극대화하기 위한 다섯 가지 핵심 방법을 표가 아닌 상세한 글로 풀어 설명합니다.

1. 작업 분할(granularity)과 병렬 처리 전략 최적화 – 역할 분담 설계: CPU는 분기(branch)가 많고 조건 판단이 복잡한 제어 흐름(control flow) 위주의 코드를, GPU는 대량의 데이터에 동일한 연산을 병렬로 적용하는 부분을 맡도록 책임을 명확히 나눕니다.

– 태스크 규모 조정: 너무 큰 태스크를 GPU에만 밀어주면 PCIe 전송 비용이 커지고, 너무 작은 단위로 쪼개면 오버헤드에 비해 얻는 이득이 작아집니다.

따라서 문제 크기와 하드웨어 특성을 고려해 블록(block)·스레드(thread) 단위를 적절히 조율합니다.

– 데이터 병렬 vs. 태스크 병렬: 데이터 병렬(data parallel)이 유리한 루프 연산, 벡터·행렬 연산은 GPU로 넘기고, 상황별로 로직이 크게 달라지는 작업은 CPU에서 처리하도록 설계하면 양쪽 장점을 모두 살릴 수 있습니다.



2. 메모리 전송 및 대역폭 활용 극대화 – 비동기 전송(Asynchronous Copy): CUDA나 OpenCL의 스트림(stream)·큐(queue) 기능을 이용해 CPU와 GPU 간 메모리 복사를 비동기화합니다.

연산(커널 실행)과 전송을 겹치게 해 PCIe나 NVLink 대역폭을 최대한 활용합니다.

– 페이지 잠금(host-pinned) 메모리 활용: 일반 페이지드 메모리 대비 전송 레이턴시가 낮은 페이지 잠금 메모리를 사용하면 호스트→디바이스 전송 속도가 빨라지고, 비동기 복사에서도 더 일관된 성능을 얻을 수 있습니다.

– Zero-copy 접근: 작은 크기 데이터를 자주 주고받아야 한다면 GPU가 호스트 메모리를 직접 참조하도록 해(메모리 매핑 사용) 복사 오버헤드를 줄일 수 있습니다.



3. 커널 성능 튜닝 및 스레드 매핑 – 작업 단위(warp/wavefront) 정렬: CUDA에서는 32개, AMD GPU에서는 64개 정도의 스레드를 하나의 물리적 워프(warp 혹은 wavefront) 단위로 처리합니다.

이 워프 경계에 맞춰 쓰레드 블록 크기와 그리드(grid) 구성을 설계해야 분기 오버헤드를 줄이고 유휴 사이클을 최소화할 수 있습니다.

– 메모리 접근 패턴 최적화: 전역(global) 메모리에 대한 접근은 연속(access coalescing) 형태로 설계해야 메모리 대역폭을 최대한 끌어쓸 수 있습니다.

2D 혹은 3D 배열일 경우, 커널 내 인덱싱 방식을 바꿔 스트라이드(stride)를 1에 가깝게 유지합니다.

– 레지스터·공유메모리(shared memory) 활용: 자주 참조하는 데이터는 레지스터나 공유 메모리에 올려두고, 중복 계산·메모리 접근을 줄이면 전역 메모리 접근 횟수를 크게 낮출 수 있습니다.

다만 레지스터 사용량이 너무 많으면 인워프 병렬도가 떨어지는 지점(register pressure)을 주의해야 합니다.



4. 하이브리드 스케줄링·파이프라이닝 – 파이프라인 구성: CPU에서 준비된 데이터를 GPU로 보내는 단계, GPU 연산 단계, 다시 결과를 CPU로 가져오는 단계 등을 파이프라인처럼 겹치게 구성합니다.

예를 들어 이중(또는 삼중) 버퍼 기법(double/triple buffering)을 도입해 어느 한쪽이 쉬지 않고 계속 일하도록 만듭니다.

– 동적 스케줄링: OpenMP·TBB 같은 CPU용 스레드 풀 프레임워크와 CUDA 스트림을 연동해, CPU 코어와 GPU 스트림 사이에서 연산 태스크를 동적으로 분배합니다.

런타임 프로파일링 정보를 토대로 작업 부하가 치우친 쪽이 스스로 태스크를 넘겨받도록 하면 자원 활용도를 최적화할 수 있습니다.

– 우선순위 설정: 실시간(gr) 또는 레이턴시가 중요한 태스크는 CPU에서 처리하고, 대량 연산 배치(batch) 태스크는 GPU에 할당하는 식으로 QoS(quality-of-service) 정책을 적용합니다.



5. 프로파일링·병목 분석을 통한 반복적 튜닝 – 프로파일러 활용: NVIDIA Nsight, AMD Radeon GPU Profiler, Intel VTune 같은 도구를 사용해 연산별·메모리별 활용률, 쓰레드 점유율, PCIe 전송 대기 시간 등을 계량적으로 확인합니다.

– 핫스팟(hotspot) 식별: 전체 실행 시간 중 가장 비중이 큰 커널·함수를 찾아 해당 부분의 알고리즘을 개선하거나, 메모리 접근 패턴·스레드 매핑을 재조정합니다.

– 반복 측정 및 A/B 테스트: 하나의 개선안이 실제로 전체 성능에 미치는 영향을 파악하려면 반드시 전후 측정을 비교해야 합니다.

변경 전·후 환경을 동일하게 고정(데이터 크기, 하드웨어 상태 등)하고 벤치마크를 여러 차례 돌려 평균 성능을 산출합니다.

이 다섯 가지 기법을 적용하면 CPU와 GPU를 유기적으로 결합해 처리량(througphut)과 응답시간(latency)을 동시에 끌어올릴 수 있습니다.

핵심은 처음부터 단편적인 최적화보다는 전체 파이프라인을 조망(holistic)하고, 프로파일링을 통한 지속적인 개선 사이클을 유지하는 것입니다.