CPU와 GPU의 조화, 5가지 필수 전략!

FAQ: CPU와 GPU의 조화 – 5가지 필수 전략

Q1. CPU와 GPU 조화란 무엇인가요?
A1.
• CPU는 복잡한 제어 흐름, 분기 처리, I/O 관리에 강점이 있고
• GPU는 대규모 병렬 연산(벡터·행렬 연산 등)에 특화되어 있습니다.
• 두 프로세서의 역할을 명확히 분리·분담해 전체 처리량(Throughput)과 응답속도(Latency)를 동시에 개선하는 것이 ‘조화’의 핵심입니다.

Q2. 전략 1 – 작업 특성에 따른 최적 분할
A2.
1) 연산 강도(Compute Intensity) 판단
- 데이터 대비 연산량이 크면 GPU, 제어·분기 로직이 복잡하면 CPU에 할당
2) 임계치(Threshold) 설정
- 작은 입력은 오버헤드가 적은 CPU, 큰 입력은 병렬성을 활용한 GPU가 유리
3) 동적 스케줄링
- OpenMP, Intel TBB, CUDA Dynamic Parallelism 등을 이용해 런타임에 작업 크기·부하를 재분배

Q3. 전략 2 – 메모리 계층 활용과 데이터 로컬리티 최적화
A3.
1) 캐시·공유 메모리 활용
- GPU의 Shared Memory, L1/L2 캐시에 자주 쓰는 데이터를 배치
2) 구조체 vs 배열
- Structure of Arrays(SoA)로 정렬하여 연속 메모리 접근 패턴을 유지
3) 페이지 잠금(Pinned Memory)
- 호스트↔디바이스 간 DMA 전송 시 페이지 잠금 메모리를 사용해 대역폭 극대화

Q4. 전략 3 – 동기화 최소화 및 병목 제거 A4.
1) 비동기 실행(Asynchronous Execution)
- CUDA Streams, OpenCL 큐를 활용해 커널 실행과 메모리 전송을 겹치기
2) 이벤트 기반 동기화
- GPU 내 CUDA Event로 세분화된 동기화 지점만 사용
3) 락·뮤텍스 회피
- CPU 스레드 간 락보다는 Lock-Free 알고리즘, GPU는 원자적 연산(atomic) 최소화

Q5. 전략 4 – 데이터 전송 오버헤드 최소화
A5.
1) 입출력 데이터 압축
- 전송할 데이터를 미리 압축하여 대역폭 절약
2) 페이즈별 중간 결과 재활용
- 호스트↔디바이스 간 반복 전송을 줄이고, GPU 내부 RAM에 오래 머무르게 하기
3) 멀티 GPU/Peer-to-Peer
- NVIDIA GPUDirect, AMD ROCm Peer-to-Peer로 GPU 간 직접 통신 활성화

Q6. 전략 5 – 프로파일링과 자동 튜닝으로 성능 극대화
A6.
1) 프로파일링 툴 활용
- NVIDIA Nsight, nvprof, AMD uProf, Intel VTune으로 병목 구간 파악
2) 커널 런치 파라미터 탐색
- 블록 크기(blockDim), 스레드 수(threadDim)를 자동화 스크립트(Optuna, Hyperopt 등)로 튜닝
3) 라이브러리·프레임워크 최적화
- cuBLAS, cuDNN, oneDNN, ArrayFire 등 벤더 최적화 빌트인 함수 적극 활용

—
위 5가지 전략을 통해 CPU는 제어·로직 처리에 집중시키고, GPU는 대규모 병렬연산에 전념하도록 역할을 분명히 나누면 전체 시스템 성능을 최대한 끌어올릴 수 있습니다.

다음의 다섯 가지 전략은 CPU와 GPU를 함께 활용해 전체 시스템 성능을 극대화하는 데 필수적인 요소들입니다.

표 형식이 아니라 각 전략을 중심으로 배경과 구체적인 구현 팁을 함께 설명합니다.

1. 작업 분할(Workload Partitioning) 최적화 CPU와 GPU는 아키텍처와 강점이 서로 다르므로, 처리할 작업을 적절히 분할하는 것이 무엇보다 중요합니다.

일반적으로 CPU는 복잡한 제어 흐름이 많고 분기(branch)가 잦은 작업, 즉 조건문 처리나 시리얼(Serial) 연산에 강합니다.

반면 GPU는 동일한 연산을 수천 개의 스레드로 병렬 수행하는 데 유리합니다.

따라서 영상 필터링, 행렬 연산, 딥러닝의 합성곱(convolution)처럼 명확한 병렬 패턴을 가지고 있는 부분을 GPU로 넘기고, 데이터 준비·전처리·후처리나 결과 조합, I/O 관리 등 로직 제어가 중심인 부분은 CPU에서 처리하도록 설계해야 합니다.

이때 각 단계별로 데이터를 주고받는 오버헤드를 고려해 너무 작은 단위로 나누기보다는 어느 정도 묶어서 전달함으로써 전송 비용을 줄이는 것이 좋습니다.



2. 메모리 전송 및 공유 자원 관리 CPU와 GPU 간 데이터 이동은 PCIe나 NVLink 같은 버스를 통해 이뤄지며, 이 전송 시간이 전체 실행 시간의 병목이 될 수 있습니다.

이를 최소화하기 위해 먼저 메모리 복사 자체를 비동기식으로 수행해 연산 중에도 데이터 전송이 겹치도록 설계합니다.

예를 들어 CUDA 스트림(Stream)을 이용해 cudaMemcpyAsync를 호출하거나, OpenCL의 이벤트(Event)·큐(Queue) 개념으로 전송과 커널 실행을 오버랩(overlap) 시킬 수 있습니다.

또한 핀(pinned) 메모리, 페이지 잠금(page-locked) 메모리를 활용하면 CPU와 GPU 사이의 전송 대역폭을 높일 수 있습니다.

최신 플랫폼에서는 ‘통합 메모리(unified memory)’ 기능을 지원하는데, 이 경우 운영체제가 자동으로 데이터 이동을 관리해 주지만, 사전에 메모리 접근 패턴을 파악해 Prefetch나 힌트(Hint)를 주면 더 높은 효율을 얻을 수 있습니다.



3. 비동기 실행과 파이프라이닝 CPU–GPU 협업에서 단일 스레드·동기(Synchronous) 방식으로 순차 실행하다 보면 많은 유휴 시간이 발생합니다.

이를 극복하려면 연산과 데이터 전송을 파이프라인 형태로 만들고, 여러 큐(또는 스트림)에 작업을 분산시켜 비동기 실행하도록 해야 합니다.

예를 들어 이미지 처리를 예시로 들면, 프레임 N의 데이터 전송이 진행되는 동안 프레임 N–1의 GPU 연산이 동시에 돌아가고, 프레임 N–2의 결과를 CPU가 후처리하는 구조를 만든 뒤 여유가 생긴 CPU 스레드에서는 추가 I/O나 로깅 작업을 수행하도록 할 수 있습니다.

이렇게 하면 CPU와 GPU가 서로 기다리지 않고 항상 연산 또는 전송 작업을 수행해 전반적인 처리량(throughput)을 크게 향상시킬 수 있습니다.



4. 동적 로드 밸런싱과 스케줄링 실행 중인 워크로드나 입력 데이터 크기가 변화할 때 고정된 분할 비율만으로는 최적 성능을 유지하기 어렵습니다.

이럴 때는 런타임에 CPU와 GPU의 부하를 모니터링해 동적으로 작업량을 재조정하는 방법을 도입해야 합니다.

예를 들어 CPU와 GPU의 사용률, 메모리 대역폭 사용량, 큐에 남은 작업량 등을 주기적으로 계측(profiling)하고, 특정 임계치 이상 차이가 발생하면 전송하는 블록 크기를 조절하거나 GPU 커널 호출 횟수를 줄이고 CPU 쪽 비중을 늘리는 식입니다.

오픈소스 프레임워크 중에는 이런 동적 스케줄러를 제공하는 것들도 있고, 직접 구현할 때는 작업 단위를 작은 청크(chunk)로 만들어 우선순위 기반으로 할당하는 작업 스틸링(task stealing) 기법을 활용할 수 있습니다.



5. 프로파일링·튜닝을 통한 지속적 성능 개선 위의 전략들을 적용했더라도 실제 성능 향상을 체감하려면 상세한 계측과 분석이 필수입니다.

CPU 쪽은 Intel VTune, Linux perf, Windows Performance Analyzer 등을 쓰고 GPU 쪽은 NVIDIA Nsight, AMD Radeon GPU Profiler, ROCm Profiling Tool Suite 등을 활용해 커널별 실행 시간, 메모리 대기 시간, 스레드 효율성, 전송 대역폭 사용률 등을 분석합니다.

이 데이터를 바탕으로 병목이 되는 커널을 재작성하거나, 메모리 접근 패턴을 개선하고, 벡터화(Vectorization)·SIMD 지시문을 추가하거나, GPU 스레드 블록 크기(block size)나 그리드 크기(grid size)를 조정하는 등 세부적인 튜닝을 반복해야 합니다.

또한 주기적으로 새로운 드라이버나 라이브러리 버전에 맞춰 성능 리그레션(regression)이 발생하지 않는지 확인하고, 최적화 전략을 업데이트하는 노력이 필요합니다.

이 다섯 가지 전략을 유기적으로 결합해 나가면 CPU와 GPU가 서로 기다리는 일이 없이 최대한 바쁘게 돌아가면서 전체 애플리케이션 처리량과 응답 속도를 크게 높일 수 있습니다.

중요 포인트는 ‘한 번에 끝내겠다’가 아니라, 지속적으로 계측·분석·튜닝하며 워크로드 특성 변화에 대응하는 유연한 구조를 갖추는 것입니다.