CUDA에서 전역 메모리와 공유 메모리의 차이점은 무엇인가요?

Q1: 전역 메모리(Global Memory)란 무엇인가요?
전역 메모리는 GPU의 DRAM에 해당하며, 모든 스레드 블록과 모든 스레드가 접근할 수 있는 대용량 메모리입니다. 용량이 크지만 메모리 접근 지연(latency)이 크고 대역폭이 상대적으로 낮아 성능에 영향을 미칠 수 있습니다.

Q2: 공유 메모리(Shared Memory)란 무엇인가요?
공유 메모리는 각 스레드 블록 내에서만 공유되는 온칩 메모리이며, 매우 빠른 접근 속도를 가진 저지연 캐시 같은 역할을 합니다. 크기는 전역 메모리보다 훨씬 작고 보통 수십 KB 크기이지만, 스레드 간 데이터 교환 및 효율적인 메모리 접근에 유리합니다.

Q3: 전역 메모리와 공유 메모리의 주요 차이점은 무엇인가요?
- 접근 범위: 전역 메모리는 모든 스레드가 접근 가능하지만, 공유 메모리는 같은 스레드 블록 내 스레드만 접근 가능합니다.
- 속도: 공유 메모리는 전역 메모리보다 훨씬 빠른 속도를 제공합니다.
- 용량: 전역 메모리가 수 GB 규모인 반면, 공유 메모리는 보통 수십 KB 수준입니다.
- 위치: 전역 메모리는 GPU 외부 DRAM에 위치하며, 공유 메모리는 각 CUDA 코어의 온칩 메모리입니다.

Q4: 언제 전역 메모리를 사용해야 하나요?
- 큰 데이터 집합을 다룰 때.
- 스레드 블록 간 데이터를 공유해야 할 때 (직접 공유 메모리로 불가능하므로 전역 메모리를 통해).
- 장기 저장이 필요한 데이터.

Q5: 언제 공유 메모리를 사용해야 하나요?
- 같은 스레드 블록 내에서 자주 접근하는 데이터일 때. - 데이터를 재사용하여 전역 메모리 접근을 줄이고자 할 때.
- 병렬 연산 중 스레드 간 협력이 필요할 때.

Q6: 전역 메모리 성능 저하를 막으려면 어떻게 해야 하나요?
- 메모리 접근을 coalesced(병합된) 방식으로 하여 메모리 대역폭 효율을 높입니다.
- 반복적으로 접근하는 데이터를 공유 메모리에 복사해 두고 사용합니다.
- 불필요한 전역 메모리 접근을 최소화합니다.

Q7: 공유 메모리 사용의 제한점은 무엇인가요?
- 용량 제한으로 큰 데이터를 저장하기 어렵습니다.
- 스레드 블록 내에서만 접근 가능해서 블록 간 데이터 전달이 불가능합니다.
- 동기화가 필요한 경우 `__syncthreads()`를 적절히 호출해야 합니다.

Q8: 요약하면, 전역 메모리와 공유 메모리는 어떻게 구분하나요?
- 전역 메모리: 큰 용량, 느린 접근, 모든 스레드 접근 가능, 장기 저장용.
- 공유 메모리: 작은 용량, 매우 빠른 접근, 같은 스레드 블록 내 스레드만 공유, 데이터 재사용과 협력 연산에 최적화.

---

이처럼 CUDA 프로그래밍에서 전역 메모리와 공유 메모리는 용도와 성능 특성이 다르므로, 적절히 조합해 효율적인 병렬 처리를 구현하는 것이 중요합니다.

CUDA(Compute Unified Device Architecture)는 NVIDIA에서 개발한 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델로, GPU(그래픽 처리 장치)를 활용하여 고속으로 계산을 수행할 수 있게 해줍니다.

CUDA에서 메모리는 여러 종류가 있으며, 그 중에서도 전역 메모리(global memory)와 공유 메모리(shared memory)는 중요한 두 가지 메모리 유형입니다.

이 두 메모리는 각각의 특성과 용도가 다르며, CUDA 프로그래밍에서 성능 최적화에 큰 영향을 미칩니다.

전역 메모리 (Global Memory) 1. 정의 : 전역 메모리는 GPU의 모든 스레드에서 접근할 수 있는 메모리 공간입니다.

이 메모리는 GPU의 DRAM에 위치하며, 커널이 실행되는 동안 모든 스레드가 데이터를 읽고 쓸 수 있습니다.



2. 특징 : - 용량 : 전역 메모리는 매우 큰 용량을 가지고 있으며, 수 기가바이트에 이르는 데이터 저장이 가능합니다.

- 접근 속도 : 전역 메모리는 상대적으로 느린 접근 속도를 가지고 있습니다.

메모리 대역폭이 크지만, 메모리 접근 지연(latency)이 발생할 수 있습니다.

- 영속성 : 전역 메모리에 저장된 데이터는 커널 실행이 끝난 후에도 유지됩니다.

즉, CPU와 GPU 간의 데이터 전송을 통해 CPU에서 사용할 수 있습니다.

- 초기화 : 전역 메모리는 커널이 실행되기 전에 CPU에서 초기화할 수 있으며, 커널 실행 중에도 동적으로 할당하고 해제할 수 있습니다.



3. 사용 예 : 대량의 데이터 세트를 처리하거나, 여러 스레드가 공유해야 하는 데이터를 저장할 때 사용됩니다.

예를 들어, 이미지 처리, 과학적 계산 등에서 전역 메모리를 활용하여 데이터를 저장하고 처리합니다.

공유 메모리 (Shared Memory) 1. 정의 : 공유 메모리는 동일한 블록 내의 스레드들 간에 공유되는 메모리 공간입니다.

각 블록은 고유한 공유 메모리 공간을 가지며, 이 공간은 블록 내의 모든 스레드가 접근할 수 있습니다.



2. 특징 : - 용량 : 공유 메모리는 전역 메모리에 비해 상대적으로 작은 용량을 가지고 있으며, 보통 수 킬로바이트(예: 48KB) 정도입니다.

- 접근 속도 : 공유 메모리는 매우 빠른 접근 속도를 가지고 있습니다.

CPU 캐시와 유사한 구조로, 스레드 간의 데이터 전송이 빠르게 이루어질 수 있습니다.

- 영속성 : 공유 메모리는 블록이 실행되는 동안에만 유지되며, 블록이 종료되면 데이터가 사라집니다.

- 초기화 : 공유 메모리는 커널 내에서 초기화되며, 블록 내의 스레드들이 데이터를 읽고 쓸 수 있습니다.



3. 사용 예 : 공유 메모리는 블록 내의 스레드들이 협력하여 데이터를 처리할 때 유용합니다.

예를 들어, 행렬 곱셈과 같은 연산에서 중간 결과를 저장하거나, 스레드 간의 데이터 공유를 통해 성능을 향상시킬 수 있습니다.

전역 메모리와 공유 메모리의 차이점 요약 | 특성 | 전역 메모리 (Global Memory) | 공유 메모리 (Shared Memory) | |-------------------|-----------------------------|------------------------------| | 접근 가능성 | 모든 스레드 | 동일 블록 내의 스레드 | | 용량 | 크고 유연함 | 작고 고정됨 | | 접근 속도 | 느림 | 빠름 | | 데이터 영속성 | 커널 종료 후에도 유지 | 블록 종료 시 사라짐 | | 초기화 | CPU에서 초기화 가능 | 커널 내에서 초기화 | 결론 전역 메모리와 공유 메모리는 CUDA 프로그래밍에서 각각의 역할이 다르며, 성능 최적화를 위해 적절히 활용해야 합니다.

전역 메모리는 대량의 데이터를 저장하고 처리하는 데 유용하지만, 접근 속도가 느리기 때문에 필요한 경우에만 사용해야 합니다.

반면, 공유 메모리는 빠른 데이터 접근이 가능하므로, 블록 내의 스레드 간의 협력적인 작업에 적합합니다.

CUDA 프로그래머는 이 두 가지 메모리 유형을 적절히 조합하여 성능을 극대화할 수 있습니다.