[실습] GPU CUDA 사용 설정

Topic. AI model Fine-tune 을 위하여 GPU를 활용하기 위해 CUDA kit를 설치해봅시다.

---

1. 개요

CUDA("Compute Unified Device Architecture", 쿠다)는

그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술입니다. 주로 AI model 개발시에 사용합니다.

---

2. 설치환경

OS : Windows11

CPU : AMD Ryzen 9 7950X3D 16-Core Processor

GPU : NVIDIA GeForce RTX 4090 24GB

RAM : 128GB

---

3. 설치

1. CUDA 버전확인

CUDA 버전은 Power Shell 에서 nvidia-smi 멍령어를 치면 우측 상단에서 적합한 버전을 알려줍니다. 

 

아래 링크에서 버전에 맞게 설치합니다.

---

2. CUDA Toolkit Install

https://developer.nvidia.com/cuda-downloads?target_os=Windows

CUDA Toolkit 12.1 Downloads

참고) 편하게 exe 를 이용하여 다운로드 받으면 됩니다.

설치가 끝나면

경로 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3 <-- 설치한 버전

에 파일들이 생성되어 있을겁니다.

 

또 시스템 환경변수에 아래와 같이 CUDA_PATH 와 CUDA_PATH_{version} 이 등록됩니다.

---

3. cuDNN Install

https://developer.nvidia.com/rdp/cudnn-download

Log in

cudnn을 zip 파일로 내려받으면 아래 파일들이 들어있습니다.

이 파일들을 아까 CUDA Toolkit 가 설치된 경로

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3

에 복사해서 넣어줍니다.