Topic. GPU 사용률이 올라가지 않는 현상을 해결합니다. 1. 개요 LLM Model Fine-tuning 중 전용 GPU 메모리 사용량만 늘어나 3D 영역은 0%로 GPU 사용률이 0% 인 현상이 발생! 2. torch 라이브러리로 사용가능한 CUDA 확인 아래 명령어로 확인해봐도 torch는 외장그래픽카드로 잘 잡고있다. print("start time : ", datetime.now()) print(torch.cuda.is_available()) print(torch.cuda.device_count()) print(torch.cuda.get_device_name(torch.cuda.current_device())) 3. 원인 바로 아래 빨간부분인 내장그래픽카드가 문제였다! 4. 해결 내장그래픽..

Topic. google vertext AI gemini 를 테스트해봅니다. 1. API key 발급 아래 사이트에서 발급받으세요. https://makersuite.google.com/app/apikey 로그인 - Google 계정 이메일 또는 휴대전화 accounts.google.com 2. 라이브러리 설치 $ pip install google-generativeai 3. 소스 작성 import google.generativeai as genai GOOGLE_API_KEY = '[위에서 발급받은 API KEY]' genai.configure(api_key=GOOGLE_API_KEY) # 구글에서 제공하는 Generate AI API 목록 출력 for m in genai.list_models(): if..

topic. huggingface transformers 라이브러리를 사용해봅시다. 1. 개요 모든 개발자들이나 모든 딥러닝을 하고자 하는 사용자들이 쉽게 접근할 수 있도록 pipeline() 을 사용하는 방법과 AutoClass 를 사용하여 사전 훈련된 모델 및 전처리기를 로드하고 PyTorch 또는 텐서플로우를 이용하여 모델을 빠르게 학습시키는 방법을 알아봅니다. 2. 본론 1. 설치 설치는 파이썬 패키지를 설치하는 방법과 동일합니다. datasets 은 학습을 위한 데이터를 불러오고 가공하는 용도로 사용합니다. pip install transformers datasets 또 실습을 위해 필요한 패키지도 설치합니다. pip install torch pip install tensorflow 2. pip..

Topic. 🤗(Huggingface) Transformers 라이브러리에 대해 알아봅니다. 1. 개요 transformers 라이브러리는 파이썬에서 사용할 수 있는 딥러닝을 위한 통합 라이브러리입니다. 딥러닝을 할때 동원되는 PyTorch, TensorFlow, JAX 간의 상호 운용성을 지원하여 모델 라이프사이클 단계에서 다른 프레임워크를 사용할 수 있는 유연성을 제공합니다. 코드 세줄만으로도 모델을 훈련시키고 다른 프레임워크에서 추론을 위해 로드할 수 있도록 해주는 아주 고마운 라이브러랍니다. 학습한 모델은 생산 환경에서 배포하기 위해 ONNX 및 TorchScript와 같은 형식으로 내보낼 수 있으며, huggingface 에 업로드 해놓고 필요할 때 모델을 다운로드하여 사용할 수 있습니다. 2...