1. 개요 vast.ai 에서 인스턴스를 사용하고 정지를 해놓은 상태에서 다른 사용자가 해당 GPU를 사용하게되면 부팅이 불가능하게 됩니다. 이를 대비하여 새로운 인스턴스를 생성하고 이전 저장소에서 새로운 인스턴스로 파일을 전송하는 방법을 공유합니다. 2. 상태 FROM Instance -> TO 로 옮기려고 합니다. 현재 FROM 의 /home/userdir_01 폴더에 필요한 파일이 모두 설치되어 있습니다. 이를 TO 의 /home/userdir_01 로 파일을 모두 이동시키려고 합니다. 3. Useradd - TO 에 접속하여 사용자를 만듭니다. (비밀번호 설정 요청이 나옵니다.) $ sudo adduser userdir_01 - 명령어를 사용하면 userdir_01 이라는 사용자가 생성되며 $ s..

Topic. google vertext AI gemini 를 테스트해봅니다. 1. API key 발급 아래 사이트에서 발급받으세요. https://makersuite.google.com/app/apikey 로그인 - Google 계정 이메일 또는 휴대전화 accounts.google.com 2. 라이브러리 설치 $ pip install google-generativeai 3. 소스 작성 import google.generativeai as genai GOOGLE_API_KEY = '[위에서 발급받은 API KEY]' genai.configure(api_key=GOOGLE_API_KEY) # 구글에서 제공하는 Generate AI API 목록 출력 for m in genai.list_models(): if..

topic. huggingface transformers 라이브러리를 사용해봅시다. 1. 개요 모든 개발자들이나 모든 딥러닝을 하고자 하는 사용자들이 쉽게 접근할 수 있도록 pipeline() 을 사용하는 방법과 AutoClass 를 사용하여 사전 훈련된 모델 및 전처리기를 로드하고 PyTorch 또는 텐서플로우를 이용하여 모델을 빠르게 학습시키는 방법을 알아봅니다. 2. 본론 1. 설치 설치는 파이썬 패키지를 설치하는 방법과 동일합니다. datasets 은 학습을 위한 데이터를 불러오고 가공하는 용도로 사용합니다. pip install transformers datasets 또 실습을 위해 필요한 패키지도 설치합니다. pip install torch pip install tensorflow 2. pip..

Topic. 미세조정(Fine-tuning) 하기 위한 환경설정 중 시행착오 내용을 공유합니다.* 딥러닝 환경설정 시행착오1. Case1UnboundLocalError: local variable 'sentencepiece_model_pb2' referenced before assignment위 오류가 발생하면 protobuf 패키지를 설치해줍니다.$ conda install protobuf2. Case2NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported.conda env 설치를 root 계정으로 한 경우 위 오류가 발생합니다.datasets 를 User 영역에서 사용할 수 있도록 설치합니다.$ pip i..

Topic. Huggingface 에 등록된 LLM 을 Base 모델로 하여 미세조정(Fine-tuning) 하기 위한 환경설정 내용을 공유합니다.* 파이썬 설치는 아래 링크에서https://x2bee.tistory.com/9 Python 설치 및 가상 환경(conda evn)Tech김백엔드, Tech막내녀석 공동작성 및 수정본 1. Python 설치 Python을 설치하는 방법은 3가지가 있다. Python 공식 홈페이지에서 설치 Anaconda 설치 Miniconda 설치 1번 공식 홈피 vs. 2번 Anaconda 1번 공식 홈x2bee.tistory.com1. Hardware InformationOS : Linux Ubuntu 18.04.6 LTS (Windows11 WSL)CPU : AMD Ry..