1. Polar는 플래티어의 고유 sLLM 모델로, 이커머스의 고품질 데이터를 학습하여 설계되었습니다. 2. 특히, 내부 SCM체계에서의 재고, 단가, 협력사 정보등 민감정보를 안정하게 보호하며 Gen AI 기능을 제공이 가능합니다. 3. Polar는 임베딩 모델 및 벡터DB 제공을 통해 서비스시 정확한 정보제공이 가능 합니다. 4. ModernBERT를 기반으로 한국어 성능을 강화해, 한국어 텍스트의 잠재적 의미를 파악하는 고성능 임베딩 모델을 운영하고 있습니다. 도메인 업무 전반에 활용되며, 업무 효율과 공급자 고객 경험을 극대화하여 조달 산업 전반의 디지털 혁신을 이끄는 Use-Case는 하기 주소를 참조하시기 바랍니다. https://tech.x2bee.com/pag..

Topic. GPU 사용률이 올라가지 않는 현상을 해결합니다. 1. 개요 LLM Model Fine-tuning 중 전용 GPU 메모리 사용량만 늘어나 3D 영역은 0%로 GPU 사용률이 0% 인 현상이 발생! 2. torch 라이브러리로 사용가능한 CUDA 확인 아래 명령어로 확인해봐도 torch는 외장그래픽카드로 잘 잡고있다. print("start time : ", datetime.now()) print(torch.cuda.is_available()) print(torch.cuda.device_count()) print(torch.cuda.get_device_name(torch.cuda.current_device())) 3. 원인 바로 아래 빨간부분인 내장그래픽카드가 문제였다! 4. 해결 내장그래픽..

Topic. google vertext AI gemini 를 테스트해봅니다. 1. API key 발급 아래 사이트에서 발급받으세요. https://makersuite.google.com/app/apikey 로그인 - Google 계정 이메일 또는 휴대전화 accounts.google.com 2. 라이브러리 설치 $ pip install google-generativeai 3. 소스 작성 import google.generativeai as genai GOOGLE_API_KEY = '[위에서 발급받은 API KEY]' genai.configure(api_key=GOOGLE_API_KEY) # 구글에서 제공하는 Generate AI API 목록 출력 for m in genai.list_models(): if..

topic. huggingface transformers 라이브러리를 사용해봅시다. 1. 개요 모든 개발자들이나 모든 딥러닝을 하고자 하는 사용자들이 쉽게 접근할 수 있도록 pipeline() 을 사용하는 방법과 AutoClass 를 사용하여 사전 훈련된 모델 및 전처리기를 로드하고 PyTorch 또는 텐서플로우를 이용하여 모델을 빠르게 학습시키는 방법을 알아봅니다. 2. 본론 1. 설치 설치는 파이썬 패키지를 설치하는 방법과 동일합니다. datasets 은 학습을 위한 데이터를 불러오고 가공하는 용도로 사용합니다. pip install transformers datasets 또 실습을 위해 필요한 패키지도 설치합니다. pip install torch pip install tensorflow 2. pip..

Topic. 🤗(Huggingface) Transformers 라이브러리에 대해 알아봅니다. 1. 개요 transformers 라이브러리는 파이썬에서 사용할 수 있는 딥러닝을 위한 통합 라이브러리입니다. 딥러닝을 할때 동원되는 PyTorch, TensorFlow, JAX 간의 상호 운용성을 지원하여 모델 라이프사이클 단계에서 다른 프레임워크를 사용할 수 있는 유연성을 제공합니다. 코드 세줄만으로도 모델을 훈련시키고 다른 프레임워크에서 추론을 위해 로드할 수 있도록 해주는 아주 고마운 라이브러랍니다. 학습한 모델은 생산 환경에서 배포하기 위해 ONNX 및 TorchScript와 같은 형식으로 내보낼 수 있으며, huggingface 에 업로드 해놓고 필요할 때 모델을 다운로드하여 사용할 수 있습니다. 2...