플래티어 연구소 테크 블로그
    • 메뉴 닫기
    • 글작성
    • 방명록
    • 환경설정
      • 분류 전체보기 (485)
        • Ai Word 사전 (0)
        • A.I.(인공지능) & M.L.(머신러닝) (7)
          • Development Environments (9)
          • A.I. Information (14)
          • Python (6)
          • transformers (13)
          • 머신러닝 (1)
          • 딥러닝 (4)
          • 신경망 이론 (5)
          • LLM (33)
          • Agent (4)
        • DevOps와 Infra (68)
          • DevOps 일반 (25)
          • Docker Container (3)
          • Linux (2)
          • AWS EKS (16)
          • AWS (6)
          • Kubernetes On Premise (14)
          • Security (1)
          • IDC 서버 (1)
        • 검색엔진 (10)
          • Elasticsearch (5)
          • Opensearch (5)
        • 빅데이터 (31)
          • Mongo DB (4)
          • Apache Nifi (21)
          • Scala (4)
          • Apache Spark (2)
        • 네트워크 (2)
          • SSL (2)
        • Quality Assurance (3)
          • E2E Test (3)
        • Backend(Framework) (43)
          • Java (2)
          • Spring (1)
          • Spring Boot Batch (3)
          • NestJS (9)
          • NestJS 개요(공식문서 번역) (20)
          • Cache (3)
          • Rust (5)
          • Go (0)
        • Frontend (Next.js Tailwind .. (52)
          • Frameworks (6)
          • Next.js (30)
          • Typescript (1)
          • Tailwind CSS (9)
          • React.js (4)
        • Next.js 개발 가이드 (42)
          • 01. Set up (7)
          • 02. 코딩 가이드 및 필수 패키지 (9)
          • 03. 퍼블 가이드 (3)
          • 04. Data fetching (2)
          • 05. State management (3)
          • 06. Learn Next.js 공식 가이드 (18)
        • Nuxt 공식문서 번역 (96)
          • 개요 (15)
          • Directories (23)
          • Components (12)
          • Composables (21)
          • Utils (25)
        • Nuxt 개발 가이드 (13)
          • 01. Set up (9)
          • 02. 코딩 가이드 및 필수 패키지 (0)
          • 03. 퍼블 가이드 (0)
          • 04. Data fetching (3)
          • 05. State management (1)
        • Tech 공유 세미나 - 2차 (13)
        • 기타 (15)
          • IT기타 (7)
          • story (5)
          • 문정역 여기어때 (2)
    A.I.(인공지능) & M.L.(머신러닝)/Development Environments

    [실습] vast.ai 인스턴스간 파일 전송

    1. 개요 vast.ai 에서 인스턴스를 사용하고 정지를 해놓은 상태에서 다른 사용자가 해당 GPU를 사용하게되면 부팅이 불가능하게 됩니다. 이를 대비하여 새로운 인스턴스를 생성하고 이전 저장소에서 새로운 인스턴스로 파일을 전송하는 방법을 공유합니다. 2. 상태 FROM Instance -> TO 로 옮기려고 합니다. 현재 FROM 의 /home/userdir_01 폴더에 필요한 파일이 모두 설치되어 있습니다. 이를 TO 의 /home/userdir_01 로 파일을 모두 이동시키려고 합니다. 3. Useradd - TO 에 접속하여 사용자를 만듭니다. (비밀번호 설정 요청이 나옵니다.) $ sudo adduser userdir_01 - 명령어를 사용하면 userdir_01 이라는 사용자가 생성되며 $ s..

    2024. 4. 12. 15:04 / Tech엠지대표
    A.I.(인공지능) & M.L.(머신러닝)/A.I. Information

    [실습] google gemini 테스트 [python] 10분컷

    Topic. google vertext AI gemini 를 테스트해봅니다. 1. API key 발급 아래 사이트에서 발급받으세요. https://makersuite.google.com/app/apikey 로그인 - Google 계정 이메일 또는 휴대전화 accounts.google.com 2. 라이브러리 설치 $ pip install google-generativeai 3. 소스 작성 import google.generativeai as genai GOOGLE_API_KEY = '[위에서 발급받은 API KEY]' genai.configure(api_key=GOOGLE_API_KEY) # 구글에서 제공하는 Generate AI API 목록 출력 for m in genai.list_models(): if..

    2024. 1. 31. 11:11 / Tech엠지대표
    A.I.(인공지능) & M.L.(머신러닝)/transformers

    [실습] 1-2 transformers 시작 - 감성분석, 텍스트 분류 등...

    topic. huggingface transformers 라이브러리를 사용해봅시다. 1. 개요 모든 개발자들이나 모든 딥러닝을 하고자 하는 사용자들이 쉽게 접근할 수 있도록 pipeline() 을 사용하는 방법과 AutoClass 를 사용하여 사전 훈련된 모델 및 전처리기를 로드하고 PyTorch 또는 텐서플로우를 이용하여 모델을 빠르게 학습시키는 방법을 알아봅니다. 2. 본론 1. 설치 설치는 파이썬 패키지를 설치하는 방법과 동일합니다. datasets 은 학습을 위한 데이터를 불러오고 가공하는 용도로 사용합니다. pip install transformers datasets 또 실습을 위해 필요한 패키지도 설치합니다. pip install torch pip install tensorflow 2. pip..

    2024. 1. 26. 11:38 / Tech엠지대표
    A.I.(인공지능) & M.L.(머신러닝)/Development Environments

    [실습] Model Fine-tuning 환경설정시 시행착오(Linux Ubuntu)

    Topic. 미세조정(Fine-tuning) 하기 위한 환경설정 중 시행착오 내용을 공유합니다.* 딥러닝 환경설정 시행착오1. Case1UnboundLocalError: local variable 'sentencepiece_model_pb2' referenced before assignment위 오류가 발생하면 protobuf 패키지를 설치해줍니다.$ conda install protobuf2. Case2NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported.conda env 설치를 root 계정으로 한 경우 위 오류가 발생합니다.datasets 를 User 영역에서 사용할 수 있도록 설치합니다.$ pip i..

    2024. 1. 11. 10:00 / Tech엠지대표
    A.I.(인공지능) & M.L.(머신러닝)/Development Environments

    [실습] A.I. Pre-trained Model Fine-tuning 을 위한 환경설정(Linux Ubuntu)

    Topic. Huggingface 에 등록된 LLM 을 Base 모델로 하여 미세조정(Fine-tuning) 하기 위한 환경설정 내용을 공유합니다.* 파이썬 설치는 아래 링크에서https://x2bee.tistory.com/9 Python 설치 및 가상 환경(conda evn)Tech김백엔드, Tech막내녀석 공동작성 및 수정본 1. Python 설치 Python을 설치하는 방법은 3가지가 있다. Python 공식 홈페이지에서 설치 Anaconda 설치 Miniconda 설치 1번 공식 홈피 vs. 2번 Anaconda 1번 공식 홈x2bee.tistory.com1. Hardware InformationOS : Linux Ubuntu 18.04.6 LTS (Windows11 WSL)CPU : AMD Ry..

    2024. 1. 5. 13:54 / Tech엠지대표
    • «
    • 1
    • »

    전체 방문자

    오늘
    어제
    전체

    테크팀 개인 블로그

    정지민
    jeong
    손성준
    son
    김해수
    sunwater
    이다운
    koala
    김백엔드
    backendkim
    채희철
    bburongE

    전체 카테고리

    • 분류 전체보기 (485)
      • Ai Word 사전 (0)
      • A.I.(인공지능) & M.L.(머신러닝) (7)
        • Development Environments (9)
        • A.I. Information (14)
        • Python (6)
        • transformers (13)
        • 머신러닝 (1)
        • 딥러닝 (4)
        • 신경망 이론 (5)
        • LLM (33)
        • Agent (4)
      • DevOps와 Infra (68)
        • DevOps 일반 (25)
        • Docker Container (3)
        • Linux (2)
        • AWS EKS (16)
        • AWS (6)
        • Kubernetes On Premise (14)
        • Security (1)
        • IDC 서버 (1)
      • 검색엔진 (10)
        • Elasticsearch (5)
        • Opensearch (5)
      • 빅데이터 (31)
        • Mongo DB (4)
        • Apache Nifi (21)
        • Scala (4)
        • Apache Spark (2)
      • 네트워크 (2)
        • SSL (2)
      • Quality Assurance (3)
        • E2E Test (3)
      • Backend(Framework) (43)
        • Java (2)
        • Spring (1)
        • Spring Boot Batch (3)
        • NestJS (9)
        • NestJS 개요(공식문서 번역) (20)
        • Cache (3)
        • Rust (5)
        • Go (0)
      • Frontend (Next.js Tailwind .. (52)
        • Frameworks (6)
        • Next.js (30)
        • Typescript (1)
        • Tailwind CSS (9)
        • React.js (4)
      • Next.js 개발 가이드 (42)
        • 01. Set up (7)
        • 02. 코딩 가이드 및 필수 패키지 (9)
        • 03. 퍼블 가이드 (3)
        • 04. Data fetching (2)
        • 05. State management (3)
        • 06. Learn Next.js 공식 가이드 (18)
      • Nuxt 공식문서 번역 (96)
        • 개요 (15)
        • Directories (23)
        • Components (12)
        • Composables (21)
        • Utils (25)
      • Nuxt 개발 가이드 (13)
        • 01. Set up (9)
        • 02. 코딩 가이드 및 필수 패키지 (0)
        • 03. 퍼블 가이드 (0)
        • 04. Data fetching (3)
        • 05. State management (1)
      • Tech 공유 세미나 - 2차 (13)
      • 기타 (15)
        • IT기타 (7)
        • story (5)
        • 문정역 여기어때 (2)

    블로그 인기글

    태그

    • #이벤트리스너
    • #apach
    • #venv
    • #플래티어
    • #React
    • #아파치
    • #fine-tuning
    • #deepseek
    • #GPU
    • #Ai
    • #나이파이
    • #langgraph
    • #nifi
    • #nextjs
    • #Lora
    • #HuggingFace
    • #검색엔진
    • #딥러닝
    • #LLM
    • #ElasticSearch
    • #셀레니움
    • #pyTorch
    • #파이썬
    • #AWS EKS
    • #finetuning
    • #python
    • #Langchain
    • #adapter_model.bin
    • #Spring Boot Batch
    • #문제해결
    MORE
    Powered by Privatenote Copyright © 플래티어 연구소 테크 블로그 All rights reserved. TistoryWhaleSkin3.4

    티스토리툴바