플래티어 연구소 테크 블로그
    • 메뉴 닫기
    • 글작성
    • 방명록
    • 환경설정
      • 분류 전체보기 (469)
        • Ai Word 사전 (0)
        • A.I.(인공지능) & M.L.(머신러닝) (94)
          • Development Environments (9)
          • A.I. Information (14)
          • Python (6)
          • transformers (13)
          • 머신러닝 (1)
          • 딥러닝 (4)
          • 신경망 이론 (5)
          • LLM (31)
          • Agent (4)
        • DevOps와 Infra (61)
          • DevOps 일반 (22)
          • Docker Container (3)
          • Linux (2)
          • AWS EKS (16)
          • AWS (4)
          • Kubernetes On Premise (13)
          • Security (1)
        • 검색엔진 (8)
          • Elasticsearch (5)
          • Opensearch (3)
        • 빅데이터 (31)
          • Mongo DB (4)
          • Apache Nifi (21)
          • Scala (4)
          • Apache Spark (2)
        • 네트워크 (1)
          • SSL (1)
        • Quality Assurance (3)
          • E2E Test (3)
        • Backend(Framework) (41)
          • Java (1)
          • Spring (1)
          • Spring Boot Batch (3)
          • NestJS (9)
          • NestJS 개요(공식문서 번역) (20)
          • Cache (3)
          • Rust (4)
          • Go (0)
        • Frontend (Next.js Tailwind .. (52)
          • Frameworks (6)
          • Next.js (30)
          • Typescript (1)
          • Tailwind CSS (9)
          • React.js (4)
        • Next.js 개발 가이드 (42)
          • 01. Set up (7)
          • 02. 코딩 가이드 및 필수 패키지 (9)
          • 03. 퍼블 가이드 (3)
          • 04. Data fetching (2)
          • 05. State management (3)
          • 06. Learn Next.js 공식 가이드 (18)
        • Nuxt 공식문서 번역 (96)
          • 개요 (15)
          • Directories (23)
          • Components (12)
          • Composables (21)
          • Utils (25)
        • Nuxt 개발 가이드 (13)
          • 01. Set up (9)
          • 02. 코딩 가이드 및 필수 패키지 (0)
          • 03. 퍼블 가이드 (0)
          • 04. Data fetching (3)
          • 05. State management (1)
        • Tech 공유 세미나 - 2차 (13)
        • 기타 (13)
          • IT기타 (6)
          • story (5)
          • 문정역 여기어때 (1)
    A.I.(인공지능) & M.L.(머신러닝)/LLM

    Custom Model Training을 위한 Hugging Face Trainer 구조 파악하기

    Hugging Face의 Trainer는 매우매우 편리한 도구이지만 Tainer의 코드는 5천줄이 넘어갈 정도로 너무 거대하기 때문에다시 뜯어볼 염두가 나지 않아, 스스로 정리하려고 작성하였다.Hugging Face는 몇 가지 매우 간편한 툴을 제공한다 1. Automodel Class모델의 구조를 Transformers 라이브러리 속에 처박아 두었다.Automodel.from_pretrained(repo_id)로 호출 시model.safetensors와 config.json 파일을 읽어 적절한 모델에 파라미터를 적합시키는 작업을 수행한다.model = ModernBertModel.from_pretrained(save_dir) 이런 방식으로 적절한 모델이 있다면, 적절한 가중치를 가져와서 매핑한다.문제는..

    2025. 1. 22. 19:02 / Tech하렴
    • «
    • 1
    • »

    전체 방문자

    오늘
    어제
    전체

    테크팀 개인 블로그

    정지민
    jeong
    손성준
    son
    김해수
    sunwater
    이다운
    koala
    김백엔드
    backendkim
    채희철
    bburongE

    전체 카테고리

    • 분류 전체보기 (469)
      • Ai Word 사전 (0)
      • A.I.(인공지능) & M.L.(머신러닝) (94)
        • Development Environments (9)
        • A.I. Information (14)
        • Python (6)
        • transformers (13)
        • 머신러닝 (1)
        • 딥러닝 (4)
        • 신경망 이론 (5)
        • LLM (31)
        • Agent (4)
      • DevOps와 Infra (61)
        • DevOps 일반 (22)
        • Docker Container (3)
        • Linux (2)
        • AWS EKS (16)
        • AWS (4)
        • Kubernetes On Premise (13)
        • Security (1)
      • 검색엔진 (8)
        • Elasticsearch (5)
        • Opensearch (3)
      • 빅데이터 (31)
        • Mongo DB (4)
        • Apache Nifi (21)
        • Scala (4)
        • Apache Spark (2)
      • 네트워크 (1)
        • SSL (1)
      • Quality Assurance (3)
        • E2E Test (3)
      • Backend(Framework) (41)
        • Java (1)
        • Spring (1)
        • Spring Boot Batch (3)
        • NestJS (9)
        • NestJS 개요(공식문서 번역) (20)
        • Cache (3)
        • Rust (4)
        • Go (0)
      • Frontend (Next.js Tailwind .. (52)
        • Frameworks (6)
        • Next.js (30)
        • Typescript (1)
        • Tailwind CSS (9)
        • React.js (4)
      • Next.js 개발 가이드 (42)
        • 01. Set up (7)
        • 02. 코딩 가이드 및 필수 패키지 (9)
        • 03. 퍼블 가이드 (3)
        • 04. Data fetching (2)
        • 05. State management (3)
        • 06. Learn Next.js 공식 가이드 (18)
      • Nuxt 공식문서 번역 (96)
        • 개요 (15)
        • Directories (23)
        • Components (12)
        • Composables (21)
        • Utils (25)
      • Nuxt 개발 가이드 (13)
        • 01. Set up (9)
        • 02. 코딩 가이드 및 필수 패키지 (0)
        • 03. 퍼블 가이드 (0)
        • 04. Data fetching (3)
        • 05. State management (1)
      • Tech 공유 세미나 - 2차 (13)
      • 기타 (13)
        • IT기타 (6)
        • story (5)
        • 문정역 여기어때 (1)

    블로그 인기글

    태그

    • #GPU
    • #AWS EKS
    • #rag
    • #adapter_model.bin
    • #Spring Boot Batch
    • #ElasticSearch
    • #HuggingFace
    • #Lora
    • #deepseek
    • #아파치
    • #venv
    • #langgraph
    • #파이썬
    • #검색엔진
    • #Ai
    • #pyTorch
    • #나이파이
    • #apach
    • #딥러닝
    • #셀레니움
    • #python
    • #Langchain
    • #문제해결
    • #nifi
    • #finetuning
    • #React
    • #이벤트리스너
    • #LLM
    • #nextjs
    • #fine-tuning
    MORE
    Powered by Privatenote Copyright © 플래티어 연구소 테크 블로그 All rights reserved. TistoryWhaleSkin3.4

    티스토리툴바

    개인정보

    • 티스토리 홈
    • 포럼
    • 로그인

    단축키

    내 블로그

    내 블로그 - 관리자 홈 전환
    Q
    Q
    새 글 쓰기
    W
    W

    블로그 게시글

    글 수정 (권한 있는 경우)
    E
    E
    댓글 영역으로 이동
    C
    C

    모든 영역

    이 페이지의 URL 복사
    S
    S
    맨 위로 이동
    T
    T
    티스토리 홈 이동
    H
    H
    단축키 안내
    Shift + /
    ⇧ + /

    * 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.