플래티어 연구소 테크 블로그
    • 메뉴 닫기
    • 글작성
    • 방명록
    • 환경설정
      • 분류 전체보기 (483) N
        • Ai Word 사전 (0)
        • A.I.(인공지능) & M.L.(머신러닝) (8) N
          • Development Environments (9)
          • A.I. Information (14)
          • Python (6)
          • transformers (13)
          • 머신러닝 (1)
          • 딥러닝 (4)
          • 신경망 이론 (5)
          • LLM (33)
          • Agent (4)
        • DevOps와 Infra (67)
          • DevOps 일반 (24)
          • Docker Container (3)
          • Linux (2)
          • AWS EKS (16)
          • AWS (6)
          • Kubernetes On Premise (14)
          • Security (1)
          • IDC 서버 (1)
        • 검색엔진 (8)
          • Elasticsearch (5)
          • Opensearch (3)
        • 빅데이터 (31)
          • Mongo DB (4)
          • Apache Nifi (21)
          • Scala (4)
          • Apache Spark (2)
        • 네트워크 (2)
          • SSL (2)
        • Quality Assurance (3)
          • E2E Test (3)
        • Backend(Framework) (42)
          • Java (2)
          • Spring (1)
          • Spring Boot Batch (3)
          • NestJS (9)
          • NestJS 개요(공식문서 번역) (20)
          • Cache (3)
          • Rust (4)
          • Go (0)
        • Frontend (Next.js Tailwind .. (52)
          • Frameworks (6)
          • Next.js (30)
          • Typescript (1)
          • Tailwind CSS (9)
          • React.js (4)
        • Next.js 개발 가이드 (42)
          • 01. Set up (7)
          • 02. 코딩 가이드 및 필수 패키지 (9)
          • 03. 퍼블 가이드 (3)
          • 04. Data fetching (2)
          • 05. State management (3)
          • 06. Learn Next.js 공식 가이드 (18)
        • Nuxt 공식문서 번역 (96)
          • 개요 (15)
          • Directories (23)
          • Components (12)
          • Composables (21)
          • Utils (25)
        • Nuxt 개발 가이드 (13)
          • 01. Set up (9)
          • 02. 코딩 가이드 및 필수 패키지 (0)
          • 03. 퍼블 가이드 (0)
          • 04. Data fetching (3)
          • 05. State management (1)
        • Tech 공유 세미나 - 2차 (13)
        • 기타 (15)
          • IT기타 (7)
          • story (5)
          • 문정역 여기어때 (2)
    A.I.(인공지능) & M.L.(머신러닝)/transformers

    [Transformer 시리즈] Tokenization

    최근 인공지능 분야에서 자연어처리(NLP)는 활발하게 연구되고 있는 영역 중 하나입니다. 특히 Transformer 구조의 등장으로 인해 언어 모델의 성능이 폭발적으로 발전하였고, 그 중심에 있는 모델 중 하나가 BERT입니다.이번 시리즈에서는 자연어처리를 처음 접하는 분들을 위해 다음과 같은 과정을 간단히 소개합니다. 오늘 다룰 내용은 Tokenization 입니다.  A. 토큰화가 왜 필요할까요?1. 컴퓨터는 글자를 직접 이해하지 못한다.AI도 결국 컴퓨터 프로그램이라 글자 자체를 이해하지 못합니다. 컴퓨터는 숫자만 이해하죠. 토큰화는 텍스트를 AI가 처리할 수 있는 숫자로 바꾸는 첫 단계입니다.예를 들어, "안녕하세요"를 컴퓨터에게 그냥 주면 이해하지 못하지만, 토큰화를 통해 [8275]와 같은 숫..

    2025. 3. 8. 17:13 / Tech쏜
    DevOps와 Infra/DevOps 일반

    Grafana에서 Alert 생성 (2) - 설치 및 설정

    Installation우선은 이미 다운로드 받아 둔 Istio를 쓰기 때문에 Istio 설치 폴더에 있는 것을 사용할 수도 있다.cd istio-1.24.1/samples/addonskubectl apply -f . 위 폴더에 들어가면 kiali, jaeger, loki, prometheus, grafana 설치 파일들이 있다.설치를 해보았지만 버전은 최신이지만, 폴더명 samples처럼 말 그대로 가볍게 테스트해보는 용도의 설치 파일이었다.Default로 설정된 dashboard들도 별로 없다. 그래서 helm chart로 설치하는 것이 낫다.Add helm charthelm repo add prometheus-community https://prometheus-community.github.io/he..

    2025. 2. 28. 16:55 / Tech김백엔드
    DevOps와 Infra/DevOps 일반

    Grafana에서 Alert 생성 (1) - MS Teams

    Grafana에서 Alert rule을 설정해주기 전에 우선 팀즈에서 작업을 해주어야한다.Microsoft Teams1. 새 팀 만들기우선은 MS Teams에서 새 채널을 만들어야하고그 전에 새 팀을 만들어야한다. 새 팀을 누르고, 팀 이름을 입력하면2. 채널 만들기아래 그림처럼 "첫 번째 채널 이름 지정"에 이름을 적어주면팀즈에 채널이 생성된다. 3. Incoming Webhook 설치팀즈 좌측 앱 메뉴에서 Incoming Webhook을 설치한다.공식문서 참조: https://learn.microsoft.com/ko-kr/azure/data-factory/how-to-send-notifications-to-teams?tabs=data-factory 4. Webhook URL 생성하기알람이 뜰 채널을 ..

    2025. 2. 26. 16:23 / Tech김백엔드
    DevOps와 Infra/DevOps 일반

    GitLab 에서 merge request 하는 방법

    안녕하세요. Tech뿌롱이 입니다.오늘은 merge request  하는 방법 한번 알아보도록 하겠습니다. 먼저 본인의 feature branch 를 만듭니다. 저는 feature/sat 란 branch 를 이용해 볼게요. 1. 먼저 merge request  하는 페이지로 이동합니다. 2. New Merge request 버튼 클릭하고 아래 그림처럼 셋팅을 하고 Compare branches and continue 를 누릅니다.3. 필요한 정보를 기입하고 create merge request 클릭 4. 다음 페이지에서 중간에 이렇게 초록불이 들어와 있으면 Merge 가능합니다. 5. Merge 버튼 누르면 작업 끝!!! 행복한 개발 라이프 즐기세요!

    2025. 2. 21. 19:19 / Tech뿌롱이
    A.I.(인공지능) & M.L.(머신러닝)/LLM

    Embedding 모델과 Sentence-Transformer Training

    임베딩은 중요한 영역이다.LLM이든 sLLM이든, 결국 컴퓨터가 '자연어'를 처리하기 위해서는 일종의 변환 과정을 거쳐야 한다. 잠재 공간에 이러한 Text 혹은 Sentence를 매핑하는 과정을 우리는 임베딩이라 부른다.이런 과정을 통해, 컴퓨터는 문장을 숫자로 변환시키고, 이를 연산에 활용할 수 있게 된다.또한 적절한 잠재공간을 통해, 그 문장이 어떤 문장과 '가까운 공간'에 위치하게 되는지도 알 수 있다. 여러모로 유용한 방법이다보니 활용처가 많다.특히 LLM의 성능이 비약적으로 발전하며, RAG를 구축하는 비율이 높아지면 그 관심이 커지고 있다. 대표적인 영역은 다음과 같다. 1. Sentence Similarity2. Sentence Classification3. Sentence Rerankin..

    2025. 2. 21. 10:40 / Tech하렴
    DevOps와 Infra/DevOps 일반

    Atlassian Bamboo란?

    Atlassian Bamboo라는 제품이 어떤 것인지에 대해 간략히 알아보자.Bamboo공식문서: https://confluence.atlassian.com/bamboo/install-a-bamboo-data-center-trial-1155494322.htmlBamboo Server (deprecated 24년2월) → Bamboo Data Center로 대체되었다. (이름이 바뀌었다고 self-hosting 버전이 Jira나 Confluence처럼 Cloud 버전으로 바뀐 것은 아니고, 여전히 설치형이지만 고가용성(multi-node 지원)을 지원하고 보안상 업그레이드가 되었다고 보면 된다.)Bamboo는 Jenkins과 같은 도구라고 보면 된다.개인적인 생각 : IDE에 비유를 들자면, Jenkins..

    2025. 2. 18. 19:56 / Tech김백엔드
    • «
    • 1
    • ···
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • ···
    • 81
    • »

    전체 방문자

    오늘
    어제
    전체

    테크팀 개인 블로그

    정지민
    jeong
    손성준
    son
    김해수
    sunwater
    이다운
    koala
    김백엔드
    backendkim
    채희철
    bburongE

    전체 카테고리

    • 분류 전체보기 (483) N
      • Ai Word 사전 (0)
      • A.I.(인공지능) & M.L.(머신러닝) (8) N
        • Development Environments (9)
        • A.I. Information (14)
        • Python (6)
        • transformers (13)
        • 머신러닝 (1)
        • 딥러닝 (4)
        • 신경망 이론 (5)
        • LLM (33)
        • Agent (4)
      • DevOps와 Infra (67)
        • DevOps 일반 (24)
        • Docker Container (3)
        • Linux (2)
        • AWS EKS (16)
        • AWS (6)
        • Kubernetes On Premise (14)
        • Security (1)
        • IDC 서버 (1)
      • 검색엔진 (8)
        • Elasticsearch (5)
        • Opensearch (3)
      • 빅데이터 (31)
        • Mongo DB (4)
        • Apache Nifi (21)
        • Scala (4)
        • Apache Spark (2)
      • 네트워크 (2)
        • SSL (2)
      • Quality Assurance (3)
        • E2E Test (3)
      • Backend(Framework) (42)
        • Java (2)
        • Spring (1)
        • Spring Boot Batch (3)
        • NestJS (9)
        • NestJS 개요(공식문서 번역) (20)
        • Cache (3)
        • Rust (4)
        • Go (0)
      • Frontend (Next.js Tailwind .. (52)
        • Frameworks (6)
        • Next.js (30)
        • Typescript (1)
        • Tailwind CSS (9)
        • React.js (4)
      • Next.js 개발 가이드 (42)
        • 01. Set up (7)
        • 02. 코딩 가이드 및 필수 패키지 (9)
        • 03. 퍼블 가이드 (3)
        • 04. Data fetching (2)
        • 05. State management (3)
        • 06. Learn Next.js 공식 가이드 (18)
      • Nuxt 공식문서 번역 (96)
        • 개요 (15)
        • Directories (23)
        • Components (12)
        • Composables (21)
        • Utils (25)
      • Nuxt 개발 가이드 (13)
        • 01. Set up (9)
        • 02. 코딩 가이드 및 필수 패키지 (0)
        • 03. 퍼블 가이드 (0)
        • 04. Data fetching (3)
        • 05. State management (1)
      • Tech 공유 세미나 - 2차 (13)
      • 기타 (15)
        • IT기타 (7)
        • story (5)
        • 문정역 여기어때 (2)

    블로그 인기글

    태그

    • #나이파이
    • #문제해결
    • #GPU
    • #AWS EKS
    • #검색엔진
    • #langgraph
    • #ElasticSearch
    • #React
    • #python
    • #venv
    • #pyTorch
    • #파이썬
    • #플래티어
    • #셀레니움
    • #이벤트리스너
    • #adapter_model.bin
    • #Lora
    • #Langchain
    • #HuggingFace
    • #Ai
    • #아파치
    • #딥러닝
    • #fine-tuning
    • #apach
    • #nextjs
    • #Spring Boot Batch
    • #LLM
    • #deepseek
    • #nifi
    • #finetuning
    MORE
    Powered by Privatenote Copyright © 플래티어 연구소 테크 블로그 All rights reserved. TistoryWhaleSkin3.4

    티스토리툴바

    개인정보

    • 티스토리 홈
    • 포럼
    • 로그인

    단축키

    내 블로그

    내 블로그 - 관리자 홈 전환
    Q
    Q
    새 글 쓰기
    W
    W

    블로그 게시글

    글 수정 (권한 있는 경우)
    E
    E
    댓글 영역으로 이동
    C
    C

    모든 영역

    이 페이지의 URL 복사
    S
    S
    맨 위로 이동
    T
    T
    티스토리 홈 이동
    H
    H
    단축키 안내
    Shift + /
    ⇧ + /

    * 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.