Gaudi2에서는 vLLM을 통해서 서빙하는 것이 가능합니다. 그렇기에 이를 활용하여 서빙하는 방법에 대해서 소개해보고자 합니다.  https://github.com/HabanaAI/vllm-fork GitHub - HabanaAI/vllm-fork: A high-throughput and memory-efficient inference and serving engine for LLMsA high-throughput and memory-efficient inference and serving engine for LLMs - HabanaAI/vllm-forkgithub.com  하바나 공식 문서 : https://docs.habana.ai/en/latest/PyTorch/Inference_on_PyTorc..

온프레미스와 EC2 등 다양한 환경에서 Docker 컨테이너를 운영하는 시스템이 점점 많아짐에 따라 관리해야 하는 컨테이너의 수가 기하급수적으로 증가하고 있으며, 이를 효율적으로 모니터링하고 관리할 수 있는 도구가 필요해졌습니다. 이를 해소 하기 위해서 관리도구를 찾아 보았습니다. 그 중에서 Docker 관리 도구인 Rancher, Dockge, Portainer를 알아보면서 적용하는 과정을 공유합니다. 1. Rancher – Kubernetes 중심 관리 도구장점 : 쉽고 빠른 설치 , Kubernetes 클러스터 지원 그리고 By SUSE단점 : 생각보다 무거움 그리고 단순한 도커 관리용으로 부담스러움 Kubernetes를 주로 운영한다면 낫배드2. Dockge – 가벼운 컨테이너 관리 도구 장점 :..

검색 품질을 높이기 위해서는 텍스트의 정확한 분석이 필수입니다. 특히 한국어는 띄어쓰기만으로 의미를 구분하기 어렵기 때문에 형태소 분석이 중요합니다. 이번 글에서는 OpenSearch의 내장 분석기인 nori_analyzer를 사용하여 형태소 분석과 중복 단어 제거를 효율적으로 처리하는 방법을 소개합니다.형태소 분석기: Nori AnalyzerNori Analyzer는 Elasticsearch와 OpenSearch에서 기본 제공하는 한국어 형태소 분석기로, 텍스트를 의미 단위(형태소)로 쪼개줍니다.1. 중복 단어 제거 필요성형태소 분석 과정에서 특정 위치에서 중복된 토큰이 생성될 수 있습니다. 예를 들어, 동의어 필터와 함께 사용하면 동일한 의미를 갖는 단어들이 같은 위치에서 중복 생성될 수 있습니다. ..

문제개발기 서버로 사용하는 on-premise 서버에서 application을 배포하고Nginx의 .conf 파일을 통해서 URL을 정해주고 있는데기존 Next.js application을 잘 뜨는데신규 Next.js application은 browser에서 502 에러가 났다.이것저것 해본후 원인은 header size의 문제였다.Header size현재는 Nginx의 proxy버퍼 사이즈를 늘리고 Nginx 문제를 해결한 후지만새로 배포한 사이트의 헤더 사이즈를 한 번 보자.에러가 났던 사이트curl -I -s -w '%{size_header}\n' https://new.example.com 결과HTTP/1.1 200 OKDate: Wed, 26 Mar 2025 08:49:06 GMTContent-T..

Create appmkdir sveltekit-hello-worldnpx sv create .으로 hello-world를 생성한다. 옵션에는 pnpm으로 설치하게 선택하였다. .dockerignore 생성→ 다 때려 넣어준다Dockerfile.git.gitignore.gitattributesREADME.md.npmrc.prettierrc.eslintrc.cjs.graphqlrc.editorconfig.svelte-kit.vscodenode_modulesnpm-debug.logbuildpackage.env* !.env.*.set마지막 줄은 있다가 사용할 것이라 예외 처리 dependency 설치pnpm add @sveltejs/adapter-node --save-dev svelete.config.js fi..

웹 애플리케이션을 개발할 때 클라이언트에게 일관된 형식의 응답을 제공하는 것은 매우 중요합니다. 오늘은 러스트(Rust)에서 이를 구현하는 ResponseDto 패턴에 대해 알아보겠습니다. ResponseDto란 무엇인가?ResponseDto는 제네릭 타입 파라미터 T를 사용하는 응답 데이터 전송 객체(Data Transfer Object)입니다.이 패턴은 API 응답 형식을 표준화하여 코드의 일관성을 높이고 클라이언트 측에서의 응답 처리를 단순화합니다.  먼저 전체 코드를 드리겠습니다. 찬찬히 읽어보고 아래에 세부적인 설명을 보이면 이해가 잘 되실겁니다.impl ResponseDto { pub fn builder() -> ResponseDtoBuilder { ResponseDtoBui..