<잇(IT)터뷰 전체 영상 보기>
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 윤성열 대표 / 드림플로우
◼ 진행자 : 고우성 PD / 토크아이티 (wsko@talkit.tv, https://talkit.tv/)
이번 잇(IT)터뷰는 프라이빗 AI 구축을 위한 핵심 기술로서, 로컬 LLM을 실제 업무 환경에서 서빙하기 위한 오픈소스 프레임워크와 양자화 전략을 상세히 소개합니다.
GGF, AWQ 등 다양한 양자화 방식과 함께, CPU 기반 서빙부터 GPU 최적화 클라우드 임대 환경까지 현실적인 배포 방식을 설명하며, 기업의 효율적인 프라이빗 AI 도입을 돕는 실전 가이드를 제공합니다. 특히 ‘올라’, ‘VLLM’, ‘SGLang’ 등의 서빙 프레임워크 비교와 활용 팁이 매우 실용적으로 정리되어 있습니다.
영상 목차
◼ 아래 각 목차를 클릭하시면 해당 내용을 영상으로 바로 보실 수 있습니다.
✔ LLM서빙 프레임워크
✔ 양자화 지원 여부
✔ 프라이빗 LLM 구축
<잇(IT)터뷰 – 핵심 내용 파악하기>
‘잇(IT)터뷰 – 핵심 내용 파악하기’는 영상의 핵심 내용을 정리한 글입니다.
|
1. 프라이빗 AI 구축을 위한 LLM 서빙 전략
– 일반 기업이 프라이빗 AI를 구축하려면 경량화된 LLM 모델을 선택한 후, 배포하고 운영하는 과정을 거치는데, 이를 LLM 서빙이라고 한다.
– 드림플로우 윤성열 대표는 llm 서빙을 지원하는 여러 오픈 소스 프레임워크들을 소개하며, 이를 통해 모델을 효과적으로 운영할 수 있음을 설명한다.
– LLM 서빙 프레임워크 중 하나인 ollama는 CPU와 애플 실리콘에서 사용할 수 있고, 다양한 LLM을 선택하여 사용할 수 있는 유연성을 제공한다.
– 서비스 게이트웨이 형태로 프레임워크를 설치하여 모델을 다운로드하고, 제공할 수 있는 구조로 설계되어 있다.
– 이러한 프레임워크를 사용하지 않으면, 소스 코드를 수작업으로 작성해야 하는 복잡한 과정을 겪게 된다.
2. LLM 서빙 프레임워크의 선택
– ollama는 개인 용도에 적합하지만, 회사 내 설치 시 보틀넥이 될 수 있다.
– 배치 처리나 페이지 처리가 가능한 프레임워크가 인기를 끌고 있으며, 그 중 vllm이 선두 주자이다.
– SGlang은 vLLM보다 더 나은 성능을 제공하며, 모두 오픈 소스로 제공된다.
– 이러한 프레임워크들은 간단하게 다운로드하여 설치하고 사용할 수 있다.
3. 프라이빗 AI 운영을 위한 LLM 양자화 기법 GGF와 AWQ의 소개
– 현실적인 예산에서 프라이빗 AI를 운영하기 위해서는 양자화를 통해 프라이빗 LLM 매개 변수의 비트수를 줄이는 것이 필요하며, 이를 지원하는 LLM 서빙 프레임워크가 중요하다.
– GGF는 범용적 양자화 기법으로, GPU와 CPU 모두에서 추론할 수 있는 특성을 지니며, 특히 CPU 환경에서는 느리지만 양자화를 통해 활용 가능하다.
– AWQ는 GPU 최적화된 양자화 기법으로, 배치 처리나 페이지 처리에 효과적이며, 서버를 구축해 여러 사용자에게 AI 서비스를 제공할 때 사용하기 적합하다.
– Ollama는 기본적으로 CPU 기반의 운영을 상정하고 있으며, GGF를 주요 양자화 기법으로 지원하는 프레임워크이다.
– 다른 양자화 기법도 GGF를 중심으로 지원되지만, AWQ를 활용하여 더 고성능의 AI 서빙을 제공 가능하다.
4. 비용 효율적인 AI 서버 구축 방법
– 프라이빗 AI 서버 구축 방법은 온프레미스 방식과 클라우드 임대 방식 두 가지로 나뉜다.
– 온프레미스 방식은 개발자 PC 또는 회사 내 서버 장비에 설치하여 사용하는 방법이다.
– 클라우드 임대 방식은 주로 GPU가 설치된 서버를 임대하는 방법이며, RunPod와 같은 서비스가 AWS, GCP보다 저렴하다.
– 런 파드는 gpu 중심의 임대 서비스로, 비용이 상대적으로 저렴하여 테스트 목적으로 활용하기에 적합하다.
– 클라우드 임대를 통해 하드웨어 투자 회수가 어려운 점과 빠르게 변화하는 기술에 대한 리스크를 줄일 수 있다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
|
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.