<잇(IT)터뷰 전체 영상 보기>
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 윤성열 대표 / 드림플로우
◼ 진행자 : 고우성 PD / 토크아이티 (wsko@talkit.tv, https://talkit.tv/)
영상 목차
◼ 아래 각 목차를 클릭하시면 해당 내용을 영상으로 바로 보실 수 있습니다.
✔ 폐쇄망 환경의 AI사용 이슈
✔ GPU서버, LLM, LLM서빙
✔ 폐쇄형 바이브코딩을 위한 통합환경
이번 잇(IT)터뷰는 폐쇄망 환경에서 바이브 코딩을 위한 준비 사항을 다룹니다. 윤성열 대표는 폐쇄망 환경에서 코딩을 하기 위해 필요한 하드웨어, 모델, 최적화, 그리고 투자 대비 효용성을 고려해야 한다고 강조합니다.
특히, GPU 중심의 하드웨어 구성과 고품질의 오픈 소스 모델 활용을 제안하며, 서빙 프레임워크를 통해 AI를 활용한 생산성 향상이 가능하다고 설명합니다. 폐쇄망 환경에서 AI 코딩을 위한 통합 환경 구축의 어려움과 숨은 비용을 언급하며, 통합 환경 제공의 필요성을 강조합니다.
이번 잇(IT)터뷰는 폐쇄망 환경에서 AI 코딩을 도입하려는 기업에게 실질적인 도움이 될 수 있는 정보를 제공합니다.
<잇(IT)터뷰 – 핵심 내용 파악하기>
‘잇(IT)터뷰 – 핵심 내용 파악하기’는 영상의 핵심 내용을 정리한 글입니다.
|
1. 폐쇄망 환경에서 바이브 코딩 준비 방안
– 폐쇄망 환경에서는 하드웨어와 모델이 필요하며, 특히 챗GPT 같은 클라우드 서비스모델을 사용할 수 없다.
– 비용 대비 효용성을 고려할 때, 적절한 하드웨어와 모델 도입이 필수적이다.
2. 하드웨어 및 서버 구축 전략
– GPU 중심의 하드웨어 구성이 필요하며, 연구용 서버를 직접 만들거나 제공하는 비즈니스 모델을 고려하고 있다.
*최신 오픈소스 언어모델의 품질과 활용 가능성
– 최근 출시된 알리바바 QN3, 구글 Gemma3 등의 모델은 높은 품질을 보여주며 성능도 좋아졌다고 평가한다.
– 한국어, 코딩, 수학 능력도 뛰어나서 실용적 활용이 가능하다.
– 오픈소스 모델이 상용 모델과 빠르게 경쟁하면서, 다운로드와 활용만으로도 실질적 가치를 얻을 수 있다.
*모델 파라미터와 성능
– 파라미터는 몇 B부터 30B까지 다양하며, 30B 모델은 맥북에서도 돌아가고 성능도 코딩 용도에 적합하다고 한다.
– 200B 모델은 비용 부담이 크기 때문에 사용하지 않는 것이 좋다고 조언한다.
*모델 특화와 활용 영역
– Gemma는 코딩이 아닌 일반 대화 또는 비전 인식에 특화되어 있어 별도 성능이 뛰어나다고 언급한다.
– 상용 모델들을 빠르게 따라잡는 오픈소스 모델의 발전 속도를 강조하며, 다운로드 및 활용만으로도 큰 가치를 창출할 수 있다고 말한다.
3. 성능 확보와 테스트의 중요성
– 폐쇄망 환경에서 AI 성능 문제를 해결하려면, 상용 모델인 Ollama나 LM Studio를 활용하는 것이 처음에는 시도되었으며, 이에 대한 테스트가 필요하다.
– VLLM 또는 SGLang 같은 전문 서빙 프로그램들이 존재하며, 이를 활용할 필요가 있다.
– 이러한 프로그램은 최소 한두 달 이상의 지속적인 테스트가 필요하며, 시간이 많이 소요된다.
*플랫폼 및 도구 통합 필요성
– 기본적인 성능이 확보된 후, ID 통합, 툴 통합, 플랫폼 통합 등의 작업이 추가적으로 필요하다.
– 최신 오픈소스 LLM 엔진을 사용하며, 별도로 개발하거나 학습시킬 필요 없이 이미 존재하는 것을 활용한다.
– 효과적인 서빙 프레임워크를 세팅하여 폐쇄망 환경에서도 AI를 충분히 활용할 수 있다.
*폐쇄망 환경에서 AI 활용 가능성
– 이러한 준비와 도구 세팅을 통해 폐쇄망 환경에서도 높은 생산성 향상이 가능하다.
4. 폐쇄망 환경에서 바이브 코딩의 필요성과 어려움
– 폐쇄형 환경에서 바이브 코딩을 구축하려면 많은 숨은 비용이 발생하며, 하드웨어 구매, 모델 선택, 설치 과정이 복잡하다고 한다.
– 기존 인프라와의 연동이 필요하며, 이를 위해 직접 인프라를 구축하는 과정에서 비용이 많이 든다고 설명한다.
– 단순 모델만으로는 제한적이기 때문에, 개발 도구와 통합 환경이 필요성을 강조한다.
*폐쇄망 환경에서의 바이브 코딩 지원 방안
– 폐쇄형 환경에서는 클라우드 기반이 아닌, 폐쇄형 환경에 맞는 통합 환경 제공이 중요하다고 언급한다.
– 시장에서는 통상 클라우드 활용이 우세하며, 폐쇄망 환경에서는 별도 구성이 필요하다고 강조한다.
– 내부에서도 바이브 코딩을 할 수 있도록 AI 기반 설계·모델링 툴, 웹 기반 개발 환경(예: VS Code)을 제공하여 폐쇄형 환경에서도 즉시 활용 가능하게 준비 중이다.
– 이러한 도구들은 AI와 연계된 코드 생성 및 제너레이션이 가능하며, 폐쇄망에 적합한 환경 구축이 목표라고 한다.
5. 클라이언트 연결을 통한 AI 폐쇄 엔진 활용
– VS 코드의 ‘클라이언트’ 익스텐션을 이용해 구축한 폐쇄망 AI 엔진에 연결할 수 있다.
– 사용자가 입력하는 요청에 대해, AI가 적절한 스펙을 빠르게 생성하는 방식으로 작동한다.
– AI의 사고 모델 덕분에 개발자들이 고민하는 동안 빠르고 효과적인 코딩이 가능하다.
*바이브 코딩의 장점과 활용 가능성
– 바이브 코딩은 빠른 속도와 충분한 지식을 갖춘 AI 덕분에 개발 지원이 뛰어나다는 인식이 형성된다.
– 초반에는 완벽하지 않지만, 개발 과정에서 충분히 실용적이고 도움 되는 수준에 도달한다.
– 개발자들은 바이브 코딩을 통해 시간과 노력을 절감할 수 있다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
|
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.