✔ 잇(IT)터뷰 한 줄 소개
대규모 언어 모델(LLM)의 발전이 GPU 시장에 미치는 영향과 관련하여 GPU 공급망 문제, CSP의 자체 GPU 개발, 그리고 인퍼런스용 GPU 시장의 변화를 전문가의 시각으로 분석합니다. |
✔ 잇(IT)터뷰 전체 영상 보기
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 진행자 : 고우성 PD/토크아이티 (wsko@talkit.tv, https://talkit.tv/)
◼ 게스트 : 신정규 대표 / 래블업
1) 잇(IT)터뷰 내용
이번 잇(IT)터뷰는 대규모 언어 모델(LLM)이 GPU 시장에 미치는 영향과 관련된 변화를 다루고 있습니다. 래블업의 신정규 대표가 게스트로 참여하여, LLM의 발전이 GPU 공급망, 클라우드 서비스 제공업체(CSP)의 자체 GPU 개발, 그리고 인퍼런스용 GPU 시장에 미치는 영향을 분석합니다.
① LLM에 의한 GPU 공급 이슈
LLM의 발전으로 인해 GPU에 대한 수요가 급증하고 있으며, 이로 인해 공급망에 병목 현상이 발생하고 있습니다.
② 엔비디아의 경쟁력
엔비디아는 GPU 시장에서의 독보적인 위치를 유지하고 있으며, 이는 그들의 소프트웨어 및 하드웨어 통합 전략에 기인합니다.
③ CSP의 자체 GPU 개발
클라우드 서비스 제공업체들이 자체적으로 GPU를 개발하는 추세를 보이고 있습니다.
④ 인퍼런스용 AI 전용 칩(NPU)
인퍼런스 시장을 위한 AI 전용 칩(NPU)의 개발이 활발하게 이루어지고 있으며, 이는 AI 응용 분야의 확장을 촉진하고 있습니다.
2) 잇(IT)터뷰 영상 목차
– LLM이 촉발한 GPU 공급 이슈 ➜ 아래 ✔ 잇(IT)터뷰 내용 맛보기로 내용을 확인해 보세요!
– 엔비디아 경쟁력의 비결
– CSP들의 자체 GPU 개발
– 인퍼런스 시장을 위한 AI전용 칩(NPU)
✔ 잇(IT)터뷰 내용 맛보기
‘잇(IT)터뷰 내용 맛보기’는 영상 내용 일부를 스크립트로 표현합니다.
|
최근 AI 개발과 서비스를 수행하는데 가장 큰 병목이 발생하는 곳이 GPU의 공급이라고들 합니다.
왜 이런 현상이 벌어지고 있고, 향후 GPU 동향은 어떻게 될지, 국내뿐만 아니라 해외에서도 AI 엔지니어링 플랫폼 전문기업으로 유명한 래블업의 신정규 대표와 함께 살펴보겠습니다.
✔ LLM이 촉발한 GPU 공급 이슈
– 엔비디아 경쟁력의 비결
– CSP들의 자체 GPU개발
– 인퍼런스 시장을 위한 AI전용 칩(NPU)
● 신정규 : 2023년 가을 변화라고 하면, 일단 GPU가 너무 구하기가 힘들어졌습니다. 여러 가지 이유가 있는데 엔비디아의 주가가 얘기해 주고 있죠.
한국에서 GPU를 많이 구매하는 회사들도 1,000억 단위로 구매를 한 곳은 없어요. 누적으로 1,000억은 있지만 한국 단독으로는 없습니다. 그런데 이제 테슬라가 갑자기 작년에 A100 10,000대를 주문했습니다.
● 고우성 : A100이 1,000만원 정도 하나요?
● 신정규 : 1,500만원인데 지금 못 삽니다. 지금은 주문하면 52주 결려 나오구요. H100은 26주 정도 걸려 나와요. 딜리버리 타이밍, 즉 배달하는 데 걸리는 시간이 반년, 1년이란 얘기입니다.
테슬라가 A100 10,000대를 갑자기 주문했는데, 이것을 엑스AI라는 회사로 보냈죠.
AI 하겠다고 일론 머스크가 창업한 회사가 있습니다. ‘AI를 이대로 오픈AI 손에 맡길 수 없다. 내가 창업한 회사지만 잘못된 길로 가는 거 같다’라며 창업했습니다.
● 고우성 : 일론 머스크가 AI를 좀 더 공개해서 민주성, 즉 대중화하겠다는 뜻입니까?
● 신정규 : 네.
● 고우성 : 우리한테 나쁜 건 아니네요?
● 신정규 : 결과가 나와봐야 알 수 있지 않을까요?
엑스AI로 IDC(Internet Data Center, 인터넷 데이터 센터)도 지금 3개인가 빌려서 진행하고 있는 것으로 알고 있고요.
또 테슬라 자체적으로도 GPU 100,000개 정도를 묶어 자율주행 데이터 센터를 만들어요. ‘도조’라는 AI 전용 칩도 만들고 있죠. 2021년에 발표했고 2023년 6월에 첫 테이크 아웃을 했습니다. 시제품 찍었다는 얘기에요.
그다음 오픈 AI랑 마이크로소프트가 2023년 1월에 GPU 10,000대 정도 갑자기 주문하는 바람에, 저희를 포함해서 나머지 주문이 다 밀리는 사건이 발생했습니다.
그래서 ‘이거 계약 조건하고 다른데 밀리면 어떻게 해요?’ 문의하니까 ‘위약금 드릴 테니 취소해 주세요.’라고 답하는 것입니다. 하하.
● 고우성 : 하하.
● 신정규 : ‘아닙니다. 물건만 주세요.’라고 했죠. 대부분 그런 식입니다.
그다음 트위터가 H100 10,000대 주문한 게 있었고 구글 같은 경우도 이제 A100, H100 두 가지를 주문했는데 H100은 5,000만 원 정도 합니다. 그래픽카드 하나에 26,000대 정도로 해서 A3를 만들었다. 이렇게 발표를 했고요.
● 고우성 : 와, 기업에서 10대, 20대 주문한 것은 정말 안 보이겠네요. 이런 판국에서는요.
● 신정규 : 아까 말씀드린 오픈소스 LLM인 라마2 같은 경우가 아마 A100을 4,096대를 써서 두 달 동안 돌려서 만든 거예요.
그리고 여기서부터 단위가 좀 달라지는데, 바이트댄스라고 틱톡 만드는 회사가 갑자기 100,000대를 주문을 했습니다. 1조원입니다.
● 고우성 : 저기는 중국회사이기 때문에 수출 못 하는 거 아닙니까? 미국 바이든 대통령이 못하게 하지 않았나요?
● 신정규 : 저 계약을 하고 알리바바가 또 4조원어치 주문을 했어요. 바이트댄스 주문 2주 후에 미국이 수출 금지령을 내렸는데 일단 계약 받은 기업들은 ‘계약이니까 그것은 보내줘야 한다.’고 해서 그렇게 했습니다.
그리고서 저기 보시면 바이트댄스와 알리바바 경우, 이제 바이트댄스 LLM이 나왔습니다. 이후, 화웨이가 저 때 못 샀거든요. 그래서 화웨이가 사우디에다가 갑자기 클라우드 리전을 세운다고 발표했습니다. 그러자 미국이 사우디로도 GPU 수출을 막았습니다.
● 고우성 : 사우디로도요?
● 신정규 : 네. 그래서 안 그래도 경색되는 관계에 영향을 미쳤고 사우디로 돌려 처리하려고 했다가 우리나라가 직격을 맞은 것은 ‘슈퍼컴퓨터 6호기’ 사업입니다.
보통 예산은 한 해 전에 다 책정이 되니까요. 작년에 예산이 정해지고 이제 입찰을 들어갔는데 문제는 그 금액으로 엔비디아가 GPU를 안 준다고 모든 회사에 통보했습니다.
그래서 아무도 입찰 지원을 못했습니다. 그래서 조건을 바꿔서 AMD도 괜찮고 바꿔 준 걸로 알고 있는데요. AMD도 마찬가지로 그 가격에 못 준다고 선언했습니다.
GPU 가격이 이미 다 상승했기 때문입니다.
◼ 이어진 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
– LLM이 촉발한 GPU 공급 이슈
✔ 엔비디아 경쟁력의 비결
✔ CSP들의 자체 GPU개발
✔ 인퍼런스 시장을 위한 AI전용 칩(NPU)
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.