✔ 잇(IT)터뷰 전체 영상 보기
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 정구형 팀장 / NVIDIA
◼ 진행자 : 고우성 PD / 토크아이티 (wsko@talkit.tv, https://talkit.tv/)
영상 목차
◼ 아래 각 목차를 클릭하시면 해당 내용을 영상으로 바로 보실 수 있습니다.
✔ GPU 카드가 아닌 블랙웰 플랫폼
✔ 블랙웰 플랫폼을 만든 이유
✔ NVLinK로 GPU간 병목 개선
✔ 인퍼런스 성능개선을 위한 FP4
✔ 하퍼 아키텍처 vs 블랙웰 아키텍처
✔ 잇(IT)터뷰 내용 맛보기
‘잇(IT)터뷰 내용 맛보기’는 영상 내용 일부를 스크립트로 표현합니다.
|
● 정구형 : 이제 어떤 한 모델 안에 여러 가지의 기능을 할 수 있는 브레인이 이 모델 하나 안에 여러 개가 있습니다. 이 모델이 여러 개 있다는 뜻이 아니라요. 이 전체 모델 아키텍처 안에 브레인에 해당되는 노드가 또는 그 영역이 여러 개가 있습니다.
● 고우성 : 결국 저게 확장되면 결국 AGI가 나오는 거네요.
● 정구형 : 네, 맞습니다. AGI의 초기 모습이 저는 MoE(Mixture of Experts)라고 생각이 됩니다. 그래서 서로 다른 능력을 갖추고 있는 브레인들이 있고 인풋이 들어왔을 때 어떤 두뇌를 사용해야 할지를 그 중간에서 결정합니다. 또 어떤 확률적으로 분기가 돼서 이쪽 브레인을 썼다가 저쪽 브레인을 썼다가 하므로 사실 그 모델의 크기가 커질 수밖에 없습니다.
블랙웰 플랫폼은 그동안 AI 워크도를 수용하는데 가장 큰 병목이었던 GPU 간 네트워킹을 대폭 개선했고 생성형 AI 시대에 기하급수적으로 증가할 인퍼런스 또는 생성을 가속할 FP4를 최적화시키고 있습니다.
✔ 잇(IT)터뷰 내용
최근 엔비디아의 GTC 2024 컨퍼런스에서 발표된 신기술과 제품 전략에 대해 다루고 있습니다. 특히, 엔비디아 CEO 젠슨 황이 소개한 새로운 GPU 모델과 블랙 아키텍처의 전환, 그리고 AI 데이터 센터의 미래 비전을 중심으로 내용이 전개됩니다.
① 새로운 GPU 아키텍처
엔비디아는 기존의 하프 아키텍처에서 블랙 아키텍처로의 전환을 발표했습니다. 이는 기존 데이터 센터를 AI 팩토리로 전환하는 전략의 일환으로, GPU 카드가 아닌 GPU 플랫폼으로의 진화를 의미합니다. 새로운 192GB HBM 3E 메모리를 탑재한 GPU는 더 높은 연산 능력과 데이터 처리 속도를 제공합니다.
② GPU 플랫폼과 기업 전략
젠슨 황 CEO는 기업들이 AI와 머신러닝을 활용하여 사용자 맞춤형 서비스를 제공할 수 있도록 지원하는 새로운 GPU 플랫폼을 소개했습니다. 이는 블랙 플랫폼이라고 명명되었으며, 이를 통해 다양한 산업에서 AI 기술을 보다 쉽게 통합하고 활용할 수 있게 될 것입니다.
③ 데이터 보안과 프라이버시
새로운 아키텍처와 플랫폼은 데이터 보안과 프라이버시를 강화합니다. 엔비디아는 GDPR 및 기타 데이터 보호 규제를 준수하며, 기업들이 안심하고 기술을 사용할 수 있도록 지원합니다.
④ 기술적 협업 및 확장성
엔비디아는 다양한 기술 제공업체와의 협업을 통해 그들의 데이터베이스 관리 시스템을 다양한 애플리케이션과 플랫폼에 통합하여 제공합니다. 이는 사용자 경험을 개선하고 운영 효율성을 증대하는 데 기여합니다.
이번 잇(IT)터뷰는 기업 IT 전략가나 데이터 관리자가 현대적 데이터 솔루션을 이해하고, 이를 자사의 IT 인프라와 전략에 통합하는 데 필요한 전문 지식과 통찰력을 제공하는 데 초점을 맞추고 있습니다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
|
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.