<잇(IT)터뷰 전체 영상 보기>
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 전철민 이사 / 수모로직
◼ 진행자 : 고우성 PD / 토크아이티 (wsko@talkit.tv, https://talkit.tv/)
이번 잇(IT)터뷰는 수모로직(Sumo Logic)의 차세대 로그 분석 솔루션인을 중심으로, AI 시대의 폭증하는 로그 데이터를 어떻게 효율적으로 수집, 저장, 분석할 수 있는지를 설명합니다.
기존 시스템이 가진 인덱싱 성능 저하, 로그 유실, 비용 증가 등의 문제를 해결하기 위해 수모로직은 컬럼 기반 저장(Parquet), 검색 시 파싱(Schema-on-Read), 검색량 기반 과금 등 혁신적인 방식으로 대응합니다. 특히 실시간 로그 분석과 구조 유연성을 동시에 갖추고 있어, AI 기반 서비스 운영에 최적화된 로그 분석 환경을 제공합니다.
영상 목차
◼ 아래 각 목차를 클릭하시면 해당 내용을 영상으로 바로 보실 수 있습니다.
✔ 성능저하 없는 대용량 로그분석
✔ 가성비 좋은 로그분석 가격정책
✔ 파케이(Parquet) 저장방식
✔ 유연하면서 애자일한 검색: Schema on Read
✔ 스키마 온 리드의 배경 기술
<잇(IT)터뷰 – 핵심 내용 파악하기>
‘잇(IT)터뷰 – 핵심 내용 파악하기’는 영상의 핵심 내용을 정리한 글입니다.
|
1. AI 시대의 로그 분석 현황과 기존 시스템의 한계
– 디지털 경제 환경에서 고객 경험 개선이 기업 경쟁력의 핵심이 되면서, 애자일한 로그 분석의 새로운 요구사항이 증가하고 있다.
– AI확산으로 인해 분석할 로그가 기하급수적으로 증가하고 있어, 가성비와 효율성을 갖춘 처리 방식이 중요해졌다.
– 기존 시스템은 서버나 시스템 로그를 수집하여 파싱, 인덱싱, 저장하는 데이터 파이프라인 과정을 거친다.
– 서비스 규모가 증가하면 인덱싱전략에 따라 성능 저하가 발생할 수 있으며, 로그 수집량이 급변할 경우 병목 현상으로 인한 로그 유실이 발생할 수 있다.
– 이러한 문제를 해결하기 위해 서버를 최대치로 유지하거나 메시지 큐서비스를 추가하는 등 시스템이 복잡해지고 비용이 증가하는 한계가 있다.
2. 수모로직의 효율적인 로그 처리와 비용 최적화
– 멀티테넌트 방식과 효과적인 하드웨어 리소스 관리를 통해 급증하는 로그 데이터에 유연하게 대응한다.
– 8K 타입 데이터 포맷과 컬럼 기반저장 방식을 활용하여 16배의 압축률과 빠른 검색속도를 제공한다.
– 실제 AI서비스 사례에서 일일 로그 수집량이 16TB(2021년)에서 61TB(2025년)로 증가했음에도 성능 저하나 큰 비용 증가 없이 운영되고 있다.
– 기존 시스템과 달리 로그 수집은 무료이고 검색한 양에 대해서만 과금하는 비용 효율적인 모델을 제공한다.
– 디버깅 로그와 같이 자주 검색하지 않지만 중요한 데이터도 비용 부담 없이 충분히 저장할 수 있다.
3. 파케이 저장방식을 통한 효율적인 로그 분석
– 파케이 저장방식은 데이터를 칼럼 단위로 저장하여 필요한 필드만 선택적으로 검색할 수 있어 처리 속도가 매우 빠르다.
– 실시간 데이터 분석 수요가 증가하는 가운데, AI에이전트의 확산으로 실시간 로그 분석의 필요성이 폭증할 것이다.
– 효과적인 실시간 분석을 위해서는 로그 수집 시 구조화가 필요하며, 분석의 유연성과 빠른 처리 속도가 핵심이다.
– 파케이 방식은 마치 책에서 필요한 장만 골라 읽는 것처럼, 필요한 데이터만 선택적으로 처리할 수 있다.
4. 스키마 온 리드 방식의 유연한 로그 분석 메커니즘
– 로그 수집 시 키밸류 타입으로 파싱하며, 필요한 정보만 선택적으로 파싱이 가능하다.
– 스키마 온 리드 방식은 로그 수집 시점이 아닌 검색시점에 파싱을 수행하여 데이터 구조의 유연성을 제공한다.
– 여러 저장소의 데이터를 논리적으로 통합 검색할 수 있어 조인과 같은 효과를 얻을 수 있다.
– 블룸 필터와 같은 자체 기술을 활용하여 파싱 과정에서 발생할 수 있는 성능 저하를 최소화한다.
– 국내 전자회사 AI서비스와 코인 거래소에서도 검색시점 파싱 방식을 성공적으로 활용 중이다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
|
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.