<잇(IT)터뷰 전체 영상 보기>
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 서주원 매니저, 이지아 매니저 / 라온피플 (sales@laonpeople.com)
◼ 진행자 : 고우성 PD / 토크아이티 (talkit@talkit.tv, https://talkit.tv/)
<잇(IT)터뷰 – 핵심 내용 파악하기>
‘잇(IT)터뷰 – 핵심 내용 파악하기’는 영상의 핵심 내용을 정리한 글입니다.
|
기업이 AI를 활용하는 방식이 빠르게 달라지고 있다. 기존에는 AI가 정확한 답변을 생성할 수 있도록 문서를 수집하고, 청킹(Chunking)과 임베딩(Embedding)을 거쳐 벡터 DB에 저장하는 RAG 방식이 중요했다.
하지만 최근에는 AI 에이전트가 질문의 의도를 파악하고 필요한 데이터베이스나 도구를 직접 선택해 정보를 검색하는 방식으로 발전하고 있다.
이러한 변화 속에서 기업은 기존 RAG를 어떻게 활용해야 할까? 그리고 AI 에이전트를 안전하고 효율적으로 운영하려면 무엇을 준비해야 할까?
1. RAG 중심의 데이터 검색에서 AI 에이전트 중심의 검색으로 변화하고 있다
기존 RAG 방식에서는 AI가 필요한 정보를 쉽게 찾을 수 있도록 데이터를 미리 준비하는 과정이 중요했다. 문서를 수집하고 일정한 크기로 나눈 뒤 임베딩해 벡터 DB에 저장하는 방식이다.
반면 최근 AI 에이전트는 데이https://techinterviewblog.com/wp-admin/edit.php터베이스나 저장소에 직접 연결해 필요한 정보를 스스로 검색할 수 있다. 사용자가 질문하면 에이전트가 정해진 규칙과 접근 권한 안에서 데이터를 탐색하고, 필요한 정보를 가져와 답변을 생성하는 것이다.
검색한 정보가 부족하다고 판단하면 다른 데이터나 시스템을 추가로 확인할 수도 있다. 이러한 변화가 가능해진 배경에는 LLM의 컨텍스트 윈도우 확대와 도구 호출 능력의 발전이 있다. AI가 더 많은 문서와 긴 작업 맥락을 처리하고, 상황에 맞는 도구를 스스로 선택할 수 있게 되면서 사람이 검색 과정을 일일이 설계해야 하는 부담이 줄어들고 있다.
결국 데이터를 미리 가공해 AI에 제공하는 방식에서 AI 에이전트가 필요한 데이터를 직접 찾아 활용하는 방식으로 선택지가 확대되고 있다.
2. AI 에이전트가 발전해도 기존 RAG가 불필요해지는 것은 아니다
AI 에이전트가 데이터베이스에 직접 접근할 수 있다고 해서 모든 기업이 기존 RAG 방식을 버려야 하는 것은 아니다. 데이터의 특성과 보안 요구사항에 따라 적절한 검색 방식이 달라질 수 있기 때문이다.
예를 들어 보안상 특정 데이터베이스나 테이블에 대한 직접 접근을 제한해야 하는 경우가 있다.
또한 비정형 문서가 많거나 검색해야 할 데이터의 양과 종류가 방대한 환경에서는 기존 임베딩 기반 검색이 더 적합할 수도 있다. 따라서 기업은 처음부터 모든 데이터를 벡터 DB에 저장하거나, 반대로 모든 검색을 에이전트의 직접 접근 방식으로 바꿀 필요가 없다.
먼저 에이전트가 기존 데이터에 접근해 필요한 작업을 수행할 수 있는지 검토하고, 검색 성능이나 보안 요구사항에 따라 임베딩 기반 검색을 함께 활용하는 방식도 고려할 수 있다.
핵심은 특정 기술을 고집하기보다 기업의 데이터 환경과 보안 정책에 맞춰 검색 구조를 유연하게 설계하는 것이다.
3. 검색 기술이 달라져도 AI 답변의 품질은 결국 데이터가 결정한다
AI 모델과 에이전트 기술은 빠르게 발전하고 있지만 변하지 않는 원칙이 있다. 바로 AI가 활용하는 데이터의 정확성과 품질이다. 이를 설명하기 위해 DIKW(Data–Information–Knowledge–Wisdom) 피라미드를 소개한다. 데이터가 모여 정보가 되고, 정보가 지식으로 발전하며, 이를 활용해 지혜로운 판단에 이른다는 개념이다.
여기에서 중요한 것은 가장 기초가 되는 데이터가 실제 사실에 기반해야 한다는 점이다. 처음부터 부정확하거나 왜곡된 데이터가 포함되어 있다면 아무리 뛰어난 AI 에이전트라도 신뢰할 수 있는 결과를 만들기 어렵다.
오히려 불필요하거나 사실관계가 불분명한 데이터를 무조건 많이 제공하는 것보다 정확하고 검증된 데이터를 선별해 활용하는 편이 나을 수 있다. 결국 RAG를 사용하든 AI 에이전트가 직접 검색하든, AI가 신뢰할 수 있는 답변을 생성하기 위한 출발점은 정확한 데이터라는 사실은 달라지지 않는다.
4. AI 에이전트는 ‘새로운 직원’처럼 권한과 성과를 관리해야 한다
기업에서 AI 에이전트가 많아질수록 중요한 것은 에이전트를 얼마나 많이 만드는지가 아니다.
누가 에이전트를 만들었고, 어떤 데이터에 접근할 수 있으며, 어떤 도구를 사용하고, 실제로 어떤 결과를 만들어내는지 관리할 수 있어야 한다.
AI 에이전트를 새로 입사한 직원에 비유할 수 있다. 신입 직원에게 처음부터 모든 시스템의 접근 권한을 부여하지 않듯이, AI 에이전트에도 초기에는 제한된 데이터와 업무 권한만 제공해야 한다는 것이다. 이후 수행 결과를 확인하면서 접근 권한과 사용할 수 있는 도구, 스킬을 단계적으로 확대하는 방식이 바람직하다.
이를 위해서는 데이터 수집·인덱싱·마스킹·보안 등급을 관리하는 거버넌스 계층과 사용자별 접근 권한을 확인하는 체계가 필요하다. 또한 에이전트가 사용하는 LLM, 도구, 스킬, MCP, 커넥터 등을 관리하고 실행 과정을 감사 로그로 기록해야 한다.
에이전트마다 고유한 ID를 부여하고, 어떤 데이터를 조회했는지, 어떤 작업을 수행했는지, 토큰과 비용을 얼마나 사용했는지, 결과가 실제 업무에 도움이 되었는지 평가하는 것도 중요하다.
결국 기업의 AI 경쟁력은 에이전트를 많이 만드는 것이 아니라 권한·비용·성과를 지속적으로 평가하고 필요할 때 수정하거나 중단할 수 있는 운영 체계를 갖추는 것에 달려 있다.
5. 3줄 요약
– AI 에이전트의 발전으로 기존 RAG의 청킹·임베딩 중심 검색 외에도 에이전트가 데이터베이스와 저장소에 직접 접근해 정보를 찾는 방식이 확대되고 있다.
– 검색 방식이 달라져도 AI 답변의 정확성을 결정하는 핵심은 데이터 품질이며, 기업의 보안과 데이터 특성에 따라 적절한 검색 구조를 선택해야 한다.
– 기업은 AI 에이전트를 새로운 직원처럼 관리하며 접근 권한, 사용 도구, 실행 기록, 비용과 성과를 지속적으로 통제하는 거버넌스를 구축해야 한다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다. |
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.