<잇(IT)터뷰 전체 영상 보기>
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 김경민 팀장, 김현민 팀원, 최우빈 팀원 / 안랩클라우드메이트
◼ 진행자 : 고우성 PD / 토크아이티 (wsko@talkit.tv, https://talkit.tv/)
영상 목차
◼ 아래 각 목차를 클릭하시면 해당 내용을 영상으로 바로 보실 수 있습니다.
✔ 데이터 구조화, 표준화, 가용성
✔ RAG 질의 고도화
✔ 민감, 기밀 데이터 보안
이번 잇(IT)터뷰는 검색 증강 생성(RAG) 시스템 구축 시 고려해야 할 3가지 핵심 사항을 다룹니다. 첫째, 데이터를 구조화 및 표준화하여 검색 효율성을 높이고, 둘째, 프롬프트 튜닝을 통해 LLM의 답변 품질을 개선하며, 셋째, 민감 데이터 보안을 강화하여 정보 유출을 방지해야 합니다.
특히 데이터 파이프라인 구축, 데이터 표준 정규화, 그리고 프롬프트에 대한 민감 정보 검열은 RAG 시스템의 성공적인 구축과 운영에 중요한 역할을 합니다.
이번 잇(IT)터뷰는 기업이 RAG 시스템을 도입할 때 발생할 수 있는 문제점을 짚어주고, 실제 구축 사례를 통해 해결 방안을 제시하여 RAG 시스템 구축 전략을 수립하는 데 도움을 줍니다.
<잇(IT)터뷰 – 핵심 내용 파악하기>
‘잇(IT)터뷰 – 핵심 내용 파악하기’는 영상의 핵심 내용을 정리한 글입니다.
|
1. 데이터 구조화와 표준화의 중요성
– 기업들이 생성 AI를 활용할 때, 데이터의 구조화와 표준화가 필수적이다. 이는 데이터의 효율적인 처리를 위해 선행되어야 하는 과정이다.
– RAG 시스템에서 데이터의 유사도를 검색하기 때문에, 사용자 질문에 필요한 데이터만을 선별해 재조립하는 로직이 필요하다. 이는 시스템의 속도 문제를 해결하는 데 기여한다.
– 데이터의 가용성과 영속성을 보장하기 위해, 데이터의 정교화와 규격화가 중요하며, 이를 위한 백업 절차를 도입해야 한다. 이는 데이터 손실을 방지하고 효율적인 임베딩을 가능하게 한다.
2. RAG의 답변 효율성과 리랭킹 기능
– RAG의 답변 효율성은 내부 데이터를 벡터DB 임베딩 값으로 프롬프팅하는 방식에 따라 결정되므로, 프로세스를 지속적으로 고도화하는 것이 중요하다.
– 리랭킹은 사용자가 검색한 문서를 다시 정렬하는 과정으로, 연구지원 서비스에서 복수의 데이터 레이크를 활용해 이루어진다.
– 리랭킹을 하지 않으면 특정 데이터 레이크에 편향된 답변이 제공될 가능성이 있으며, 이는 LLM에 전달되는 데이터의 특성 때문이다.
– 여러 데이터 레이크를 사용하면 답변의 편향을 줄일 수 있으며, 이에 따라 서치 로직을 통해 다양한 DB를 탐색하는 과정이 포함된다.
3. 하이브리드 서치와 멀티스텝 리즈닝
– 하이브리드 서치는 사용자 쿼리를 숫자화와 벡터화를 통해 유사도 기반 검색 방식으로 진행되는 시스템이다.
– 이 검색 기법은 키워드 기반 사용자 쿼리를 통해 키워드와 점수를 종합적으로 판단하여 리랭킹을 수행한다.
– 멀티스텝 리즈닝은 최근 딥시크나 오픈 AI와 같은 모델에서 활용되고 있다고 알려져 있다.
– 서비스를 통해 사용자들이 LLM이 연구 계획을 생성하는 과정을 이해하고 피드백을 주고 받으며 퀄리티를 높일 수 있게 되었다.
4. 데이터 구조화와 에이전틱 RAG
– 멀티스텝 리즈닝이 사용자가 볼 수 있는 방식으로 구현될 수 있다.
– 에이전틱RAG는 18개의 카테고리로 나뉘며, 사용자 요구에 맞는 데이터 검색을 가능하게 한다.
– 그래프 RAG는 연구 보고서를 연결하여 후속 연구 정보를 제공하는 기능을 갖춘다.
– 규정집과 같은 문서에서 연결 관계를 시각화하기 위한 도구로 사용된다.
– 그래프 RAG는 벡터 데이터베이스보다 더 복잡한 상황 계층 구조를 지원할 수 있다.
5. 민감 데이터 보안을 위한 프롬프트 검토 서비스
– 기업은 민간 정보가 LLM에 포함되어 학습될 것을 우려하고 있으며, 이는 민감 데이터 보안 문제와 관련이 있다.
– 에크미아이 설계 시, 시큐브릿지라는 상품을 함께 설계하여 프롬프트 전달 시의 안전성을 높이고 있다.
– 이 서비스는 프롬프트에 민감 정보가 포함되어 있는지 여부를 판단하여 필요 시 마스킹하거나 완전히 차단할 수 있다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
|
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.