1. 잇(IT)터뷰 전체 영상 보기
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 게스트 : 전성범 팀장 / LG화학, 박성철 이사 / 데이터이쿠
◼ 진행자 : 고우성 PD / 토크아이티 (wsko@talkit.tv, https://talkit.tv/)
영상 목차
◼ 아래 각 목차를 클릭하시면 해당 내용을 영상으로 바로 보실 수 있습니다.
✔ RAG기반 생성형 AI활용, 사내지식검색
✔ RAG 운영 팁
✔ 데이터이쿠 LLMOps
✔ RAG기반 LLM 검증
2. 잇(IT)터뷰 내용 맛보기
‘잇(IT)터뷰 내용 맛보기’는 영상 내용 일부를 스크립트로 표현합니다.
|
● 고우성 : RAG를 하시면서 수월하게 프로세스를 수행하셨나요? 아니면 어떤 이슈나 장애요소같은 게 혹시 있으신가요?
● 전성범 : 많죠. 저희는 맨 처음에 보안 이슈가 있었습니. 보안 이슈가 가장 컸어요. 왜냐하면 대부분 작년에 GPT 활성화 되고 나서 대부분의 기업들이 생각하는 것이 ‘GPT, OpenAI에 우리 회사 데이터가 넘어가는 게 아닌가.’입니다.
이런 생각을 하게 되니까 일단 저희는 OpenAI 애저에 GPT API를 쓰고 있는데 계약 조건이 있습니다. 그것을 마이크로소프트로부터 받았습니다.
이 데이터 즉, 프롬프트 할 때 넘어가는 모든 질문은 자기들이 학습에 쓰지 않는다는 계약 조건이 있습니. 저희는 그것을 받고 진행하게 됐습니다.
두 번째는 학습하는 사내 문서를 분류하는 거죠. 저희는 시스템 단위나 아니면 특화된 기능으로 RAG기반 사내지식 검색봇인 다큐봇을 만듭니다. ‘맨 처음에 전체 다 하면 안 되나?’라고 저희는 생각했어요.
● 고우성 : 그렇죠. 그렇겠죠.
● 전성범 : 그런데 테스트를 했을 때 전체 데이터를 다 넣어버린 문서에 질문했을 때 가령, 회계 시스템의 문서인지 품질 시스템의 문서인지 못 찾는 케이스가 존재합니다.
● 고우성 : AI가 헷갈리겠네요.
● 전성범 : 그렇죠. 그러면 질문을 정말 잘해야 되는데 사람들한테 질문을 잘하라고 앞에다 뭘 쓰라고 하는 게 맞는 걸까요? 그건 아니거든요.
그래서 저희가 그 노하우를 가지고 이럴 때는 ‘AI 시스템을 나눠버리자.’ 해서 어떻게 보면 시스템당 QA 시스템을 만드는 거죠. 그런 식의 적용 방식을 하고 있어요.
3. 잇(IT)터뷰 내용
이번 잇(IT)터뷰는 LG 화학이 어떻게 AI 기반 검색과 LLM(Large Language Model)을 활용하고 있는지에 대해 설명하는 세미나입니다.
① AI 기반 문서 검색의 필요성
기업들이 AI를 활용해 문서 검색을 가속화하고 있습니다.
LG 화학은 RAG(Retrieval-Augmented Generation) 기법을 사용하여 문서 기반 AI 검색 프로젝트를 진행하고 있습니다.
② 프로젝트 진행 방식
전체 문서를 학습시키는 것이 아니라 특정 분야에 맞춰 문서를 분류하고 벡터 데이터베이스로 관리합니다.
특정 분야에 맞춘 매뉴얼과 IT 시스템 응답을 위한 도큐봇을 여러 개 운영하고 있습니다.
③ 보안 이슈 해결
AI 활용 초기 단계에서 보안 이슈가 컸습니다. 특히, 기업 데이터가 외부로 유출될 가능성에 대한 우려가 있었습니다.
LG 화학은 Azure OpenAI 서비스를 사용하며, Microsoft와의 계약을 통해 데이터 유출 방지를 확실히 했습니다.
④ 데이터 분류와 시스템 분할
AI가 정확한 답변을 제공할 수 있도록 문서를 시스템별로 분류하여 학습시킵니다.
전체 데이터를 학습시키는 대신, 각 시스템의 QA 시스템을 별도로 구축하여 효율성을 높였습니다.
⑤ 도큐보의 활용과 기능
데이터이쿠(Dataiku)의 LLMOps를 활용하여 다양한 AI 프로젝트를 진행합니다.
내장된 LLM 기능을 통해 간단한 클릭만으로도 AI 기능을 사용할 수 있도록 설정되어 있습니다.
프롬프트 스튜디오 기능을 통해 다양한 AI 모델의 응답을 비교하고 비용 효율성을 분석합니다.
⑥ 정확도 검증 방법
AI의 답변 정확도를 검증하기 위해 질문과 답변을 저장하고, 테스트 인원이 이를 평가합니다.
만족도 조사와 함께 실제 질문에 대한 정확도를 엑셀로 기입하여 평가합니다.
⑦ 추가 정보와 지원
AI 관련 다양한 정보를 제공하고 있으며, 필요시 이메일로 문의할 수 있습니다.
AI 전문가들과 소통할 수 있는 공간을 마련하여, 지속적인 정보 교류와 학습을 지원합니다.
이번 잇(IT)터뷰는 LG 화학이 AI를 활용하여 문서 검색과 LLM 적용을 어떻게 효율적으로 관리하고 있는지, 그리고 이를 통해 얻을 수 있는 다양한 이점을 체계적으로 설명합니다. AI 기반 검색의 정확도를 높이고, 보안 이슈를 해결하는 방법을 구체적으로 소개하고 있습니다.
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
|
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.