✔ 잇(IT)터뷰 한 줄 소개
변경 데이터 캡처(CDC)* 기술의 필요성, 기본 구성, 그리고 구현 시 고려해야 할 주요 체크포인트를 전문가의 시각으로 요약 설명합니다. |
*변경 데이터 캡처(Change Data Capture, CDC) : 소스 DB에서 변경된 데이터만 타깃 DB에 반영하는 기술
✔ 잇(IT)터뷰 전체 영상 보기
잇(IT)터뷰 전체 내용은 ▼아래 영상▼에서 확인해 주세요!
◼ 진행자 : 고우성 PD/토크아이티 (wsko@talkit.tv, https://talkit.tv/)
◼ 게스트 : 김명훈 대표 / 디비투이
1) 잇(IT)터뷰 내용
이번 잇(IT)터뷰에서는 변경 데이터 캡처(CDC) 기술의 등장 배경, 기본 구성, 그리고 중요한 체크포인트에 대해 다룹니다. 디비투이의 김명훈 대표가 CDC의 필요성과 그것이 데이터 관리 및 마이그레이션에 어떻게 활용될 수 있는지에 대해 설명합니다.
① CDC 등장 배경
디지털화가 가속화되면서 실시간 데이터 동기화의 필요성이 증가하고, 이에 따라 변경된 데이터만을 타겟 데이터베이스에 반영하는 CDC 기술의 사용이 늘어났습니다.
② CDC 기본 구성
CDC는 소스에서 변경된 데이터를 캡처하고, 이를 타겟 데이터베이스에 반영하는 과정을 포함합니다. 이 과정은 데이터 마이그레이션과 실시간 데이터 동기화에 중요합니다.
③ CDC 체크포인트
CDC를 구현할 때 고려해야 할 주요 체크포인트는 데이터의 정확성, 실시간 반영의 효율성, 그리고 시스템 간 호환성입니다.
이번 잇(IT)터뷰는 CDC 기술의 기본 원리와 실제 적용에 필요한 핵심 요소들을 쉽게 설명하고 전문가의 시각에서 복잡한 데이터 동기화 문제를 해결하는 현대적인 접근 방식을 제시합니다.
실제 비즈니스 환경에서 CDC가 어떻게 활용될 수 있는지에 대한 구체적인 사례와 함께, 이 기술의 중요성을 강조합니다. 아울러 데이터베이스 관리자, IT 전문가, 그리고 실시간 데이터 동기화 및 데이터 마이그레이션에 관심 있는 기술 관리자들에게 유용한 정보를 제공합니다.
2) 잇(IT)터뷰 영상 목차
– CDC 등장 배경 ➜ 아래 ✔ 잇(IT)터뷰 내용 맛보기로 내용을 확인해 보세요!
– CDC 기본 구성
– CDC 체크포인트
✔ 잇(IT)터뷰 내용 맛보기
‘잇(IT)터뷰 내용 맛보기’는 영상 내용 일부를 스크립트로 표현합니다.
|
Change Data Capture의 약자인 CDC는 소스 DB에서 변경된 데이터만 타깃 DB에 반영하는 기술을 의미하는데, 디지털이 가속화되는 최근에 부쩍 사용이 늘어나고 있습니다.
DB 마이그레이션과 CDC 전문기업인 디비투이 김명훈 대표가 CDC 등장 배경, 구성, 체크포인트 등을 경험에서 우러나온 관점으로 최대한 알기 쉽게 설명해 드립니다.
✔ CDC 등장 배경
– CDC 기본 구성
– CDC 체크포인트
● 김명훈 : 3년 전부터 사실 데이터들이 통합되고 다시 통합된 데이터들이 분리되고 하는 과정들의 ETL이나 ELT와 같은 것들이 이렇게 주를 이루다가 근래 이제 On-Demand 관련된 실시간 요건들이 많아지잖아요.
내가 분석하려고 해도 그렇고 그다음에 내 시스템이 점차 커지면서 내가 그 큰 시스템에서 그걸 보고 싶은 경우가 생깁니다. 즉각 즉각 어떤 정보를 보고 싶은 것들이 생기니까 CDC 관련된 요구들은 계속 많아지는 것 같아요.
클라우드로 넘어가면서도 그렇고 기존 시스템들이 이제 포화 상태가 돼서 이 시스템들을 이관하거나 아니면 이 시스템들을 분산할 때가 있습니다. 거꾸로 많은 시스템들을 한쪽에서 모아서 볼 때도 있습니다. 기존에 준 실시간이나 아니면 배치로 수행했던 것들이 그때그때 뭔가 니즈에 맞춰서 뭘 해야 하니 CDC 요건은 굉장히 계속 늘어나고 있는 거 같아요.
● 고우성 : 데이터를 사용하는 비즈니스인 My Data 사업 같은 것들도 CDC가 필요할 것 같은데요?
● 김명훈 : 기존에 있던 시스템들이 계속 방대해지고 커지고 있습니다. 좋은 예를 말씀해 주셨는데, My Data 같은 경우, 예전에는 은행권에서 내 데이터를 ‘나’만 봤잖아요.
● 고우성 : 그렇죠. 내 데이터를 나만 볼 수 있는 서비스에요.
● 김명훈 : 그렇죠. My Data는 ‘당신 데이터야’라고 해서 내가 갖고 있는 금융 정보들을 한쪽에서 모아 보는 서비스입니다. 국민은행을 예로 들면 국민은행에서 나머지 은행들 정보까지 모두 보게 되잖아요. 이게 어떻게 보면 스크래핑 같은 거예요. 내가 여기서 볼 때 그냥 툭 던지면 데이터가 나와야 하니까요.
근데 My Data를 자세히 보면, 사실 거의 ‘준실시간’입니다. 완전 실시간은 아니에요.
실제 타사의 시스템 상황에 따라서 약간 지연이 일어날 수도 있습니다. 완전한 동기화는 필요하지 않은데 많은 은행을 연결하는 거죠. 은행별로 보면 은행이나 제2금융권들이나 기존에 한 곳에서만 내 정보를 보며 나머지 것들을 다 연결해 놓으니까 사람들이 편의성 때문에 계속 연결하는 거죠.
그러면 원래 이쪽에서 보던 사람들이 ‘한 곳’이었는데 이제 ‘열 곳’에서 조회가 들어오는 거죠. 그렇게 되면 원래 원천이 갖고 있던 생각지도 않은 부하들이 폭발적으로 늘어나겠죠.
즉, 기존에 내 시스템에만 있었을 때는 내가 갖고 있는 이벤트나 내 속성에 따라서 부하가 움직일 텐데 이제 다른 쪽에 있는 영향을 받게 되는 거예요.
근데 이쪽 은행이나 다른 쪽에서 조회할 때 생각 없이 들어가거나 어떤 이벤트 때문에 들어갔다가 ‘지금 내 잔고가 어떻게 되지?’라고 하면서 그 다른 쪽 은행이나 금융사 정보를 갖고 올 때가 있습니다. 이때 이쪽 시스템은 갑자기 부하가 늘어나게 됩니다.
기존에 있던 Capacity에 맞춰서 순차적으로 어떤 계획이 있고 증설하거나 시스템을 맞췄을 텐데, 이런 한계들을 좀 넘어가서 분산되어야 하는 것들이 좀 필요해지는 거죠.
● 고우성 : CDC를 통해서 ‘너희 은행 고객들은 너희 것으로 보게 해. 우리에게 오버헤드 주지 말고.’ 그런 거네요?
● 김명훈 : 네, 그렇죠.
● 고우성 : 요새 또 보면, 금융이 유통사 등과 조인해서 유통사 채널을 통해 금융 정보를 보여주기도 하잖아요. 그런 것도 다 이렇게 이용되겠네요.
● 김명훈 : 그렇죠. 저렇게 해 놓고, 실제 이제 메인이 흔들리지 않게 하는 게 가장 중요한 거죠.
● 고우성 : 어떻게보면, ‘API 경제**’하고도 약간 궤를 같이하는 것 같은데요?
● 김명훈 : 네.
**API 경제: API를 사용하여 비즈니스 기능들을 상업적으로 교환하는 것
◼ 전체 잇(IT)터뷰 내용은 ▶영상으로 바로 가기(클릭)◀에서 확인하실 수 있습니다.
– CDC 등장 배경
✔ CDC 기본 구성
✔ CDC 체크포인트
◼ 콘텐츠 & 웨비나 문의 : marketing@talkit.tv, 02-565-0012
Copyright ⓒ 토크아이티 All rights reserved. 무단 전재 및 재배포 금지.