2025년, 집은 더 이상 단순한 공간이 아닙니다. 스마트홈은 이제 하나의 ‘운영체제’처럼 작동하며, 우리의 일상과 기술을 자연스럽게 연결하는 플랫폼으로 진화하고 있습니다. AI, IoT, 빅데이터, 클라우드 기술이 집 안 곳곳에 스며들며, ‘살기 좋은 집’의 기준이 바뀌고 있습니다. 스마트홈은 단순한 자동화 시스템을 넘어, 인간 중심의 디지털 혁신을 실현하는 핵심 인프라로 자리 잡고 있습니다.

총 1.5TB 이상의 대용량 데이터를 포함한 ASIS 환경에서(4개의 MySQL RDS와 1개의 PostgreSQL로 구성) TOBE 환경인 단일 AWS RDS PostgreSQL로 통합하는 프로젝트를 진행했습니다. 이번 프로젝트의 핵심 과제는 단순한 테이블 복사가 아닌, 비즈니스 요구사항에 따른 복잡한 조인 룰과 데이터 변환 로직을 적용하는 것이었습니다.

각 소스 데이터베이스마다 서로 다른 스키마 구조와 데이터 타입을 가지고 있어, 표준화된 TOBE 구조로의 매핑이 필요했습니다. 특히 여러 테이블에 분산된 고객 정보와 그에 관련된 속성 데이터를 통합하여 정규화된 형태로 재구성하는 작업이 포함되었습니다.

AWS DMS로는 이러한 복잡한 조인과 변환 로직을 처리할 수 없어, 커스텀 전환툴의 필요성이 명확했습니다. 프로젝트 성공을 위해서는 데이터 정합성 보장과 함께 온프레미스 시스템의 다운타임을 최소화하기 위해 정해진 전환 일정 내에서의 완료가 필수적이었고, CS-MIG가 데이터 전환의 핵심 툴로써 활용되었습니다.

프로젝트의 첫 번째 필수 조건인 정해진 시간 내 데이터 전환 완료를 위해, CS-MIG는 EC2 c4.4xlarge의 16개 vCPU와 30GB 메모리를 최대한 활용하는 병렬 처리 아키텍처를 구축하여 1TB 이상의 대용량 데이터를 4시간 안에 성공적으로 전환했습니다.

본 프로젝트는 분산되어 있는 고객 정보를 통합된 하나의 데이터 플랫폼으로 구축하는 목표에 따라, 다수의 ASIS 테이블을 하나의 TOBE 테이블로 매핑하는 복잡한 변환 로직이 핵심이었습니다. 이러한 프로젝트 특성상 동시다발적으로 수행되는 복수의 데이터 전환 작업을 한정된 시간 내에 완료하기 위해, CS-MIG는 총 16개의 Executor 워커 스레드를 동적으로 운용하는 멀티프로세싱 아키텍처를 구현했습니다.

따라서, 전환 담당자는 ASIS 테이블 간의 조인 관계와 데이터 의존성을 사전 분석하여 각 워커에 최적화된 작업 단위를 배치할 수 있으며, 이를 통해 CPU 집약적 작업과 I/O 집약적 작업을 균형있게 분산시켜 시스템 리소스의 효율적 활용이 가능했습니다. 이러한 워커 레벨의 세밀한 제어권은 전환 사용자로 하여금 실시간 성능 모니터링을 통해 병목 지점을 즉시 식별하고 워크로드 재분산을 통한 성능 튜닝이 가능하다는 큰 장점을 제공했습니다.

더욱 중요한 것은 복잡한 조인 연산 수행 시 CS-MIG가 제공하는 고급 임시 데이터 관리 기능입니다. CS-MIG는 Apache Spark 기반 아키텍처를 활용하여 다중 테이블 조인과 집계 연산 과정에서 생성되는 중간 결과셋을 각 Executor의 로컬 디스크에 임시 파일 형태로 효율적으로 관리합니다. 특히 메모리 한계 도달 시 일반적인 OS 스와핑과 달리, Apache Spark의 Spill-to-Disk 메커니즘을 통해 Kryo직렬화를 적용하여 중간 결과 데이터의 크기를 50-70% 압축함으로써 디스크 I/O 성능을 대폭 향상시킬 수 있었습니다.

본 프로젝트에서는 300GB의 전용 서버 스토리지 공간을 임시 데이터 영역으로 확보하여, 일련적으로 발생하는 1TB 규모의 대용량 조인 연산에서 중간 데이터셋을 메모리 부족 없이 안정적으로 버퍼링했습니다. 따라서 CS-MIG는 이러한 고도화된 메모리 관리 체계를 통해 여러 테이블을 하나로 통합하는 복잡한 비즈니스 로직이 포함된 ETL 프로세스에서도 성능 저하나 시스템 불안정 없이 일관되고 예측 가능한 처리 성능을 달성할 수 있습니다.