2025/101

• 백엔드 개발자를 위한 데이터 엔지니어링 첫걸음: ETL부터 Dagster+DBT까지 1. 기술 개요 요약데이터 엔지니어링은 데이터를 수집, 저장, 변환, 전달하는 전 과정을 시스템적으로 관리하는 기술 영역입니다.이 문서는 백엔드 개발자가 데이터 파이프라인을 이해하고 직접 구축할 수 있도록,ETL/ELT 개념부터 데이터 저장소 구조, 그리고 현대적 파이프라인 관리 도구인 DBT와 Dagster의 역할을 흐름 중심으로 정리합니다.2. 핵심 개념 정리구분개념설명대표 예시데이터 엔지니어링인프라 구축데이터가 흐를 수 있는 수집·저장·처리 시스템 전체 설계 및 운영Airflow, Dagster데이터 전처리원시 데이터 정제결측치, 오류를 제거하고 분석 가능한 형태로 변환Pandas, Spark데이터 마트주제별 데이터 저장소특정 부서나 목적에 맞게 데이터를 구성한 소규모 웨어하우스PostgreSQL,.. 카테고리 없음 2025. 10. 10.