데이터 도구를 이름 대신 흐름으로 이해하는 법
데이터 도구를 이름 대신 흐름으로 이해하는 법AI 뉴스 썸네일데이터 프로젝트에 처음 들어가면 제품 이름부터 쏟아져요. dbt, Spark, Kafka, Airflow가 한 문장에 섞이면 각 도구가 같은 일을 하는지조차 헷갈리기 쉬워요. 최근 공개된 데이터 도구 지형 가이드는 도구 목록 대신 데이터가 이동하는 순서로 이 생태계를 설명해요. 1핵심 요약구분맡는 일대표 선택지수집원천 시스템의 데이터를 목적지로 옮겨요Airbyte, dlt, Fivetran, Debezium저장분석용 데이터를 비용과 성능 조건에 맞춰 보관해요Snowflake, BigQuery, S3, Iceberg, Delta Lake처리데이터를 정제하고 집계하거나 실시간으로 계산해요dbt, DuckDB, Spark, Flink실행 관리작업 순..
