본문 바로가기
728x90

BI

 (2)
데이터 도구를 이름 대신 흐름으로 이해하는 법 데이터 도구를 이름 대신 흐름으로 이해하는 법AI 뉴스 썸네일데이터 프로젝트에 처음 들어가면 제품 이름부터 쏟아져요. dbt, Spark, Kafka, Airflow가 한 문장에 섞이면 각 도구가 같은 일을 하는지조차 헷갈리기 쉬워요. 최근 공개된 데이터 도구 지형 가이드는 도구 목록 대신 데이터가 이동하는 순서로 이 생태계를 설명해요. 1핵심 요약구분맡는 일대표 선택지수집원천 시스템의 데이터를 목적지로 옮겨요Airbyte, dlt, Fivetran, Debezium저장분석용 데이터를 비용과 성능 조건에 맞춰 보관해요Snowflake, BigQuery, S3, Iceberg, Delta Lake처리데이터를 정제하고 집계하거나 실시간으로 계산해요dbt, DuckDB, Spark, Flink실행 관리작업 순..
SQL의 자유와 시맨틱 모델의 안전을 함께 노린 Malloy SQL의 자유와 시맨틱 모델의 안전을 함께 노린 MalloyMalloy 데이터 모델링 뉴스 썸네일분석 쿼리가 길어질수록 같은 계산식을 여러 곳에 다시 쓰고, 조인 뒤 합계가 틀어지는 문제도 잦아져요. Malloy는 데이터 관계와 계산 규칙을 재사용 가능한 모델로 정의하면서도 기존 데이터베이스의 SQL 실행 능력을 그대로 활용하려는 오픈소스 언어예요. 1핵심 요약구분내용실무에서 볼 점언어 성격시맨틱 모델링 언어와 쿼리 언어를 결합해요모델을 정의한 뒤 같은 문법으로 탐색과 집계를 이어갈 수 있어요실행 방식Malloy 코드를 대상 데이터베이스에 맞는 SQL로 바꿔 실행해요기존 데이터 웨어하우스를 교체하지 않고 도입 범위를 시험할 수 있어요오류 방지조인 관계에서 생기는 합계·평균·개수의 오집계를 줄여요숫자가 문..
728x90

티스토리툴바