본문 바로가기
728x90

duckdb

 (6)
DuckDB v2.0 미리보기, 파일 안의 분석 DB가 서버로 넓어져요 DuckDB v2.0 미리보기, 파일 안의 분석 DB가 서버로 넓어져요AI 뉴스 썸네일DuckDB v2.0 "Cyanoptera"가 올해 가을 출시를 앞두고 주요 기능을 공개했어요. 한 프로세스 안에서 빠르게 분석하던 기존 장점은 유지하면서, 다른 데이터베이스에 쿼리를 보내고 장기 실행 서비스로 운영하는 기능을 더해요. v1.5 이후 10,000개가 넘는 커밋이 반영됐고 새 SQL 파서와 기본 저장 형식처럼 호환성을 확인해야 할 변화도 함께 들어가요. 1핵심 요약구분확인된 내용개발자가 볼 지점서버 운영Quack 프로토콜이 안정 단계로 올라가고 `CONNECT` 문이 추가돼요.DuckDB를 네트워크 서비스나 장기 실행 인스턴스로 운영할 수 있어요.원격 쿼리DuckDB뿐 아니라 PostgreSQL과 MySQ..
데이터 도구를 이름 대신 흐름으로 이해하는 법 데이터 도구를 이름 대신 흐름으로 이해하는 법AI 뉴스 썸네일데이터 프로젝트에 처음 들어가면 제품 이름부터 쏟아져요. dbt, Spark, Kafka, Airflow가 한 문장에 섞이면 각 도구가 같은 일을 하는지조차 헷갈리기 쉬워요. 최근 공개된 데이터 도구 지형 가이드는 도구 목록 대신 데이터가 이동하는 순서로 이 생태계를 설명해요. 1핵심 요약구분맡는 일대표 선택지수집원천 시스템의 데이터를 목적지로 옮겨요Airbyte, dlt, Fivetran, Debezium저장분석용 데이터를 비용과 성능 조건에 맞춰 보관해요Snowflake, BigQuery, S3, Iceberg, Delta Lake처리데이터를 정제하고 집계하거나 실시간으로 계산해요dbt, DuckDB, Spark, Flink실행 관리작업 순..
SQL의 자유와 시맨틱 모델의 안전을 함께 노린 Malloy SQL의 자유와 시맨틱 모델의 안전을 함께 노린 MalloyMalloy 데이터 모델링 뉴스 썸네일분석 쿼리가 길어질수록 같은 계산식을 여러 곳에 다시 쓰고, 조인 뒤 합계가 틀어지는 문제도 잦아져요. Malloy는 데이터 관계와 계산 규칙을 재사용 가능한 모델로 정의하면서도 기존 데이터베이스의 SQL 실행 능력을 그대로 활용하려는 오픈소스 언어예요. 1핵심 요약구분내용실무에서 볼 점언어 성격시맨틱 모델링 언어와 쿼리 언어를 결합해요모델을 정의한 뒤 같은 문법으로 탐색과 집계를 이어갈 수 있어요실행 방식Malloy 코드를 대상 데이터베이스에 맞는 SQL로 바꿔 실행해요기존 데이터 웨어하우스를 교체하지 않고 도입 범위를 시험할 수 있어요오류 방지조인 관계에서 생기는 합계·평균·개수의 오집계를 줄여요숫자가 문..
Pandas 창시자가 본 AI 코딩의 한계, 코드보다 판단력이 남아요 Pandas 창시자가 본 AI 코딩의 한계, 코드보다 판단력이 남아요AI 뉴스 썸네일Pandas를 만든 웨스 맥키니는 AI가 코드를 빠르게 늘려도 좋은 소프트웨어를 판별하는 일까지 대신해 주지는 못한다고 말해요. Apache Arrow와 DuckDB 같은 데이터 시스템이 오래 살아남는 이유도 구현량보다 설계, 검토, 신뢰에 있어요. 1핵심 요약구분핵심왜 볼 만한가요AI 코딩LLM은 익숙한 해법을 빠르게 제시하지만 목표와 품질 기준은 개발자가 정해야 해요생성 속도보다 검토 능력이 병목이 되는 이유를 보여줘요데이터 시스템Apache Arrow는 시스템 사이의 표 형식 데이터를 잇는 공통 계층으로 자리 잡았어요여러 도구가 같은 형식을 채택할수록 연결 비용이 줄어요오픈소스DuckDB와 DataFusion의 경쟁..
LLM 작업을 데이터프레임 쿼리로 다루는 fenic LLM 작업을 데이터프레임 쿼리로 다루는 fenicfenic 시맨틱 데이터프레임 썸네일문서 분류나 요약을 LLM에 맡기다 보면 데이터 처리 코드와 모델 호출 코드가 금세 뒤섞여요. 오픈소스 프로젝트 fenic은 이 작업을 데이터프레임 쿼리 안으로 가져와요. 익숙한 SQL식 연산과 의미 기반 연산을 한 파이프라인에서 실행하고, 결과가 나온 과정과 비용도 다시 확인할 수 있게 만들었어요. 1핵심 요약구분핵심왜 볼 만한가요쿼리 모델일반 데이터 연산과 LLM 기반 연산을 함께 작성해요데이터 전처리와 모델 호출을 따로 이어 붙이는 코드를 줄일 수 있어요타입과 스키마비정형 텍스트를 Pydantic 스키마에 맞춘 컬럼으로 바꿔요모델 출력이 다음 처리 단계에서 어떤 형태여야 하는지 명시할 수 있어요실행 관리배칭, 재시..
Rocky는 데이터 파이프라인 오류를 실행하기 전에 잡으려 해요 Rocky는 데이터 파이프라인 오류를 실행하기 전에 잡으려 해요AI 뉴스 썸네일데이터 파이프라인에서 무서운 오류는 대개 조용히 들어와요. 상류 테이블의 컬럼 이름이 바뀌거나 타입이 달라져도, 문제를 발견하는 시점은 대시보드 숫자가 틀어진 뒤일 때가 많아요. Rocky는 이런 변경을 SQL 실행 전에 검사하려는 오픈소스 SQL 변환 엔진이에요.핵심 요약구분핵심왜 볼만한가요데이터 파이프라인Rocky는 전체 SQL 변환 흐름을 타입 검사해 깨지는 변경을 미리 잡아요운영 테이블에 잘못된 결과가 쓰이기 전에 실패를 확인할 수 있어요데이터 계약필수 컬럼 누락, 보호 컬럼 제거, 위험한 타입 변경을 에러로 막아요데이터 품질 문제를 리뷰와 배포 단계에서 더 빨리 볼 수 있어요개발자 도구VS Code 확장, 컬럼 리니지..
728x90

티스토리툴바