본문 바로가기
728x90

PostgreSQL

 (20)
Andy Pavlo가 ClickHouse에 합류한 이유, 데이터베이스 연구를 제품으로 잇는다 Andy Pavlo가 ClickHouse에 합류한 이유, 데이터베이스 연구를 제품으로 잇는다IT & AI 뉴스 썸네일데이터베이스 연구자 Andy Pavlo가 ClickHouse에 합류해 ClickHouse Labs를 이끌어요. 논문을 발표하는 데 그치지 않고 엔지니어와 고객이 겪는 문제를 연구 주제로 삼아, 검증된 아이디어를 실제 데이터베이스 기술로 연결할 계획이에요.핵심 요약구분내용인물Carnegie Mellon University에서 DBMS 내부 구조를 연구해 온 Andy Pavlo가 ClickHouse에 합류했어요.새 조직ClickHouse Labs는 연구자, 엔지니어, 고객, 산업 파트너가 함께 데이터베이스 기술을 검증하는 조직을 지향해요.초기 과제아직 충분히 검증하지 못한 최적화 아이디어를 다..
qm, 팀이 함께 쓰는 격리형 AI 작업 공간 공개 qm, 팀이 함께 쓰는 격리형 AI 작업 공간 공개AI 뉴스 썸네일AI 도구를 회사 전체로 넓히면 개인용 챗봇과는 다른 문제가 생겨요. 직원마다 접근할 수 있는 자료가 다르고, 여러 명이 같은 업무를 이어서 처리할 때는 기록과 권한의 경계도 필요해요. 오픈소스 프로젝트 qm은 사람과 대화 공간마다 작업 환경을 분리하는 방식으로 이 문제를 풀려고 해요. 1핵심 요약구분핵심왜 볼 만한가요협업 구조개인 공간과 공유 공간을 나눠 여러 사람이 같은 AI와 일할 수 있어요개인용 도구를 조직 단위로 확장할 때 필요한 권한 경계를 제품 구조에 넣었어요실행 환경메모리, 파일, 자격 증명 보기, 예약 작업, 영구 샌드박스를 공간별로 분리해요한 사람의 작업과 다른 팀의 작업이 섞이는 위험을 줄이는 설계예요모델 선택Pi, O..
PostgreSQL 내부를 3D 도시로 걷는 PGSimCity PostgreSQL 내부를 3D 도시로 걷는 PGSimCityIT & AI 뉴스 썸네일PostgreSQL 서버 안에서 벌어지는 일을 도시의 움직임으로 볼 수 있는 프로젝트가 나왔어요. PGSimCity는 연결부터 버퍼 교체, WAL 기록, 체크포인트, autovacuum, 복제까지 눈에 보이는 건물과 애니메이션으로 바꿔 보여줘요. 1핵심 요약구분핵심왜 볼 만한가요교육 방식PostgreSQL 내부 구조를 탐험 가능한 3D 도시로 표현해요문서의 추상적인 개념을 공간과 움직임으로 연결할 수 있어요관찰 대상shared_buffers, WAL, 체크포인트, vacuum, 복제 지연을 느린 속도로 보여줘요설정 하나가 지연과 테이블 팽창에 미치는 영향을 비교하기 쉬워요정확성 범위실제 PostgreSQL을 실행하지 않..
100만 행 데이터 그리드가 버티는 법, 양축 가상화부터 DOM 풀링까지 100만 행 데이터 그리드가 버티는 법, 양축 가상화부터 DOM 풀링까지IT & AI 뉴스 썸네일대용량 데이터 그리드는 행 몇 개를 덜 그리는 것만으로 빨라지지 않아요. 열 너비 계산, 검색 상태, 편집기, 아이콘, 스크롤 이벤트가 한 프레임 안에서 함께 움직여야 해요. VisuaLeaf 개발자가 MongoDB와 PostgreSQL용 그리드를 약 1년 동안 다듬으며 적용한 최적화 과정을 공개했어요. 1핵심 요약구분핵심왜 볼 만한가요렌더링 범위화면에 보이는 행과 열만 그리는 양축 가상화데이터가 늘어도 DOM 크기를 일정하게 유지할 수 있어요상태 구조원본 데이터와 별도로 표시용 섀도 테이블 구성스크롤 중 타입 판별과 중첩 경로 탐색을 반복하지 않아요스크롤 처리수동적 리스너, 프레임 병합, 버퍼와 히스테리시스..
여러 DB 백업을 한 화면에서 관리하는 databasement 여러 DB 백업을 한 화면에서 관리하는 databasementIT & AI 뉴스 썸네일운영하는 데이터베이스가 늘면 백업 방식도 제각각 흩어지기 쉬워요. databasement는 여러 종류의 DB를 한 웹 화면에 연결하고, 백업 예약부터 보관과 복원까지 묶어서 관리하는 셀프 호스팅 도구예요. 1핵심 요약구분핵심왜 볼 만한가요지원 범위MySQL, PostgreSQL, MariaDB, MSSQL, MongoDB, SQLite, Firebird, Redis와 Valkey를 한 화면에서 다뤄요DB마다 따로 만든 백업 작업을 한곳에서 확인할 수 있어요사설망 연결SSH 터널과 HTTPS 아웃바운드 방식의 원격 에이전트를 지원해요인바운드 포트를 새로 열기 어려운 네트워크에서도 백업 경로를 설계할 수 있어요보관과 복원일..
스타트업 Postgres가 무너지기 전에 챙길 운영 원칙 스타트업 Postgres가 무너지기 전에 챙길 운영 원칙스타트업 Postgres 운영 가이드 썸네일처음에는 인덱스 몇 개만 추가해도 Postgres가 잘 버텨요. 트래픽과 데이터가 늘면 잠금, 오래 열린 트랜잭션, 낡은 통계, 연결 폭증처럼 서로 다른 문제가 한꺼번에 나타나요. 워크플로 실행 플랫폼 Hatchet은 2년간 프로덕션에서 겪은 문제를 토대로 설계부터 대형 테이블 이전까지 이어지는 운영 원칙을 공개했어요. 1핵심 요약구분핵심왜 볼 만한가요읽기 성능필터와 정렬 순서에 맞춘 복합 인덱스를 설계하고 실행 계획을 확인해요인덱스가 있어도 플래너가 순차 스캔을 고르는 이유를 찾을 수 있어요쓰기 안정성트랜잭션을 짧게 유지하고 필요한 행만 잠가요외부 API 호출이나 대형 작업이 잠금을 오래 붙드는 일을 줄여..
SQL의 자유와 시맨틱 모델의 안전을 함께 노린 Malloy SQL의 자유와 시맨틱 모델의 안전을 함께 노린 MalloyMalloy 데이터 모델링 뉴스 썸네일분석 쿼리가 길어질수록 같은 계산식을 여러 곳에 다시 쓰고, 조인 뒤 합계가 틀어지는 문제도 잦아져요. Malloy는 데이터 관계와 계산 규칙을 재사용 가능한 모델로 정의하면서도 기존 데이터베이스의 SQL 실행 능력을 그대로 활용하려는 오픈소스 언어예요. 1핵심 요약구분내용실무에서 볼 점언어 성격시맨틱 모델링 언어와 쿼리 언어를 결합해요모델을 정의한 뒤 같은 문법으로 탐색과 집계를 이어갈 수 있어요실행 방식Malloy 코드를 대상 데이터베이스에 맞는 SQL로 바꿔 실행해요기존 데이터 웨어하우스를 교체하지 않고 도입 범위를 시험할 수 있어요오류 방지조인 관계에서 생기는 합계·평균·개수의 오집계를 줄여요숫자가 문..
StackRender, ERD에서 실행할 SQL까지 이어 주는 오픈소스 스키마 도구 StackRender, ERD에서 실행할 SQL까지 이어 주는 오픈소스 스키마 도구StackRender 데이터베이스 스키마 설계 도구 썸네일데이터베이스 구조를 화이트보드나 문서에서 먼저 그린 뒤 SQL로 다시 옮기면 설계와 구현 사이에 차이가 생기기 쉬워요. StackRender는 화면에서 테이블과 관계를 설계하고, 여러 데이터베이스에 맞는 SQL DDL로 내보내는 오픈소스 도구예요. 기존 스키마를 가져오는 기능도 있어 새 프로젝트뿐 아니라 운영 중인 구조를 살펴볼 때도 쓸 수 있어요. 1핵심 요약구분핵심왜 볼 만한가요설계 방식드래그 앤 드롭 화면에서 테이블, 컬럼, 타입, 제약 조건을 다뤄요ERD와 실제 SQL 사이의 반복 작업을 줄일 수 있어요입출력기존 SQL DDL을 가져오고 설계 결과를 다시 SQ..
PostgreSQL을 일부러 망가뜨려 보는 도구, noisia PostgreSQL을 일부러 망가뜨려 보는 도구, noisiaIT & AI 뉴스 썸네일운영 중에는 만나고 싶지 않은 PostgreSQL 장애를 테스트 환경에서 미리 일으켜 볼 수 있어요. noisia는 연결 고갈, 잠금 대기, 교착 상태, 메모리 부족, WAL 증가, 디스크 부족을 재현하는 오픈소스 도구예요. 장애가 난 뒤 알람과 복구 절차가 제대로 움직이는지 확인할 때 쓸 수 있지만, 일부 워크로드는 데이터베이스 전체를 재시작시킬 만큼 위험해요. 1핵심 요약구분핵심왜 볼 만한가요목적PostgreSQL에 의도적으로 유해한 워크로드를 만들어요장애 대응 절차를 실제 증상에 가깝게 점검할 수 있어요범위연결, 잠금, 메모리, WAL, 스토리지 문제를 다뤄요단순 쿼리 부하보다 다양한 실패 경로를 확인할 수 있어요..
Postgres 19 프로퍼티 그래프, 조인을 MATCH로 읽는 법 Postgres 19 프로퍼티 그래프, 조인을 MATCH로 읽는 법Postgres 19 프로퍼티 그래프 썸네일Postgres 19에는 기존 테이블을 정점과 간선으로 선언하고 관계 패턴을 `MATCH`로 찾는 프로퍼티 그래프 기능이 들어와요. 데이터를 다른 시스템으로 옮기지 않고도 익숙한 관계형 스키마를 그래프 관점으로 조회할 수 있어요. 다만 정해진 길이의 관계 탐색에 초점이 맞춰져 있어 사용 범위를 먼저 구분해야 해요. 1 2핵심 요약구분핵심왜 볼만한가요저장 구조기존 테이블 위에 그래프 선언을 만들어요데이터 복사와 별도 그래프 저장소가 필요 없어요질의 방식`GRAPH_TABLE` 안에서 `MATCH` 패턴을 써요여러 조인의 관계 방향을 한눈에 읽기 쉬워요실행 방식그래프 패턴이 관계형 조인으로 바뀌어요기..
728x90

티스토리툴바