본문 바로가기
728x90

s3

 (6)
Deno celld, Durable Objects를 내 서버에서 돌려요 Deno celld, Durable Objects를 내 서버에서 돌려요IT & AI 뉴스 썸네일Cloudflare Durable Objects의 실행 모델을 자체 인프라로 옮길 수 있는 선택지가 생겼어요. Deno가 공개한 celld는 Worker 코드와 객체별 SQLite 데이터를 사용자가 관리하는 서버와 오브젝트 스토리지에서 실행해요. 1핵심 요약구분핵심왜 볼 만한가요실행 환경V8에서 Wrangler 번들을 실행해요기존 Worker 프로젝트를 옮길 때 바꿔야 할 범위를 줄였어요상태 저장객체마다 전용 SQLite 데이터베이스를 둬요사용자·문서·채팅방처럼 상태 단위를 작게 나눌 수 있어요분산 구조공유 버킷으로 소유권과 상태를 조정해요별도 컨트롤 플레인이나 합의 서버 없이 노드를 늘릴 수 있어요운영 범위T..
하루 1,500억 이벤트를 견딘 StreamHub, Kafka 전환 뒤 드러난 병목 하루 1,500억 이벤트를 견딘 StreamHub, Kafka 전환 뒤 드러난 병목AI 뉴스 썸네일Atlassian의 이벤트 스트리밍 플랫폼 StreamHub는 하루 220억 건을 처리하던 시스템에서 하루 1,500억 건을 수집하는 플랫폼으로 커졌어요. Kinesis가 안정적으로 맡아 온 구간을 넘어선 뒤에는 AWS MSK 기반 Kafka와 계층형 저장소를 선택했어요. 전환 뒤에도 브로커 네트워크, S3 요청, 관리형 서비스의 제어 영역이 새 병목으로 나타났어요. 1핵심 요약구분핵심왜 볼 만한가요처리 규모StreamHub는 하루 1,500억 건을 수집하고 2,250억 건 넘게 전달해요평균 초당 168만 건, 최대 초당 320만 건을 다룬 운영 사례예요전환 배경Kinesis의 샤드 비용, 장기 보관 비용,..
32TB도 42분, PlanetScale이 백업을 복원하며 다음 백업을 만드는 이유 32TB도 42분, PlanetScale이 백업을 복원하며 다음 백업을 만드는 이유IT & AI 뉴스 썸네일대형 Postgres 데이터베이스는 백업 파일을 만드는 시간부터 부담이에요. PlanetScale은 이전 백업을 임시 노드에 직접 복원하고 WAL을 재생한 뒤, 그 상태를 새로운 백업으로 저장해요. 샤드마다 이 과정을 동시에 돌려 프로덕션 부하와 전체 소요 시간을 함께 줄였어요. 2핵심 요약구분핵심왜 볼 만한가요백업 방식이전 백업을 임시 노드에 복원하고 WAL로 현재 상태까지 따라잡아요주기마다 기존 백업의 복구 가능성을 실제 복원 과정에서 확인해요프로덕션 부하오래된 WAL은 S3에서 읽고 최근 몇 분만 primary에서 받아요서비스 쿼리와 무거운 백업 작업이 같은 자원을 두고 경쟁하는 시간을 줄여요..
Canva가 수억 명의 세션 취소 기록을 S3로 옮긴 이유 Canva가 수억 명의 세션 취소 기록을 S3로 옮긴 이유AI 뉴스 썸네일Canva는 초당 수십만 건의 요청에서 로그인 세션이 여전히 유효한지 확인해요. 요청마다 데이터베이스를 조회하면 느리고 장애 범위도 커져서, 게이트웨이 메모리에 최근 12시간의 세션 취소 기록을 보관해 왔어요. 문제는 배포 때 수백 개의 게이트웨이가 MySQL에서 100만 건이 넘는 기록을 한꺼번에 읽으면서 생겼어요. Canva는 이 시작 병목을 S3 객체와 16바이트 바이너리 배열로 바꿨어요. 1 2핵심 요약구분핵심왜 볼 만한가요시작 병목게이트웨이 수백 개가 배포 때 MySQL에서 취소 기록을 동시에 읽었어요평소 빠른 인메모리 조회가 배포 순간에는 데이터베이스 부하로 돌아오는 구조를 보여줘요저장 구조최근 12시간을 30분 단위 S..
여러 DB 백업을 한 화면에서 관리하는 databasement 여러 DB 백업을 한 화면에서 관리하는 databasementIT & AI 뉴스 썸네일운영하는 데이터베이스가 늘면 백업 방식도 제각각 흩어지기 쉬워요. databasement는 여러 종류의 DB를 한 웹 화면에 연결하고, 백업 예약부터 보관과 복원까지 묶어서 관리하는 셀프 호스팅 도구예요. 1핵심 요약구분핵심왜 볼 만한가요지원 범위MySQL, PostgreSQL, MariaDB, MSSQL, MongoDB, SQLite, Firebird, Redis와 Valkey를 한 화면에서 다뤄요DB마다 따로 만든 백업 작업을 한곳에서 확인할 수 있어요사설망 연결SSH 터널과 HTTPS 아웃바운드 방식의 원격 에이전트를 지원해요인바운드 포트를 새로 열기 어려운 네트워크에서도 백업 경로를 설계할 수 있어요보관과 복원일..
Papermake, Typst 템플릿을 사내 PDF API로 바꿔줘요 Papermake, Typst 템플릿을 사내 PDF API로 바꿔줘요AI 뉴스 썸네일청구서나 증명서 PDF를 여러 서비스에서 만들면 템플릿 배포와 결과 추적이 금세 복잡해져요. Papermake는 Typst 템플릿을 서버에 한 번 올린 뒤 REST API로 렌더링하는 오픈소스 서버예요. 템플릿 버전, 입력 데이터, 출력 PDF의 해시를 함께 기록해 어떤 문서가 어떻게 만들어졌는지 다시 확인할 수 있어요. 1핵심 요약구분핵심왜 볼 만한가요템플릿 운영변경할 수 없는 버전과 최신 버전을 가리키는 태그를 함께 지원해요배포된 문서 양식과 개발 중인 양식을 분리하기 쉬워요PDF 생성클라이언트는 Typst를 설치하지 않고 HTTP 요청으로 PDF를 만들어요여러 서비스가 같은 문서 생성 방식을 공유할 수 있어요재현성템..
728x90

티스토리툴바