SIMD (6) 썸네일형 리스트형 Turbovec, 31GB 벡터를 4GB로 줄인 Rust 검색 엔진 Turbovec, 31GB 벡터를 4GB로 줄인 Rust 검색 엔진AI 뉴스 썸네일RAG 서비스를 운영하면 임베딩 저장 공간과 검색 지연 시간이 함께 커져요. Rust로 만든 Turbovec은 Google Research의 TurboQuant 알고리즘을 벡터 인덱스로 구현해 이 부담을 줄여요. Python 바인딩도 제공해서 기존 AI 애플리케이션에 붙여 볼 수 있어요.핵심 요약구분내용메모리프로젝트 설명에 따르면 1,000만 개의 float32 문서 벡터가 쓰는 31GB를 4GB로 줄여요.검색ARM의 NEON과 x86의 AVX-512·AVX2를 활용해 압축된 벡터를 직접 검색해요.운영별도 학습 없이 벡터를 추가하고, 변경분 저장과 외부 ID 기반 삭제를 지원해요.적용Rust와 Python에서 로컬로 실행하.. Postgres 분석 쿼리를 300배 앞선 pgrust의 실행 엔진 설계 Postgres 분석 쿼리를 300배 앞선 pgrust의 실행 엔진 설계pgrust 쿼리 엔진 최적화 썸네일Postgres 호환 데이터베이스 pgrust 0.2가 쿼리 실행 엔진을 크게 손봤어요. 프로젝트가 공개한 ClickBench 결과에서는 Postgres보다 300배 빠르고, OLTP 벤치마크에서는 30% 앞섰어요. 다만 이 수치는 특정 장비와 설정에서 나온 프로젝트 측 측정값이라 조건을 함께 봐야 해요. 1 2핵심 요약구분핵심왜 볼 만한가요실행 모델한 행씩 넘기는 Volcano 모델의 호출 비용을 배치 처리로 줄였어요쿼리 구조를 유지하면서 CPU가 처리할 작업 단위를 키웠어요데이터 이동스캔과 집계를 하나로 합쳐 중간 버퍼 복사를 없앴어요계산보다 데이터 이동이 비싸지는 구간을 직접 줄였어요CPU 활.. Andy Pavlo가 ClickHouse에 합류한 이유, 데이터베이스 연구를 제품으로 잇는다 Andy Pavlo가 ClickHouse에 합류한 이유, 데이터베이스 연구를 제품으로 잇는다IT & AI 뉴스 썸네일데이터베이스 연구자 Andy Pavlo가 ClickHouse에 합류해 ClickHouse Labs를 이끌어요. 논문을 발표하는 데 그치지 않고 엔지니어와 고객이 겪는 문제를 연구 주제로 삼아, 검증된 아이디어를 실제 데이터베이스 기술로 연결할 계획이에요.핵심 요약구분내용인물Carnegie Mellon University에서 DBMS 내부 구조를 연구해 온 Andy Pavlo가 ClickHouse에 합류했어요.새 조직ClickHouse Labs는 연구자, 엔지니어, 고객, 산업 파트너가 함께 데이터베이스 기술을 검증하는 조직을 지향해요.초기 과제아직 충분히 검증하지 못한 최적화 아이디어를 다.. SIMD는 평범한 반복문을 어떻게 5배 빠르게 만들었을까요 SIMD는 평범한 반복문을 어떻게 5배 빠르게 만들었을까요SIMD 반복문 성능 최적화 썸네일배열이나 문자열을 한 값씩 검사하는 반복문은 코드 곳곳에 있어요. SIMD는 이런 연속 데이터를 4개, 8개, 16개씩 묶어 같은 연산을 수행해요. Ghostty 개발자 Mitchell Hashimoto는 코드 포인트 검색 루프에 이 방식을 적용했고, AVX2 기반 인텔 데스크톱에서 터미널 전체 처리량이 약 5배 높아졌다고 밝혔어요. 1핵심 요약구분핵심왜 볼 만한가요처리 방식여러 값을 벡터 하나에 담아 동시에 계산해요연속 데이터를 다루는 반복문의 명령 수를 줄일 수 있어요공통 구조준비, 적재, 연산, 축소·저장, 나머지 처리의 5단계를 따라요CPU 전용 어셈블리를 몰라도 적용 흐름을 파악할 수 있어요실제 결과Gho.. GigaToken, LLM 토큰화를 최대 1,000배 빠르게 만든 방법 GigaToken, LLM 토큰화를 최대 1,000배 빠르게 만든 방법GigaToken 토큰화 성능 썸네일대규모 텍스트를 언어 모델에 넣기 전에는 문장을 작은 토큰 단위로 바꿔야 해요. GigaToken은 이 토큰화 과정을 CPU에서 GB/s 단위로 처리하는 오픈소스 도구예요. 특정 벤치마크에서는 HuggingFace Tokenizers보다 약 1,000배 높은 처리량을 기록했어요. 다만 이 숫자는 모든 환경에 그대로 적용되는 평균값이 아니에요. 1핵심 요약구분핵심왜 볼 만한가요성능GPT-2 기준 EPYC 9565에서 24.53GB/s를 기록했어요수십 GB 이상의 학습 데이터를 준비할 때 대기 시간을 줄일 수 있어요구현사전 토큰화를 SIMD로 처리하고 캐시·분기·스레드 통신을 손봤어요단순히 스레드 수만 .. WebAssembly 파일을 IDE에서 분석하는 Hexana, JetBrains와 VS Code를 함께 지원해요 WebAssembly 파일을 IDE에서 분석하는 Hexana, JetBrains와 VS Code를 함께 지원해요Hexana WebAssembly 분석 도구 썸네일WebAssembly 파일을 살피려면 명령줄 도구와 별도 뷰어를 오가는 일이 많아요. JetBrains가 공개한 Hexana는 `.wasm` 구조 확인부터 편집, 실행, 디버깅까지 익숙한 IDE 안으로 가져와요. JetBrains 플러그인과 VS Code 확장이 같은 분석 코어를 공유한다는 점도 눈에 띄어요. 1핵심 요약구분핵심왜 볼 만한가요지원 환경JetBrains IDE와 VS Code 계열 편집기를 지원해요팀에서 쓰는 편집기가 달라도 같은 분석 체계를 적용할 수 있어요분석 범위Core Wasm, Component Model, GC, SIMD.. 이전 1 다음
