본문 바로가기
728x90

Rag

 (10)
Turbovec, 31GB 벡터를 4GB로 줄인 Rust 검색 엔진 Turbovec, 31GB 벡터를 4GB로 줄인 Rust 검색 엔진AI 뉴스 썸네일RAG 서비스를 운영하면 임베딩 저장 공간과 검색 지연 시간이 함께 커져요. Rust로 만든 Turbovec은 Google Research의 TurboQuant 알고리즘을 벡터 인덱스로 구현해 이 부담을 줄여요. Python 바인딩도 제공해서 기존 AI 애플리케이션에 붙여 볼 수 있어요.핵심 요약구분내용메모리프로젝트 설명에 따르면 1,000만 개의 float32 문서 벡터가 쓰는 31GB를 4GB로 줄여요.검색ARM의 NEON과 x86의 AVX-512·AVX2를 활용해 압축된 벡터를 직접 검색해요.운영별도 학습 없이 벡터를 추가하고, 변경분 저장과 외부 ID 기반 삭제를 지원해요.적용Rust와 Python에서 로컬로 실행하..
추론은 강해졌는데 사실은 자주 틀려요, 소형 AI 모델의 새로운 절충 추론은 강해졌는데 사실은 자주 틀려요, 소형 AI 모델의 새로운 절충AI 뉴스 썸네일요즘 소형 LLM은 수학과 코딩 문제를 꽤 잘 풀어요. 그런데 인물의 생년이나 특정 라이브러리 버전처럼 세부 사실을 물으면 자신 있게 틀리는 경우가 많아요. 모델을 작게 만드는 과정에서 무엇을 기억하고 무엇을 외부 자료에 맡길지 다시 따져볼 시점이에요. 1핵심 요약구분핵심왜 볼 만한가요성능 변화적은 활성 매개변수로 높은 추론 점수를 내는 모델이 늘고 있어요모델 크기와 문제 해결 능력의 관계가 달라지고 있어요약점도구 없이 세부 사실을 회상할 때 오답과 환각이 많아요벤치마크 점수만으로 실제 답변 품질을 판단하기 어려워요설계 방향최신 세부 정보는 검색, 문서, 도구 호출로 가져오는 방안이 거론돼요오래된 API나 가격 정보를 가..
문서 처리 도구를 하나로 묶은 xberg, HWP부터 OCR·RAG까지 다뤄요 문서 처리 도구를 하나로 묶은 xberg, HWP부터 OCR·RAG까지 다뤄요IT & AI 뉴스 썸네일PDF 파서, OCR, 표 추출기, 음성 전사 도구를 따로 연결하다 보면 입력 형식이 하나 늘 때마다 관리할 코드도 함께 늘어요. xberg는 여러 문서 처리 단계를 Rust 기반 코어에 모으고, 같은 결과 형식으로 꺼내 쓰게 만든 오픈소스 프레임워크예요. 1핵심 요약구분내용입력PDF, 오피스 문서, 이미지, 오디오, URL, 압축 파일, 소스 트리를 처리해요.출력일반 텍스트, Markdown, Djot, HTML, JSON 트리와 구조화 결과를 지원해요.문서 분석OCR, 표·레이아웃 복원, 메타데이터 추출, 음성 전사를 한 도구에서 선택할 수 있어요.개발 연동라이브러리, CLI, REST API, MC..
4B 검색 모델이 GPT-5.6 Sol을 앞선 조건 4B 검색 모델이 GPT-5.6 Sol을 앞선 조건AI 뉴스 썸네일기업 문서 검색에 매번 큰 범용 모델을 호출하면 정확도보다 비용과 응답 시간이 먼저 문제가 돼요. Castform과 Neon은 Qwen3.5-4B Base를 특정 검색 작업에 맞게 학습해, 자체 평가에서 GPT-5.6 Sol보다 높은 점수를 기록했다고 밝혔어요. 1결과는 흥미롭지만, 적용 범위를 구분해서 봐야 해요. 공개된 수치는 범용 지능 비교가 아니라 GitLab 제품 문서에서 만든 질문에 답하는 검색 작업의 평가 결과예요. 2핵심 요약구분확인된 내용읽을 때 주의할 점모델Qwen3.5-4B Base를 검색 작업에 맞게 강화학습 후처리했어요모든 검색과 추론에서 GPT-5.6 Sol보다 낫다는 뜻은 아니에요평가 결과평균 평가 보상은 맞춤 ..
DeepSeek V4 Flash 0731, 50점 성능과 낮은 API 가격의 조건 DeepSeek V4 Flash 0731, 50점 성능과 낮은 API 가격의 조건AI 뉴스 썸네일DeepSeek V4 Flash 0731은 성능 점수와 API 가격을 함께 봐야 성격이 드러나요. Artificial Analysis 평가에서는 상위권에 올랐고, 입력과 출력 가격은 비교군 중앙값보다 낮았어요. 다만 많은 출력 토큰을 쓴 만큼 실제 서비스 비용과 응답 시간은 업무별로 따져봐야 해요. 1핵심 요약구분확인된 내용실무에서 볼 부분지능 평가Intelligence Index v4.1에서 50점, 101개 모델 중 3위한 개 종합지수이므로 실제 업무와 맞는 세부 평가도 확인해야 해요모델 구조전체 2,840억 파라미터 중 토큰마다 130억 개를 활성화하는 MoE전체 규모와 실제 추론 연산량을 구분해 봐야 ..
70개 기술 노트를 한 페이지씩 읽는 Paged Out! 제9호 70개 기술 노트를 한 페이지씩 읽는 Paged Out! 제9호Paged Out 제9호 기술 잡지 썸네일긴 기술 글을 읽기 부담스러운 날에는 한 가지 아이디어만 선명하게 보여 주는 글이 더 잘 들어와요. 무료 기술 잡지 Paged Out! 제9호는 프로그래밍, 시스템, 보안, AI, 하드웨어를 다룬 글을 한 편당 한 페이지에 담았어요. 1이번 호에는 70편이 넘는 기사와 아트워크가 실렸어요. 주제가 넓지만, 실험을 재현하거나 구현 방식을 따라가 볼 수 있는 짧은 기술 노트가 중심이에요. 2핵심 요약구분담긴 내용읽어 볼 만한 이유AI·분산 시스템의미 기반 Kademlia, 에이전트 업무 구조, 로컬 RAG익숙한 구조를 AI 작업에 연결한 실험을 짧게 볼 수 있어요.로컬 AI·GPU6GB GPU 모델 교대 ..
Cerebras가 사내 지식 검색을 하루 1만 5천 건까지 키운 설계 Cerebras가 사내 지식 검색을 하루 1만 5천 건까지 키운 설계AI 뉴스 썸네일사내 검색은 자료를 한곳에 모으는 일로 끝나지 않아요. 대화와 코드, 문서는 성격이 달라서 같은 검색 방식만 적용하면 필요한 답을 놓치기 쉬워요. Cerebras는 기존 업무 도구를 유지한 채 검색 계층을 연결했고, 출시 3개월 만에 하루 15,000건이 넘는 질문을 처리하고 있어요. 1핵심 요약구분핵심왜 볼 만한가요데이터 구조여러 출처를 공통 Postgres 임베딩 스키마에 연결했어요새 자료원을 붙여도 질의 계층을 다시 만들 필요가 적어요검색 품질전문 검색, 임베딩, IDF, 시간 감쇠를 함께 썼어요오류 코드와 자연어 질문을 한 방식으로 억지로 처리하지 않아요검색 범위채널과 저장소를 프로젝트 단위로 묶었어요조직 전체의 ..
Claude Cookbook, 데모를 넘어 운영 가능한 AI 앱까지 다뤄요 Claude Cookbook, 데모를 넘어 운영 가능한 AI 앱까지 다뤄요AI 뉴스 썸네일Claude로 기능 하나를 시험해 보는 예제는 많아요. 하지만 실제 서비스로 옮기려면 세션, 비용, 평가, 장애 대응까지 함께 설계해야 해요. Anthropic의 Claude Cookbook은 이 간격을 메우는 구현 자료를 한곳에 모았어요. 1핵심 요약구분핵심왜 볼 만한가요에이전트역할 분담, 세션 관리, 사람의 승인, 배포 예제를 제공해요단순 대화형 데모에서 운영 환경으로 넘어갈 때 빠지는 요소를 확인할 수 있어요검색과 도구RAG, 지식 그래프, SQL 생성, 도구 검색과 호출을 다뤄요필요한 기능을 주제별 예제로 골라 시험하기 쉬워요운영 품질평가, 컨텍스트 압축, 비용, 관측성, 안전장치를 함께 보여줘요응답 품질뿐 ..
AI 데이터 관리, 모델보다 입력과 의미 체계가 먼저예요 AI 데이터 관리, 모델보다 입력과 의미 체계가 먼저예요AI 데이터 관리 뉴스 썸네일기업용 생성형 AI의 답변 품질은 모델 성능만으로 정해지지 않아요. 어떤 문서를 넣었는지, 같은 용어를 조직 전체에서 같은 뜻으로 쓰는지, 오래되거나 무관한 자료를 걷어냈는지가 결과를 크게 바꿔요. 데이터웨어하우스의 개념을 만든 윌리엄 인먼은 AI 시대의 데이터 관리가 저장 위치보다 입력 텍스트와 의미 체계를 다루는 일로 옮겨가고 있다고 설명해요. 1핵심 요약구분내용실무에서 볼 점관리 대상정형 데이터에 더해 문서와 텍스트까지 관리해요사내 문서라고 모두 AI 입력에 넣으면 안 돼요통제 방식데이터베이스를 직접 고치는 대신 LLM에 들어갈 자료를 선별해요입력 전에 출처, 업무 관련성, 최신성을 확인해야 해요의미 체계온톨로지와 ..
CS 학위보다 먼저 막힌 건 신입 개발자 채용 통로예요 CS 학위보다 먼저 막힌 건 신입 개발자 채용 통로예요AI 뉴스 썸네일미국의 최근 컴퓨터과학 전공 졸업자 실업률은 6.1%예요. 숫자만 보면 CS 학위의 가치가 무너진 듯하지만, 불완전고용과 초기 소득까지 함께 보면 다른 모습이 보여요. 신입 개발자가 겪는 어려움은 전공 자체보다 공고와 실제 채용이 따로 움직이는 시장에서 더 선명하게 나타나요. 1 2핵심 요약구분확인된 내용구직자가 볼 지점졸업자 지표최근 미국 CS 졸업자 실업률은 6.1%, 컴퓨터공학은 7.5%예요실업률 하나만으로 학위의 성과를 판단하기 어려워요불완전고용공학 전공자는 20% 미만이고, 최근 졸업자 전체 평균은 42%예요전공과 무관한 일자리까지 포함해 비교해야 해요신입 채용2023년 말부터 2024년 말까지 관련 공고는 약 47% 늘었지만..
728x90

티스토리툴바