본문 바로가기
728x90

ollama

 (6)
Claude Code의 긴 설명을 로컬 LLM으로 줄이는 Vomit Claude Code의 긴 설명을 로컬 LLM으로 줄이는 VomitAI 뉴스 썸네일Claude Code의 답변이 길어져 필요한 내용만 찾기 어려울 때가 있어요. Vomit은 화면에 표시될 답변을 로컬 LLM에 한 번 더 보내고, 읽기 쉬운 문장으로 줄여 주는 작은 개발자 도구예요. 1핵심 요약구분내용하는 일Claude Code가 사용자에게 보여 줄 최종 메시지를 로컬 LLM으로 다시 써요.처리 범위작업 파일이나 실행 내역에는 접근하지 않고 표시용 텍스트만 읽어요.실행 환경Llama.app, Ollama, OpenAI API 호환 로컬 서버를 연결할 수 있어요.사용 방식Hook으로 기존 출력을 바꾸거나 원문 옆에서 별도로 따라갈 수 있어요.주의점로컬 모델이 작업 맥락을 몰라 중요한 내용을 빼거나 잘못 요약..
Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실 Qwen3.8 2.4T를 397GB로 줄인 Unsloth, 로컬 실행의 현실Qwen3.8 로컬 실행 썸네일Unsloth가 Qwen3.8-2.4T-A95B를 397GB까지 줄인 GGUF와 실행 가이드를 공개했어요. 4.9TB에 이르는 BF16 모델보다 91% 작지만, 일반 노트북에서 가볍게 돌리는 모델은 아니에요. 수백 GB 메모리를 갖춘 워크스테이션에서 초대형 MoE 모델을 직접 운영할 길을 연 사례에 가까워요. 1핵심 요약구분공개된 내용실제 의미모델 구조전체 2.4조 파라미터, 토큰당 950억 파라미터 활성화모든 가중치를 매번 계산하지 않는 MoE 모델이에요저장·메모리 규모BF16 4.9TB, Dynamic 1-bit XXXS 397GB91% 줄었어도 고사양 워크스테이션이 필요해요중간 선택지1-bit ..
20GB 안으로 들어온 30B 코딩 모델, Meta Muse Glimmer 20GB 안으로 들어온 30B 코딩 모델, Meta Muse GlimmerAI 뉴스 썸네일Meta가 30B 파라미터 로컬 코딩 모델 Muse Glimmer를 공개했어요. 약 4비트로 양자화한 모델은 20GB보다 작아서 24GB나 32GB 메모리를 갖춘 Mac·PC에서 에이전트 작업을 돌리는 구성을 겨냥해요. 1핵심 요약구분핵심왜 볼 만한가요공개 방식30B 모델 가중치를 Apache 2.0 라이선스로 공개했어요사용 조건이 비교적 명확한 오픈 웨이트 코딩 모델 선택지가 늘었어요로컬 실행약 4비트 양자화로 모델 크기를 20GB 미만으로 줄였어요24GB·32GB급 소비자 하드웨어에서 로컬 에이전트를 구성할 수 있어요작업 범위함수 호출, 코드 작성·디버깅, 도구 오류 복구, 이미지 입력을 다뤄요단순 코드 완성보다..
Instatic, 비주얼 편집과 정적 사이트 제작을 한곳에 묶었어요 Instatic, 비주얼 편집과 정적 사이트 제작을 한곳에 묶었어요IT & AI 뉴스 썸네일웹사이트를 직접 운영하려면 CMS, 프레임워크, 호스팅, 폼, 미디어 저장소를 따로 고르는 경우가 많아요. Instatic은 이 구성 요소를 하나의 Bun 서버에 묶고, 편집 결과를 시맨틱 HTML과 압축된 CSS로 내보내는 셀프호스팅 비주얼 CMS예요. 1핵심 요약구분내용운영 방식비주얼 에디터, 콘텐츠, 미디어, 인증, 폼, 플러그인, 퍼블리셔를 한 Bun 서버에서 다뤄요.데이터베이스기본 개발 환경은 SQLite를 쓰고, 여러 작성자나 관리형 백업이 필요하면 PostgreSQL을 선택할 수 있어요.공개 페이지게시할 때 정적 파일을 만들며, 일반 경로에서는 프레임워크 부팅이나 데이터베이스 왕복을 줄여요.확장 기능백..
오픈 웨이트 AI, 모델보다 생태계 경쟁이 중요해졌어요 오픈 웨이트 AI, 모델보다 생태계 경쟁이 중요해졌어요IT & AI 뉴스 썸네일오픈 웨이트 AI의 경쟁 기준이 모델 한 개의 성능에서 그 주변의 도구와 운영 체계로 넓어지고 있어요. Kubernetes가 공통 기반 위에 네트워킹, 스토리지, 관측성 도구를 키웠듯이 AI에서도 모델 서빙과 미세조정, 평가, 런타임이 하나의 생태계로 묶이는 흐름이에요. 다만 모델 가중치를 공개하는 것과 완전한 오픈 소스는 구분해서 봐야 해요. 1핵심 요약구분핵심왜 볼만한가요경쟁 단위모델 성능뿐 아니라 서빙, 평가, 관측성, 미세조정 도구가 함께 경쟁해요실제 도입 비용과 공급자 변경 가능성은 주변 도구에서 크게 갈려요오픈 웨이트학습된 가중치는 내려받아 수정할 수 있지만 학습 데이터와 전체 과정은 대개 공개되지 않아요오픈 소스 ..
Bento는 560KB HTML 파일 하나에 편집기와 발표 도구를 담았어요 Bento는 560KB HTML 파일 하나에 편집기와 발표 도구를 담았어요Bento 단일 파일 오피스 도구 썸네일프레젠테이션 파일을 열기 위해 같은 프로그램과 계정부터 맞출 필요가 없는 도구가 나왔어요. Bento/Slides는 슬라이드와 편집기, 발표 화면을 약 560KB짜리 `.bento.html` 파일 하나에 묶어요. 최신 브라우저에서 파일을 열면 곧바로 편집하고 발표할 수 있어요. 1핵심 요약구분핵심왜 볼 만한가요파일 구조문서 데이터와 실행 도구가 HTML 파일 하나에 함께 들어가요별도 설치와 계정 없이 파일 자체를 보관하고 전달할 수 있어요AI 편집슬라이드 데이터가 읽을 수 있는 JSON 블록으로 남아요파일을 다루는 코딩 도구가 문서 구조만 고쳐 새 슬라이드를 만들 수 있어요발표 기능Morph ..
728x90

티스토리툴바