본문 바로가기

728x90

llm

(197)
GPT-5.6 Sol API 가격 인하, 긴 컨텍스트 할증까지 따져봐야 해요 GPT-5.6 Sol API 가격 인하, 긴 컨텍스트 할증까지 따져봐야 해요AI 뉴스 썸네일OpenAI가 GPT-5.6 Sol의 API 가격을 낮췄어요. 100만 토큰당 입력은 4달러, 출력은 20달러로 바뀌었어요. 다만 입력이 272K 토큰을 넘으면 요청 전체에 별도 배수가 붙어요. 긴 문서를 한 번에 넣는 서비스라면 기본 단가만 보고 비용을 잡기 어려워요. 1핵심 요약구분바뀐 내용실무에서 확인할 점기본 API 가격입력 100만 토큰당 4달러, 출력 20달러이전보다 입력은 20%, 출력은 33% 낮아졌어요캐시 입력100만 토큰당 0.40달러반복되는 시스템 지시나 공통 문맥의 캐시 활용도를 봐야 해요프로모션 기간최소 2026년 11월 21일까지장기 예산은 프로모션 이후 단가 변동도 염두에 둬야 해요긴 컨..
Claude Code 추론 설정 A/B 테스트, 성능 저하 논란과 Anthropic 해명 Claude Code 추론 설정 A/B 테스트, 성능 저하 논란과 Anthropic 해명AI 뉴스 썸네일Claude Code 일부 세션에서 사용자가 고른 추론 노력 단계와 내부 표시가 다르다는 보고가 나왔어요. Anthropic 측은 실제 추론 수준을 낮춘 게 아니라 표시 척도의 매핑을 시험한 것이라고 해명했어요. 체감 품질 논란과 공식 설명이 엇갈려서, 확인된 사실과 사용자 추측을 나눠 볼 필요가 있어요.핵심 요약구분확인된 내용개발자가 볼 점실험 대상Claude Code 2.1.236 이상 일부 세션에서 서버 측 A/B 테스트 정황이 포착됐어요같은 버전과 설정을 써도 계정이나 세션마다 내부 표시가 다를 수 있어요사용자 보고`high`를 골라도 `medium` 표기가 들어가거나 낮은 추론처럼 느껴졌다는 ..
MCP 새 로드맵, 장기 작업과 권한 위임에 집중해요 MCP 새 로드맵, 장기 작업과 권한 위임에 집중해요AI 뉴스 썸네일MCP가 다음 명세 릴리스와 이후 수개월 동안 다룰 개발 방향을 공개했어요. 오래 걸리는 작업을 제어하는 메시징 구조, 에이전트 신원과 권한 위임, 많은 도구를 효율적으로 찾는 방식이 우선 과제에 들어갔어요. 1핵심 요약구분내용메시징서버가 결과를 먼저 보내고 실행 중인 작업을 제어할 수 있도록 Tasks, 구독, 진행 알림을 정리해요.전송 방식원격 서버에서 쓰는 Streamable HTTP 모델을 로컬 실행 환경까지 넓혀요.신원과 권한클라우드에서 동작하는 에이전트와 하위 에이전트의 신원·권한 위임 방식을 표준화해요.도구 탐색처음부터 모든 도구 정의를 읽지 않고 필요한 목록을 점차 공개하는 방식을 추진해요.SDK언어별 API와 문서를 다듬..
Claude Code의 긴 설명을 로컬 LLM으로 줄이는 Vomit Claude Code의 긴 설명을 로컬 LLM으로 줄이는 VomitAI 뉴스 썸네일Claude Code의 답변이 길어져 필요한 내용만 찾기 어려울 때가 있어요. Vomit은 화면에 표시될 답변을 로컬 LLM에 한 번 더 보내고, 읽기 쉬운 문장으로 줄여 주는 작은 개발자 도구예요. 1핵심 요약구분내용하는 일Claude Code가 사용자에게 보여 줄 최종 메시지를 로컬 LLM으로 다시 써요.처리 범위작업 파일이나 실행 내역에는 접근하지 않고 표시용 텍스트만 읽어요.실행 환경Llama.app, Ollama, OpenAI API 호환 로컬 서버를 연결할 수 있어요.사용 방식Hook으로 기존 출력을 바꾸거나 원문 옆에서 별도로 따라갈 수 있어요.주의점로컬 모델이 작업 맥락을 몰라 중요한 내용을 빼거나 잘못 요약..
코딩 에이전트가 성능 최적화 비용을 낮추고 있어요 코딩 에이전트가 성능 최적화 비용을 낮추고 있어요IT & AI 뉴스 썸네일성능 최적화는 구현보다 검증에 시간이 많이 드는 작업이에요. 코딩 에이전트는 코드 수정과 벤치마크 반복에 드는 사람의 시간을 줄여요. 몇 분간 지시한 실험에서 긴 정규식 검색이 2~4배 빨라졌고, 대표 홀드아웃 쿼리도 약 7% 개선됐어요. 다만 벤치마크를 잘못 잡으면 특정 입력에만 빠른 코드가 나올 수 있어요. 1핵심 요약구분확인된 결과함께 봐야 할 조건정규식 검색네이티브 AOT 전환으로 단순한 장시간 검색은 2~4배 빨라졌어요대표 홀드아웃 쿼리의 개선 폭은 약 7%였어요게임 AI멀티스레딩과 반복 최적화로 적은 개발 시간과 장비에서도 강한 Azul AI를 만들었어요속도가 2배가 될 때마다 약 100 Elo가 올랐지만, 게임별 특성이..
AI가 쓴 글이 읽히지 않는 이유, 업무 문서의 신뢰 비용 AI가 쓴 글이 읽히지 않는 이유, 업무 문서의 신뢰 비용AI 뉴스 썸네일AI로 만든 업무 문서가 늘면서 새로운 비용이 생기고 있어요. 문서를 빠르게 쓰는 사람은 시간을 아끼지만, 읽는 사람은 긴 문장에서 사실과 결정을 다시 찾아야 해요. 문장에 익숙한 AI 흔적이 보이면 내용까지 건너뛰게 된다는 경험담도 나왔어요. 1핵심 요약구분핵심왜 볼 만한가요업무 문서과장된 표현과 장황한 설명이 독자의 집중을 끊어요작성 시간보다 검토 시간과 재질문 횟수가 늘 수 있어요신뢰AI 문체를 감지한 독자가 내용까지 자동으로 낮게 평가해요정확한 정보도 표현 때문에 읽히지 않을 수 있어요작성 기준결정, 근거, 미확정 항목을 먼저 보여줘야 해요사람이 검토해야 할 지점을 빠르게 찾을 수 있어요1. AI 문체를 알아챈 순간 내용도 ..
Claude 에이전트가 화면 조작부터 파일 반환까지 맡는 방법 Claude 에이전트가 화면 조작부터 파일 반환까지 맡는 방법AI 뉴스 썸네일Claude Platform의 Computer Use, Skills API, Files API가 정식 제공 단계에 들어갔어요. 화면을 조작하고 조직의 업무 규칙을 적용한 뒤 결과 파일까지 돌려주는 작업을 하나의 흐름으로 묶을 수 있어요. 1핵심 요약구분핵심왜 볼 만한가요화면 조작Computer Use가 화면을 보고 클릭, 입력, 스크롤해요전용 API가 없는 오래된 업무 시스템도 다룰 수 있어요웹 조작Browser Use Tool이 페이지 구조를 읽고 필드와 버튼을 찾아요화면 좌표만 쓰는 방식보다 웹 요소를 구체적으로 지정할 수 있어요업무 지식Skills API가 지침, 스크립트, 템플릿을 묶어 관리해요여러 요청에서 같은 절차와 ..
내 컴퓨터에서 음성 AI를 돌리는 Hugging Face Speech To Speech 내 컴퓨터에서 음성 AI를 돌리는 Hugging Face Speech To SpeechAI 뉴스 썸네일말을 듣고 답하는 AI를 만들려면 음성 감지, 받아쓰기, 답변 생성, 음성 합성을 차례로 연결해야 해요. Hugging Face의 Speech To Speech는 이 과정을 한 파이프라인으로 묶고, 각 부품을 원하는 모델로 바꿀 수 있게 만든 오픈소스 프로젝트예요. 1핵심 요약구분내용처리 구조VAD, STT, LLM, TTS가 각각 별도 스레드에서 움직이고 큐로 데이터를 넘겨요.연결 방식OpenAI Realtime의 핵심 이벤트를 WebSocket과 WebRTC로 제공해요.모델 선택STT, LLM, TTS를 하드웨어와 언어에 맞춰 교체할 수 있어요.로컬 실행llama.cpp, vLLM, MLX LM 같은..
AI 답변을 보내기 전에 내 판단을 보태야 하는 이유 AI 답변을 보내기 전에 내 판단을 보태야 하는 이유AI 뉴스 썸네일생성형 AI가 몇 초 만에 그럴듯한 답을 만들어 주는 시대예요. 하지만 동료가 듣고 싶은 건 어디서나 얻을 수 있는 일반론보다 지금 상황을 아는 사람의 판단일 때가 많아요. 모델이 쓴 문장을 전달하기 전에 무엇을 남기고 무엇을 덜어낼지 정하는 과정이 필요한 이유예요. 1핵심 요약구분핵심왜 볼 만한가요AI 활용모델 답변은 완성품보다 생각을 시작하는 재료로 써요답변을 읽고 고치는 동안 오류와 빠진 맥락을 찾을 수 있어요업무 소통상대가 물은 부분만 골라 자신의 판단과 함께 보내요짧은 답도 결정 이유가 드러나면 다음 행동으로 이어지기 쉬워요책임인용할 내용과 동의 범위를 분명히 밝혀요누가 어떤 판단을 했는지 흐려지는 일을 줄일 수 있어요1. 복사..
OpenRouter가 Stripe에 합류해도 모델 중립성은 유지될까요 OpenRouter가 Stripe에 합류해도 모델 중립성은 유지될까요AI 뉴스 썸네일여러 AI 모델을 한 API로 연결해 주는 OpenRouter가 Stripe에 합류해요. OpenRouter는 이름과 제품, 로드맵, 기존 연동 방식을 유지하겠다고 밝혔어요. 거래는 아직 통상적인 종결 조건을 남겨 두고 있으며, 양사는 몇 주 안에 마무리될 것으로 보고 있어요. 1핵심 요약구분핵심왜 볼 만한가요거래OpenRouter가 Stripe에 합류해요결제 인프라 기업이 AI 추론 유통망까지 사업 범위를 넓혀요서비스기존 API와 제품 로드맵을 유지해요당장 연동을 바꿀 필요는 없다는 게 회사의 설명이에요규모400개 넘는 모델에서 하루 10조 개 넘는 토큰을 처리해요모델 선택과 비용 관리가 큰 인프라 사업으로 성장했어요쟁..

728x90