본문 바로가기
728x90

CUDA

 (6)
엔비디아가 AI 데이터센터의 잔존가치까지 보증하는 이유 엔비디아가 AI 데이터센터의 잔존가치까지 보증하는 이유AI 뉴스 썸네일엔비디아가 AI 데이터센터를 기관투자자가 살 수 있는 인프라 자산으로 바꾸려 해요. 목표는 5,000억 달러가 넘는 외부 자본을 끌어오는 것이지만, 투자 기회당 최대 25%의 잔존가치를 엔비디아가 보증하는 조건이 붙어요. 칩을 파는 회사가 데이터센터의 미래 가격까지 책임지는 구조라서 숫자보다 계약의 위험 배분을 먼저 봐야 해요. 1핵심 요약구분핵심왜 볼 만한가요자금 조달엔비디아는 자산운용사들과 AI 인프라 금융 플랫폼을 만들고 5,000억 달러 이상의 제3자 자본을 목표로 해요데이터센터 건설 비용을 빅테크의 현금과 회사채만으로 감당하기 어려워졌다는 뜻이에요위험 분담엔비디아가 투자 기회당 최대 25%의 잔존가치를 보증해요GPU 수요가 예..
FFmpeg 9.0 Lei 공개, GPU 가속과 미디어 형식 지원이 넓어졌어요 FFmpeg 9.0 Lei 공개, GPU 가속과 미디어 형식 지원이 넓어졌어요FFmpeg 9.0 Lei 업데이트 썸네일FFmpeg 9.0 ‘Lei’가 8.1 출시 약 4개월 만에 나왔어요. 이번 버전은 GPU를 활용하는 영상 처리 경로를 넓히고, 방송·HDR·이미지·게임에서 쓰는 형식을 새로 지원해요. 기존 기능 일부도 제거돼서 서버나 미디어 파이프라인을 올리기 전에는 호환성 확인이 필요해요. 1핵심 요약구분달라진 점확인할 부분하드웨어 가속APV Vulkan과 ProRes RAW VideoToolbox 가속이 추가됐어요운영 장비의 GPU, 드라이버, 빌드 옵션을 함께 확인해야 해요미디어 형식애니메이션 WebP, Playdate 영상, HE-AAC 960 처리를 지원해요입력 파일과 출력 컨테이너별 회귀 테..
27B 모델을 3.9GB에 담은 Bonsai 27B, 휴대폰 로컬 AI의 새 실험 27B 모델을 3.9GB에 담은 Bonsai 27B, 휴대폰 로컬 AI의 새 실험AI 뉴스 썸네일27B급 언어 모델은 보통 휴대폰 메모리 안에 넣기 어려워요. PrismML은 Qwen3.6 27B를 저비트 가중치로 다시 구성한 Bonsai 27B를 공개했어요. 회사가 제시한 가장 작은 모델의 가중치 용량은 3.9GB예요. 아이폰에서 추론과 도구 호출, 비전 작업을 함께 처리하는 온디바이스 에이전트를 겨냥했어요. 1핵심 요약구분공개된 내용확인할 점모델 크기삼진 모델은 5.9GB, 1비트 모델은 3.9GB예요앱이 쓸 수 있는 메모리에는 KV 캐시와 활성값도 함께 들어가요성능회사의 15개 벤치마크 종합 점수는 삼진 80.5점, 1비트 76.1점이에요완전 정밀도 기준점 85.0과 비교한 자체 평가 결과예요기능추..
AI 답변 한 줄이 데이터센터를 통과하는 15단계 AI 답변 한 줄이 데이터센터를 통과하는 15단계AI 뉴스 썸네일AI 서비스에 질문을 보내면 화면에는 글자가 한 토큰씩 나타나요. 그 짧은 시간에 요청은 인증과 라우팅을 거쳐 GPU에 배치되고, GPU 메모리와 서버 간 연결망을 통과해요. 답변 속도와 비용은 모델 크기만으로 정해지지 않아요. 캐시 적중률, 메모리 대역폭, 배치 방식, 네트워크 혼잡까지 함께 작용해요. 1핵심 요약구분실제로 일어나는 일서비스 운영에서 볼 지점요청 진입토큰화, 인증, 과금 등급 확인, 부하 분산을 거쳐요요청 제한과 캐시 친화적 라우팅이 초기 비용을 바꿔요프리필입력 토큰을 병렬로 읽고 KV 캐시를 만들어요입력 길이와 연산량이 첫 토큰 대기시간에 영향을 줘요디코드이전 결과를 참고해 다음 토큰을 하나씩 만들어요HBM 대역폭과 출력..
로컬 TTS 모델 55종을 한자리에서 비교하는 tts-bench가 나왔어요 로컬 TTS 모델 55종을 한자리에서 비교하는 tts-bench가 나왔어요AI 뉴스 썸네일로컬에서 돌릴 수 있는 TTS 모델은 빠르게 늘었지만, 실제로 고르기는 꽤 번거로워요. tts-bench는 55개 음성 합성 모델을 속도, 청취 예시, 객관 지표로 나눠 비교할 수 있게 만든 오픈소스 벤치마크예요.핵심 요약구분핵심왜 볼 만한가요모델 범위로컬 TTS 모델 55종을 비교해요모델별 데모를 따로 찾아 듣는 시간을 줄일 수 있어요측정 방식TTFA, RTF, 메모리, UTMOS, WER, SIM을 나눠 봐요빠른 모델과 듣기 좋은 모델을 같은 기준으로 섞어 판단하지 않게 돼요실행 환경CPU, CUDA, Apple Silicon 결과를 따로 보여줘요보유한 장비에서 쓸 만한 모델을 먼저 좁힐 수 있어요청취 테스트설치..
AI 추론 비용 싸움에 AMD MI355X가 끼어들었어요 AI 추론 비용 싸움에 AMD MI355X가 끼어들었어요AI 뉴스 썸네일AI 모델을 쓰는 비용은 모델 품질만큼이나 인프라 선택에 크게 좌우돼요. Wafer는 GLM-5.2를 AMD MI355X에서 돌리며, NVIDIA Blackwell보다 낮은 장비 비용으로 꽤 가까운 추론 처리량을 낼 수 있다고 주장했어요. 핵심은 GPU 가격보다 CUDA와 ROCm 사이의 소프트웨어 격차를 얼마나 줄일 수 있느냐예요.핵심 요약구분핵심왜 볼 만한가요AI 인프라Wafer는 AMD MI355X가 B300보다 GPU당 평균 약 2.75배 저렴하다고 설명해요추론 수요가 늘수록 모델 제공사의 원가 구조가 서비스 가격에 바로 영향을 줘요성능 테스트GLM-5.2 워크로드에서 2626 tok/s/node와 2.4 rps를 기록했어요B..
728x90

티스토리툴바