HBM (5) 썸네일형 리스트형 DDR5 64GB가 1년 새 5배, 메모리 가격은 왜 이렇게 올랐을까요 DDR5 64GB가 1년 새 5배, 메모리 가격은 왜 이렇게 올랐을까요AI 뉴스 썸네일DDR5 메모리 가격이 PC 한 대의 예산을 흔들 만큼 올랐어요. 64GB 키트의 평균 가격은 1년 전 200달러 안팎에서 1,100달러를 넘었고, 고용량 제품일수록 상승 폭이 더 컸어요. AI 데이터센터가 DRAM과 HBM 공급을 빠르게 흡수하는 동안 일반 PC와 스마트폰용 물량이 부족해졌다는 분석이 나와요. 1 2핵심 요약구분확인된 변화실제로 달라지는 점DDR5 평균 가격DDR5-5600 64GB는 191달러에서 1,118달러로 올랐어요개발용 PC와 워크스테이션의 메모리 증설 비용이 크게 늘어요고용량 키트DDR5-6400 128GB의 현재 최저가는 3,399달러예요과거 최저가 329달러와 비교하면 10배가 넘어요DD.. 2027년 DRAM 물량 매진설, AI가 메모리 가격을 밀어 올려요 2027년 DRAM 물량 매진설, AI가 메모리 가격을 밀어 올려요AI 뉴스 썸네일삼성전자와 SK하이닉스, 마이크론의 2027년 DRAM 생산 물량이 이미 계약됐다는 보도가 나왔어요. AI 데이터센터가 HBM과 서버용 메모리를 장기 계약으로 먼저 확보하면서 소비자용 RAM과 SSD 가격에도 부담이 번지고 있어요. 다만 세 제조사가 생산 물량 매진 여부를 공식 확인한 것은 아니어서 확정된 공급 계획과 업계 보도를 구분해서 봐야 해요. 1핵심 요약구분핵심왜 볼 만한가요DRAM·HBM2027년 생산 물량이 선판매됐다는 업계 보도가 나왔어요AI 기업의 장기 계약이 향후 공급 여유를 줄일 수 있어요확인 범위삼성전자·SK하이닉스·마이크론은 해당 내용을 공식 확인하지 않았어요‘매진’이라는 표현을 확정 사실로 받아들이.. Kimi K3를 한 노드에 담은 AMD MI355X, 비용 효율은 B300을 앞섰어요 Kimi K3를 한 노드에 담은 AMD MI355X, 비용 효율은 B300을 앞섰어요AI 뉴스 썸네일2.8조 매개변수 규모의 Kimi K3를 AMD MI355X 8개로 구성한 한 노드에서 구동한 결과가 나왔어요. 엔비디아 B300이 절대 처리량에서는 빨랐지만, Wafer가 적용한 시간당 대여료로 계산하면 MI355X가 달러당 처리량에서 앞섰어요. 1핵심 요약구분핵심왜 볼 만한가요메모리 구성MI355X는 GPU당 288GB VRAM으로 Kimi K3와 100만 토큰 KV 캐시를 8개 GPU 한 노드에 담았어요초대형 모델은 연산 속도뿐 아니라 한 노드에 들어가는지가 비용과 통신량을 바꿔요처리량MI355X는 총 952 tok/s와 단일 스트림 118 tok/s를 기록했어요B200 두 노드 구성보다 노드당 처리.. AI 시대엔 왜 하드웨어가 소프트웨어보다 강해졌을까요 AI 시대엔 왜 하드웨어가 소프트웨어보다 강해졌을까요AI 뉴스 썸네일SaaS는 사용자가 늘어도 추가 비용이 크지 않아 높은 총마진을 만들기 쉬웠어요. AI 서비스는 요청이 들어올 때마다 모델을 실행해야 해요. 칩, 메모리, 전력, 데이터센터와 추론 비용이 매출원가로 붙으면서 돈이 모이는 위치도 달라지고 있어요. 1핵심 요약구분지금 벌어지는 변화사업자가 확인할 점반도체·컴퓨팅CoWoS, HBM, 전력이 공급을 제한해요칩 성능보다 패키징과 전력 확보가 성장 속도를 가를 수 있어요모델·추론공개 모델의 성능과 가격 격차가 빠르게 줄어요모델 자체보다 빠르고 저렴하게 운영하는 역량이 중요해요데이터이전하기 어려운 기업 데이터와 업무 흐름에 비용이 쌓여요독점 데이터와 기록 시스템이 교체 비용을 만들어요애플리케이션추론비.. AI 답변 한 줄이 데이터센터를 통과하는 15단계 AI 답변 한 줄이 데이터센터를 통과하는 15단계AI 뉴스 썸네일AI 서비스에 질문을 보내면 화면에는 글자가 한 토큰씩 나타나요. 그 짧은 시간에 요청은 인증과 라우팅을 거쳐 GPU에 배치되고, GPU 메모리와 서버 간 연결망을 통과해요. 답변 속도와 비용은 모델 크기만으로 정해지지 않아요. 캐시 적중률, 메모리 대역폭, 배치 방식, 네트워크 혼잡까지 함께 작용해요. 1핵심 요약구분실제로 일어나는 일서비스 운영에서 볼 지점요청 진입토큰화, 인증, 과금 등급 확인, 부하 분산을 거쳐요요청 제한과 캐시 친화적 라우팅이 초기 비용을 바꿔요프리필입력 토큰을 병렬로 읽고 KV 캐시를 만들어요입력 길이와 연산량이 첫 토큰 대기시간에 영향을 줘요디코드이전 결과를 참고해 다음 토큰을 하나씩 만들어요HBM 대역폭과 출력.. 이전 1 다음
