AI 추론 비용 싸움에 AMD MI355X가 끼어들었어요

AI 모델을 쓰는 비용은 모델 품질만큼이나 인프라 선택에 크게 좌우돼요. Wafer는 GLM-5.2를 AMD MI355X에서 돌리며, NVIDIA Blackwell보다 낮은 장비 비용으로 꽤 가까운 추론 처리량을 낼 수 있다고 주장했어요. 핵심은 GPU 가격보다 CUDA와 ROCm 사이의 소프트웨어 격차를 얼마나 줄일 수 있느냐예요.

728x90

핵심 요약

구분	핵심	왜 볼 만한가요
AI 인프라	Wafer는 AMD MI355X가 B300보다 GPU당 평균 약 2.75배 저렴하다고 설명해요	추론 수요가 늘수록 모델 제공사의 원가 구조가 서비스 가격에 바로 영향을 줘요
성능 테스트	GLM-5.2 워크로드에서 2626 tok/s/node와 2.4 rps를 기록했어요	B200 측정값의 80% 수준이라는 비교가 나와 AMD 대안론에 힘을 보태요
소프트웨어	sglang, MXFP4 양자화, speculative decode, MoE 커널 선택 튜닝이 성능 개선의 중심이에요	하드웨어보다 프레임워크 지원과 day-0 최적화가 실제 도입 난이도를 가르는 구간이에요
주의점	단일 노드 테스트이고, 양자화 품질과 전력 효율 논쟁은 남아 있어요	비용 비교를 그대로 일반화하기보다 워크로드와 운영 환경을 함께 봐야 해요

1. AMD GPU가 AI 추론 원가 경쟁의 선택지로 보이기 시작했어요

Wafer가 공개한 글은 GLM-5.2를 AMD MI355X에서 최적화한 실험을 다뤄요. 회사는 추론 수요가 GPU 공급을 앞지르고, NVIDIA 장비와 토큰 비용이 함께 비싸지는 상황을 배경으로 잡았어요. 이때 MI355X가 B300보다 GPU당 평균 약 2.75배 저렴하다면, 같은 예산으로 더 많은 추론 용량을 확보할 여지가 생겨요. 1 2

숫자만 보면 메시지는 단순해요. Wafer는 20k 입력 토큰, 1k 출력 토큰, 60% 캐시 히트율 워크로드에서 2626 tok/s/node와 2.4 rps를 기록했다고 밝혔어요. B200에서 측정한 성능의 80% 수준이고, MI355X가 2배 이상 저렴하다는 점을 함께 제시했어요. 단일 스트림 기준으로는 10k 입력 토큰, 1.5k 출력 토큰에서 213 tok/s를 냈다고 설명해요. 2

다만 이 글은 “AMD가 곧 NVIDIA를 이긴다”는 단순한 이야기는 아니에요. Wafer도 NVIDIA의 day-0 지원과 소프트웨어 생태계가 최신 모델 서빙에서 여전히 큰 장점이라고 봐요. 최신 모델이 빠르게 바뀌는 환경에서는 실행 가능한 이미지, 프레임워크 지원, 커널 튜닝이 없으면 몇 주가 쉽게 사라져요.

성능 개선은 커스텀 커널보다 운영 튜닝에 가까웠어요

이번 실험에서 눈에 띄는 부분은 커스텀 커널을 새로 쓰지 않았다는 점이에요. Wafer는 bf16 GLM-5.2를 AMD Quark로 MXFP4 양자화하고, vLLM·ATOM·sglang을 비교한 뒤 sglang 쪽을 골랐어요. vLLM은 MXFP4 경로를 제대로 활용하지 못했고, ATOM은 긴 컨텍스트에서 출력 품질 문제가 있었다고 설명해요. 2

이후 병목은 꽤 현실적인 곳에서 나왔어요. speculative decode를 켜려 했지만 ROCm 이미지가 기본 지원하지 않았고, 모듈 이름 불일치와 CUDA include guard 문제를 고쳐야 했어요. 그 뒤 `--kv-cache-dtype fp8_e4m3`, `--enable-aiter-allreduce-fusion` 같은 설정을 더해 단일 스트림 디코드 213 tok/s에 도달했어요. 2

집계 처리량에서는 prefill 병목이 더 컸어요. TP8 구성에서 1461 tok/s/node였던 결과가 TP4×DP2 구성에서는 1944 tok/s/node까지 올라갔고, GLM의 fp4 MoE shape에 맞춰 커널 선택을 튜닝하면서 2626 tok/s/node까지 갔어요. 이 과정은 AMD 생태계가 못 쓸 수준이라는 얘기와는 거리가 있어요. 대신 최신 모델을 바로 잘 돌리려면 아직 손이 많이 간다는 쪽에 가까워요.

비용 비교에는 전력과 품질도 같이 봐야 해요

GeekNews에 붙은 Hacker News 의견에서는 와트당 성능과 양자화 품질도 함께 보자는 지적이 나왔어요. GPU 가격이 낮아도 데이터센터 전력 한도, 전력 효율, 냉각 여유가 부족하면 실제 배치 규모는 달라질 수 있어요. 또 MXFP4 같은 4비트 양자화가 모든 워크로드에서 무손실에 가깝다고 보기도 어려워요. 1

Wafer도 평가표에서 MXFP4가 GPQA-Diamond, tau2, GSM8K에서 큰 손실 없이 나온다고 제시했지만, 이 결과를 모든 모델과 서비스 품질에 그대로 옮기기는 어려워요. 모델 제공사가 “초당 토큰 수”만 앞세울 때는 어떤 양자화 포맷을 썼는지, 긴 컨텍스트 품질이 유지되는지, 실제 사용자 요청 분포와 비슷한지 따로 봐야 해요. 2

그래도 이번 사례가 의미 있는 이유는 있어요. AMD에서 좋은 성능을 내는 문제가 점점 “불가능한 소프트웨어”가 아니라 “지원과 운영 튜닝”의 문제로 이동하고 있다는 점이에요. CUDA 생태계의 우위가 사라졌다는 뜻은 아니지만, GPU 공급이 빡빡한 팀에게 AMD는 실험해 볼 만한 카드가 되고 있어요.

왜 중요한가요

AI 서비스 운영자는 모델 자체보다 추론 원가에 먼저 막히는 경우가 많아요. 같은 모델이라도 GPU 단가, 캐시 히트율, prefill 병목, 양자화 방식에 따라 토큰당 비용이 크게 달라져요. Wafer의 결과는 AMD MI355X가 일부 워크로드에서 비용 대비 성능 후보가 될 수 있다는 신호예요. 2

개발팀 입장에서는 “어떤 GPU가 빠른가”보다 “내 모델을 오늘 안정적으로 띄울 수 있는가”가 더 중요해요. NVIDIA는 day-0 지원과 CUDA 생태계 덕분에 이 부분에서 여전히 강해요. AMD가 경쟁하려면 칩 사양뿐 아니라 ROCm 이미지, 프레임워크 패치, 모델별 레퍼런스 구성이 더 빨리 따라와야 해요.

이번 글은 AI 인프라 시장이 가격표 하나로 움직이지 않는다는 점도 보여줘요. 낮은 GPU 가격은 강력한 출발점이지만, 양자화 품질과 전력 효율, 엔지니어링 시간까지 합쳐야 실제 총비용이 나와요. AMD가 이 마찰을 줄일수록 추론 시장의 선택지는 넓어지고, NVIDIA 중심 가격 구조에도 압력이 생길 수 있어요.

참고 자료

달러당 성능이 더 빠르고 저렴해지고 있음 — GeekNews
Performance per dollar is getting faster and cheaper — Wafer

728x90