AI 시대엔 왜 하드웨어가 소프트웨어보다 강해졌을까요

AI 시대엔 왜 하드웨어가 소프트웨어보다 강해졌을까요

AI 뉴스 썸네일

SaaS는 사용자가 늘어도 추가 비용이 크지 않아 높은 총마진을 만들기 쉬웠어요. AI 서비스는 요청이 들어올 때마다 모델을 실행해야 해요. 칩, 메모리, 전력, 데이터센터와 추론 비용이 매출원가로 붙으면서 돈이 모이는 위치도 달라지고 있어요. 1

핵심 요약

구분	지금 벌어지는 변화	사업자가 확인할 점
반도체·컴퓨팅	CoWoS, HBM, 전력이 공급을 제한해요	칩 성능보다 패키징과 전력 확보가 성장 속도를 가를 수 있어요
모델·추론	공개 모델의 성능과 가격 격차가 빠르게 줄어요	모델 자체보다 빠르고 저렴하게 운영하는 역량이 중요해요
데이터	이전하기 어려운 기업 데이터와 업무 흐름에 비용이 쌓여요	독점 데이터와 기록 시스템이 교체 비용을 만들어요
애플리케이션	추론비가 매출원가에 포함돼 SaaS보다 마진이 낮아질 수 있어요	얇은 래퍼를 넘어설 데이터, 유통망, 규제 업무가 필요해요

1. AI의 돈은 칩과 데이터센터로 내려가고 있어요

Wing Venture Capital은 AI 산업의 가치가 애플리케이션에서 반도체, 컴퓨팅, 데이터, 추론 플랫폼으로 내려가고 있다고 분석했어요. 글에 따르면 엔비디아의 2026년 4월 종료 분기 데이터센터 매출은 752억 달러로 전년보다 92% 늘었어요. 같은 글이 집계한 4대 하이퍼스케일러의 2026년 1분기 설비투자는 약 1,310억 달러예요. 2

돈만 많이 쓴다고 공급을 바로 늘릴 수 있는 것도 아니에요. 첨단 패키징인 CoWoS, 고대역폭 메모리 HBM, 데이터센터 전력이 동시에 필요해요. 생산능력과 전력망은 분기 단위로 급히 늘리기 어려워요. 이 물리적 제약을 확보한 기업이 가격과 공급 일정에서 유리해져요.

728x90

공개 모델이 많아질수록 운영 기술이 비싸져요

공개 가중치 모델은 선택지가 빠르게 늘고 있어요. 성능 격차도 좁아지고 있어 특정 모델 하나만으로 차별화하기가 어려워졌어요. 반면 실제 서비스에는 처리량, 지연시간, 캐시, 라우팅, 평가, 가드레일을 함께 맞춰야 해요. 모델 파일을 구하는 일보다 안정적인 추론 환경을 만드는 일이 더 어려운 셈이에요.

이 구조에서는 Fireworks AI, Together AI, Baseten처럼 공개 모델을 빠르고 저렴하게 실행해 주는 사업자가 비용을 받아요. 원문은 월 500억 개의 출력 토큰을 처리하는 사례에서 최전선 API와 공개 모델 추론 플랫폼의 비용 차이가 90%를 넘을 수 있다고 계산했어요. 모델, 문맥 길이, 이용률에 따라 실제 비용은 달라질 수 있는 예시예요. 2

AI 앱은 SaaS의 마진 공식을 그대로 쓰기 어려워요

전통적인 SaaS는 사용자가 한 명 늘 때 드는 추가 비용이 작았어요. AI 앱은 질문이나 작업이 발생할 때마다 추론비가 생겨요. 원문이 인용한 2026년 ICONIQ 자료에서는 성장 단계 AI 기업의 추론비가 평균적으로 매출의 약 23%를 차지해요. 그래서 AI 앱의 총마진이 50~60%에 머물 수 있다는 분석이 나와요.

모든 AI 앱이 약해진다는 뜻은 아니에요. 고객이 업무 중 쌓는 독점 데이터, 쉽게 옮길 수 없는 기록 시스템, 규제에 맞춘 업무 절차, 강한 유통망이 있으면 교체 비용을 만들 수 있어요. 사용한 모델 이름보다 고객이 떠날 때 잃는 데이터와 업무 맥락이 무엇인지 먼저 따져야 해요.

왜 중요한가요

AI 제품을 만드는 팀은 모델 성능뿐 아니라 매출 한 건에 들어가는 추론비와 인프라 비용을 함께 계산해야 해요. 사용량이 늘수록 비용도 비슷한 비율로 늘면 SaaS에서 쓰던 가격 정책으로는 총마진을 지키기 어려워요. 캐시, 작은 모델 혼합, 배치 처리, 전용 추론 플랫폼을 제품 설계 초기에 검토할 이유예요. 2

투자 규모가 크다는 사실만으로 수익성이 보장되지는 않아요. 데이터센터 이용률이 낮거나 추론 단가가 예상보다 빨리 떨어지면 막대한 설비투자의 회수 기간이 길어질 수 있어요. 반대로 추론비가 충분히 낮아지면 애플리케이션의 마진은 다시 좋아질 수 있어요. 앞으로는 하이퍼스케일러의 설비투자 대비 매출, AI 앱의 총마진, HBM 가격과 공급량을 함께 보는 편이 정확해요.

참고 자료

1. 소프트웨어가 세상을 먹어 치웠고, 이제 하드웨어가 소프트웨어를 먹고 있다 — GeekNews
2. Software Ate the World. Now Hardware Is Eating Software. — Wing Venture Capital