중국 AI 모델의 진짜 가격은 토큰 단가만으로 알 수 없어요

중국 AI 모델의 진짜 가격은 토큰 단가만으로 알 수 없어요

AI 뉴스 썸네일

중국 오픈 웨이트 모델이 빠르게 좋아지면서 가격 경쟁도 거세졌어요. 하지만 API 가격표의 토큰 단가만 비교하면 실제 서비스 비용을 잘못 판단할 수 있어요. 같은 답을 얻기까지 모델마다 쓰는 토큰과 컴퓨팅 자원이 다르기 때문이에요. 1

핵심 요약

구분	핵심	실무에서 볼 점
비용 구조	오픈 웨이트는 연구개발비를 줄여도 추론 비용까지 없애지는 못해요	다운로드 가격과 운영 비용을 따로 계산해야 해요
모델 비교	토큰 100만 개 가격보다 과제 하나를 끝내는 총비용이 중요해요	정답률, 재시도, 총 토큰, 지연 시간을 함께 재야 해요
경쟁 구도	중국 모델은 낮은 가격과 공개 가중치로 선택지를 넓혀요	미국 모델과 같은 조건에서 과제당 비용을 비교해야 해요
제품 전략	모델 성능이 비슷해질수록 서빙 효율과 제품 경험이 수익성을 가를 수 있어요	모델 교체 비용과 운영 안정성도 확인해야 해요

1. 싼 토큰과 싼 지능은 같은 말이 아니에요

오픈 웨이트 모델은 가중치를 직접 개발하는 비용을 아낄 수 있어요. 그렇다고 서비스를 운영하는 비용이 0원이 되지는 않아요. 요청이 늘면 GPU, 메모리, 전력, 네트워크 비용도 함께 늘어요. 원문은 이 차이를 연구개발비와 매출원가로 나눠 설명해요. 2

토큰 단가도 출발점일 뿐이에요. Kimi K3의 공개 가격은 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러로 안내돼 있어요. 같은 품질의 답을 만들 때 다른 모델보다 더 많은 추론 토큰이나 재시도가 필요하면 표시 가격의 이점은 줄어들어요. 3

그래서 기업이 봐야 할 단위는 ‘토큰 100만 개’보다 ‘성공한 과제 1건’에 가까워요. 코딩 작업이라면 테스트를 통과한 수정 1건을 얻기까지 든 입력·출력 토큰, 도구 호출, 재시도, 대기 시간을 합쳐야 해요. 고객 상담이라면 해결된 문의 1건의 비용을 재는 편이 실제 매출원가에 더 가까워요.

728x90

모델 비용을 비교할 때 빠지기 쉬운 항목

• 첫 답변의 정답률과 재시도 횟수를 함께 봐야 해요.
• 긴 추론 과정에서 발생한 출력 토큰도 포함해야 해요.
• KV 캐시, 배치 처리, 접두사 캐싱이 GPU 활용률에 미치는 영향을 확인해야 해요.
• 자체 호스팅이라면 유휴 GPU와 운영 인력 비용도 더해야 해요.
• API를 쓴다면 속도 제한, 장애 대응, 데이터 보관 조건까지 비교해야 해요.

중국 모델이 만드는 압박은 가격표보다 넓어요

Kimi K3처럼 성능이 높아진 공개 가중치 모델은 기업에 다른 선택지를 줘요. 자체 인프라에서 실행하거나 특정 업무에 맞춰 조정할 수 있어요. 폐쇄형 API 한 곳에만 의존하지 않아도 된다는 점은 가격 협상과 데이터 통제에 영향을 줘요.

다만 중국 모델이 항상 더 싸다고 단정할 근거는 아직 부족해요. 원문도 동일한 과제를 같은 품질로 끝냈을 때의 비용 비교가 충분하지 않다는 한계를 안고 있어요. 전력 가격, 하드웨어 조달, 서빙 소프트웨어, 토큰 효율을 같은 조건에 놓은 측정이 필요해요. 2

오픈 웨이트 전략은 모델 증류와도 연결돼요. 공개 모델 개발사는 다른 모델의 출력을 교사 데이터로 활용해 성능 차이를 줄일 수 있어요. 이 과정은 개발 속도를 높일 수 있지만, 서비스 약관과 학습 데이터의 권리를 둘러싼 논쟁도 남겨요. 기술 우위만으로 경쟁을 설명하기 어려운 이유예요.

모델 선택표에는 가격 외 항목이 필요해요

확인 항목	질문
과제 성공률	첫 시도에 원하는 결과가 나온 비율은 얼마인가요?
과제당 총비용	성공한 결과 1건에 토큰과 도구 호출이 얼마나 들었나요?
응답 시간	긴 추론과 재시도를 포함한 완료 시간은 얼마인가요?
운영 방식	API와 자체 호스팅 중 장애 대응이 쉬운 쪽은 어디인가요?
데이터 통제	입력, 로그, 인증 정보가 어느 환경에 남나요?
전환 비용	모델을 바꿀 때 요청문, 평가 기준, 도구 연결을 얼마나 고쳐야 하나요?

왜 중요한가요

AI 기능을 붙인 서비스는 사용량이 늘수록 추론비도 커져요. 무료 또는 저가 모델을 선택해도 과제당 토큰이 많고 실패율이 높으면 매출이 늘수록 비용 부담이 커질 수 있어요. 반대로 단가가 높은 모델도 적은 토큰으로 작업을 끝내고 재시도를 줄이면 총비용이 낮아질 수 있어요. 2

개발팀은 실제 업무 표본으로 작은 평가 세트를 만드는 편이 좋아요. 모델마다 같은 과제를 여러 번 실행하고 성공률, 총 토큰, 지연 시간, 도구 호출 수를 기록하면 가격표에서 보이지 않던 차이가 드러나요. 민감한 로그를 다루는 보안 대응처럼 외부 API 사용이 어려운 작업에서는 자체 실행 가능 여부도 비용만큼 중요해요.

중국 모델의 부상은 클라우드 사업자, GPU 공급사, 기존 소프트웨어 기업의 사업에도 영향을 줘요. 구매자가 모델을 쉽게 바꿀 수 있게 되면 공급자는 토큰 가격뿐 아니라 과제당 비용, 안정성, 데이터 통제, 제품 경험으로 선택받아야 해요. 현재 공개된 주장만으로 승자를 정하기보다 같은 업무에서 나온 운영 지표를 먼저 비교해야 해요.

참고 자료

1. 누가 중국 모델을 두려워하는가? — GeekNews
2. Who’s Afraid of Chinese Models? — Stratechery
3. Kimi K3 Chat Pricing — Moonshot AI