Kimi K3 펠리컨 실험이 보여준 벤치마크의 쓸모와 한계

Kimi K3 펠리컨 실험이 보여준 벤치마크의 쓸모와 한계

AI 뉴스 썸네일

Moonshot AI의 Kimi K3는 2.8조 개 매개변수와 100만 토큰 문맥을 내세운 대형 모델이에요. 자전거를 타는 펠리컨 SVG 하나를 그리게 했더니 비용, 추론량, 공간 인식은 드러났지만 실제 업무 능력까지 판단하기에는 빈틈이 컸어요.

728x90

핵심 요약

구분	핵심	왜 볼만한가요
모델	Kimi K3는 2.8조 개 매개변수와 멀티모달 기능을 갖췄어요	오픈 가중치 모델의 규모와 활용 범위가 한 단계 커졌어요
가격	API 가격은 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러예요	단순 작업도 추론량이 많으면 비용이 빠르게 늘어요
실험	펠리컨 SVG 생성에 출력 16,658 토큰과 0.25달러가 들었어요	짧은 입력만으로 실제 비용과 출력 형식을 확인할 수 있어요
한계	한 번의 SVG 생성은 도구 호출과 긴 작업의 안정성을 재지 못해요	모델 순위를 정하기보다 초기 점검용으로 쓰는 편이 맞아요

1. 펠리컨 한 마리로 Kimi K3를 어디까지 볼 수 있을까요

Moonshot AI는 Kimi K3를 자사 최고 성능 모델로 소개했어요. 총 2.8조 개 매개변수를 갖췄고, 웹과 API에서 먼저 제공해요. 오픈 가중치는 2026년 7월 27일까지 공개할 예정이에요. 회사가 공개한 표에서는 코딩, 지식 작업, 추론, 비전 항목을 폭넓게 다뤘지만 평가 환경과 실행 도구가 항목마다 달라요. 숫자만 가로로 비교하기 전에 각주와 조건을 함께 읽어야 해요. 1 3

Kimi K3의 API 가격은 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러예요. Simon Willison이 자전거를 타는 펠리컨을 SVG로 만들게 한 실험에서는 입력 95 토큰과 출력 16,658 토큰을 사용했어요. 출력 가운데 13,241개가 추론 토큰이었고 총비용은 0.25달러였어요. 최종 응답은 3,417 토큰이었지만 내부 추론에 그보다 훨씬 많은 토큰을 쓴 셈이에요. 간단해 보이는 작업도 추론 강도를 낮출 수 없으면 예상보다 비싸질 수 있어요. 2

이 실험에서 확인할 수 있는 정보는 꽤 구체적이에요. API가 실제로 열려 있는지, SVG 문법을 지키는지, 펠리컨과 자전거의 위치 관계를 얼마나 자연스럽게 표현하는지 볼 수 있어요. 생성한 그림을 다시 읽게 했을 때는 흰 펠리컨, 빨간 자전거, 차선, 구름과 잔디 같은 요소도 자세히 찾아냈어요. 같은 모델 계열의 이전 버전과 나란히 놓으면 공간 표현과 출력 품질이 얼마나 나아졌는지도 살펴볼 수 있어요.

다만 펠리컨 그림이 더 좋아졌다고 해서 실제 개발 작업도 더 잘한다고 결론 내리기는 어려워요. 오늘날의 코딩 모델은 여러 파일을 읽고, 도구를 연속으로 호출하고, 긴 대화에서 앞선 결정을 유지해야 해요. SVG 한 장은 이런 능력을 거의 재지 못해요. 실행마다 결과가 달라지는 생성 모델을 한 번씩만 돌려 비교하면 표본도 부족해요. 서로 다른 모델을 순위로 세우려면 반복 실행, 같은 비용 한도, 같은 도구 환경, 실패율까지 맞춰야 해요.

그렇다고 이 작은 실험이 쓸모없는 건 아니에요. 새 모델을 처음 만났을 때 쓰는 빠른 점검표로는 괜찮아요. 응답을 받기까지 걸린 시간, 실제 청구 비용, 추론 토큰 비중, 출력 형식 준수 여부를 한 번에 볼 수 있기 때문이에요. 이후 코딩 수정, 문서 검색, 장시간 도구 사용처럼 실제 업무에 가까운 평가를 붙이면 초기 인상과 실전 성능의 차이도 확인할 수 있어요.

왜 중요한가요

모델을 고를 때 공개 점수 하나만 보면 비용과 운영 조건을 놓치기 쉬워요. Kimi K3처럼 추론량이 큰 모델은 짧은 입력에서도 출력 비용이 커질 수 있어요. 서비스 팀은 같은 과제를 여러 번 실행해 평균 비용과 실패율을 확인하고, 긴 작업에서는 도구 호출이 끝까지 안정적으로 이어지는지도 따로 봐야 해요. 2

펠리컨 실험은 모델의 종합 성적표보다 첫 시승에 가까워요. 출력이 유효한지, 비전 입력을 이해하는지, 이전 세대보다 나아졌는지를 빠르게 확인할 수 있어요. 구매나 도입 판단은 실제 사용 시나리오와 같은 조건에서 반복한 결과로 마무리하는 편이 안전해요.

참고 자료

1. Kimi K3와 펠리컨 벤치마크에서 여전히 배울 수 있는 것 — GeekNews
2. Kimi K3, and what we can still learn from the pelican benchmark — Simon Willison’s Weblog
3. Kimi K3 Tech Blog: Open Frontier Intelligence — Moonshot AI