2.8조 파라미터 Kimi K3 공개, 장시간 코딩을 겨냥한 개방형 모델

2.8조 파라미터 Kimi K3 공개, 장시간 코딩을 겨냥한 개방형 모델

Kimi K3 개방형 AI 모델 썸네일

Moonshot AI가 2.8조 파라미터 규모의 Kimi K3를 공개했어요. 네이티브 비전과 100만 토큰 컨텍스트를 지원하고, 긴 코딩 작업과 지식 업무를 이어 가는 데 초점을 맞춘 모델이에요. 전체 가중치는 2026년 7월 27일까지 공개할 예정이에요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
모델 규모	전체 2.8조 파라미터와 100만 토큰 컨텍스트를 갖췄어요	공개 예정 모델이 프론티어급 규모까지 커진 사례예요
희소 구조	896개 전문가 가운데 16개만 활성화하는 Stable LatentMoE를 써요	전체 크기와 실제 추론 비용을 나눠 볼 필요가 있어요
멀티모달 작업	코드와 실행 화면을 함께 확인하며 게임, 프런트엔드, CAD 작업을 반복해요	코딩 에이전트가 텍스트 출력을 넘어 결과 화면까지 점검하는 흐름을 보여 줘요
장시간 실행	GPU 커널, 컴파일러, 칩 설계, 과학 연구 사례를 공개했어요	짧은 문제 풀이보다 도구를 오래 운용하는 능력을 앞세웠어요
공개 범위	서비스와 API는 바로 열었고, 전체 가중치와 기술 보고서는 뒤이어 공개할 예정이에요	성능 주장과 재현 가능성을 평가하려면 후속 공개 자료가 필요해요

1. 3T급 규모보다 실제로 활성화되는 구조를 봐야 해요

Kimi K3의 전체 파라미터 수는 2.8조 개예요. Moonshot AI는 이를 세계 최초의 공개 3T급 모델이라고 소개했어요. 다만 모든 파라미터를 토큰마다 쓰는 밀집형 모델은 아니에요. Stable LatentMoE 구조가 896개 전문가 가운데 16개를 선택해 활성화해요. 전체 규모만 보고 추론 비용을 가늠하면 실제 동작 방식과 차이가 생겨요. 2

모델은 Kimi Delta Attention과 Attention Residuals를 함께 사용해요. Kimi Delta Attention은 긴 시퀀스에서 어텐션 계산을 확장하기 위한 구조예요. Attention Residuals는 각 층의 표현을 모두 같은 방식으로 누적하지 않고, 깊이 방향에서 필요한 표현을 선택해 가져와요. Moonshot AI는 학습 방식과 데이터 구성 개선까지 합쳐 Kimi K2보다 전체 스케일링 효율을 약 2.5배 높였다고 밝혔어요.

728x90

100만 토큰 컨텍스트와 네이티브 비전도 기본 사양에 들어갔어요. 큰 저장소의 코드와 문서를 오래 읽고, 스크린샷이나 실행 결과를 다시 입력으로 받아 작업을 고치는 용도에 맞춰져 있어요. 모델 크기 경쟁과 함께 긴 작업에서 맥락을 유지하는 능력이 제품의 중심으로 올라왔다는 점을 확인할 수 있어요.

화면을 보며 코드를 고치는 흐름을 앞세웠어요

Moonshot AI가 공개한 사례에서 Kimi K3는 코드를 만든 뒤 실행 화면을 확인하고 다시 수정해요. 브라우저 기반 3D 게임, 프런트엔드, CAD처럼 최종 결과를 눈으로 점검해야 하는 작업이 대상이에요. 회사는 이 과정을 `vision in the loop`이라고 불러요.

일반적인 코딩 벤치마크는 정답 코드나 테스트 통과 여부를 확인하는 데 그치기 쉬워요. 실제 제품 개발에서는 화면 배치가 깨지거나 상호작용이 어색해도 테스트가 통과할 수 있어요. 시각 입력을 작업 루프에 넣으면 에이전트가 코드와 결과물 사이를 오가며 이런 차이를 줄일 수 있어요. 반면 공개된 데모가 다양한 저장소와 도구 환경에서도 같은 품질로 반복되는지는 별도 검증이 필요해요.

GPU 커널부터 컴파일러까지 긴 실행 사례를 공개했어요

Kimi K3는 동일한 샌드박스에서 최대 24시간 동안 GPU 커널을 프로파일링하고 수정하는 평가를 받았어요. KDA와 AttnRes를 포함한 커널을 NVIDIA H200과 다른 가속기 환경에서 최적화했어요. Moonshot AI의 자체 결과에서는 일부 비교 모델보다 높은 점수를 냈어요. 다만 Claude Fable 5 결과는 제3자가 측정했고 fallback 동작이 포함됐을 수 있다고 원문이 직접 밝혀요. 모델별 실행 조건과 측정 주체가 완전히 같지 않다는 점을 고려해야 해요.

컴파일러 개발 사례도 있어요. Kimi K3는 MLIR 위에 타일 단위 중간 표현과 최적화 패스, PTX 코드 생성 경로를 갖춘 MiniTriton을 만들었어요. 회사 설명에 따르면 지원하는 roofline 벤치마크에서 Triton이나 `torch.compile`과 비슷하거나 더 나은 결과를 냈고, nanoGPT 학습도 끝까지 실행했어요. 단일 함수 생성보다 여러 계층이 연결된 개발 작업을 오래 유지했다는 데 초점이 있어요.

48시간 동안 오픈소스 EDA 도구로 소형 AI 칩을 설계하고 검증한 사례도 공개됐어요. 계산 천체물리학 과제에서는 논문 20편 이상을 검토하고 300개가 넘는 상태방정식을 계산한 뒤 3,000줄 이상의 Python 코드와 대시보드를 만들었다고 해요. 모두 공급사가 고른 사례이므로 일반 성능을 그대로 대표한다고 보기는 어려워요. 그래도 장시간 에이전트 평가가 어떤 작업 단위로 확장되는지 살펴볼 자료는 돼요.

서비스는 열렸지만 개방성 평가는 아직 남았어요

Kimi K3는 Kimi.com, Kimi Work, Kimi Code, Kimi API에서 바로 쓸 수 있어요. 출시 시점에는 최대 추론 노력이 기본값이에요. 낮은 노력과 높은 노력 모드는 후속 업데이트로 제공할 예정이에요.

전체 모델 가중치와 기술 보고서는 2026년 7월 27일까지 공개할 계획이에요. 현재 공개된 블로그만으로는 학습 데이터 구성, 라이선스, 하드웨어별 메모리 요구량, 외부 재현 결과를 모두 확인하기 어려워요. 64개 이상의 가속기를 연결한 supernode 구성을 권장한다는 설명도 있어 개인 개발자가 전체 모델을 직접 운영하기는 쉽지 않아 보여요.

개방형 모델이라는 표현도 가중치 파일 공개만으로 판단하기보다 실제 라이선스와 실행 조건을 함께 봐야 해요. 상업적 이용 범위, 파생 모델 배포, 학습 코드와 평가 도구 공개 수준이 확인돼야 개발팀이 도입 가능성을 정확히 계산할 수 있어요. 기술 보고서와 가중치가 나온 뒤 외부 연구자들의 재현 결과를 확인하는 순서가 안전해요.

왜 중요한가요

Kimi K3는 공개 예정 모델의 경쟁 축이 파라미터 수에서 장시간 작업으로 넓어졌다는 사례예요. 큰 컨텍스트를 제공하는 것만으로는 충분하지 않아요. 모델이 터미널과 브라우저, 컴파일러 같은 도구를 오래 운용하면서 중간 실패를 고치고 결과물을 검증해야 해요. Moonshot AI가 GPU 커널과 게임, 과학 계산을 함께 제시한 이유도 이 작업 지속성을 보여 주려는 데 있어요. 2

개발팀은 2.8조라는 숫자보다 운영 조건을 먼저 확인하는 편이 좋아요. 토큰마다 활성화되는 전문가는 16개지만, 전체 가중치를 저장하고 여러 장비에 배치하는 부담은 여전히 커요. API 가격과 지연 시간, 긴 컨텍스트에서의 정확도, 도구 호출 실패율, 작업 중단 후 복구 방식이 실제 비용을 좌우해요.

자체 벤치마크는 출발점으로 볼 수 있어요. 회사가 선택한 과제와 환경에서는 강점을 잘 드러낼 수 있지만, 다른 팀의 저장소와 권한 체계, CI 환경에서도 같은 결과가 나오는지는 아직 알 수 없어요. 가중치와 기술 보고서가 공개되면 독립 평가에서 성능, 비용, 재현성을 함께 비교해야 해요. 그 결과가 Kimi K3를 연구용 대형 모델로 볼지, 실제 개발 에이전트 기반으로 쓸 수 있을지 가르는 자료가 될 거예요.

참고 자료

1. Kimi K3 공개 - 개방형 프론티어 인텔리전스 — GeekNews
2. Kimi K3: Open Frontier Intelligence — Moonshot AI