코딩 모델 12개에 같은 앱을 시켰더니, 과제마다 승자가 달랐어요

코딩 모델 12개에 같은 앱을 시켰더니, 과제마다 승자가 달랐어요

코딩 AI 모델 비교 썸네일

코딩 모델의 실력은 순위표 한 줄로 설명하기 어려워요. 12개 모델에 같은 앱 4개를 과제별로 5번씩 만들게 한 비교에서도 GPT-5.6 Sol과 Claude Fable 5가 서로 다른 과제에서 앞섰어요. 비용이 적게 드는 모델도 익숙한 문제에서는 꽤 좋은 결과를 냈어요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
비교 규모	12개 모델이 앱 4개를 각각 5번씩 만들었어요	한 번의 성공보다 실행 간 편차를 확인할 수 있어요
복잡한 과제	레이캐스터는 GPT-5.6 Sol, 3D 큐브는 Claude Fable 5가 5번 모두 성공했어요	모델마다 잘 다루는 구현 문제가 다르다는 점이 드러났어요
비용	Grok 4.5와 일부 오픈 웨이트 모델이 낮은 비용으로 경쟁력 있는 결과를 냈어요	최고가 모델을 모든 작업에 고정할 필요가 있는지 다시 볼 수 있어요
한계	제작자가 결과물을 직접 살펴보고 판정한 비교예요	과학적 벤치마크나 일반적인 성능 순위로 받아들이면 안 돼요

1. 한 모델이 모든 코딩 과제를 이기지는 못했어요

TryAI는 GPT-5.6의 Sol·Terra·Luna, Grok 4.5, GPT-5.5, Claude Opus 4.8, Claude Fable 5, Muse Spark 1.1과 오픈 웨이트 모델 4개를 비교했어요. 과제는 1인칭 레이캐스터 미로, 3D 루빅스 큐브, 계산기, Conway의 Game of Life였어요. 모델마다 각 과제를 5번 실행했고, 성공 횟수와 비용, 걸린 시간, 생성 결과물을 공개했어요. 2

레이캐스터에서는 GPT-5.6 Sol이 5번 모두 성공했어요. 총비용은 1.35달러, 소요 시간은 120초였어요. Grok 4.5도 5번 모두 성공했고, 비용은 0.27달러, 시간은 62초였어요. 이 과제만 보면 Grok 4.5가 비용과 속도에서 실용적인 선택지로 보여요.

728x90

3D 루빅스 큐브에서는 순서가 바뀌었어요. Claude Fable 5가 유일하게 5번 모두 성공했고, GPT-5.6 Sol과 Terra는 각각 4번 성공했어요. Claude Opus 4.8과 GPT-5.6 Luna는 5번 모두 실패했어요. 같은 계열 안에서도 등급과 과제에 따라 결과 차이가 컸어요.

비교적 익숙한 계산기와 Game of Life에서는 저렴한 모델도 따라왔어요. Qwen 3.7 Plus와 GLM-5.2는 Game of Life에서 낮은 비용으로 좋은 결과를 냈어요. 웹에 예제와 구현 자료가 많은 문제에서는 복잡한 공간 처리나 애니메이션 과제보다 모델 간 격차가 줄어들 수 있어요.

성공 횟수만으로는 놓치는 부분이 있어요

작동 여부가 같아도 화면 구성과 조작감은 달랐어요. 제작자는 성공 횟수와 함께 선호 결과를 따로 표시했고, 모든 시도에 접근할 수 있게 했어요. 모델을 고를 때는 성공률뿐 아니라 결과물의 오류 양상, 수정에 드는 시간, 실행 비용까지 함께 봐야 해요.

이번 비교는 자동 테스트로 기능을 모두 검증한 실험이 아니에요. 제작자가 결과물을 실행하고 직접 판정했어요. 과제도 4개뿐이라 백엔드, 장기 코드 유지보수, 보안, 테스트 작성 능력까지 설명하지는 못해요. 공개된 결과물을 직접 확인하는 참고 자료로 보는 편이 맞아요.

왜 중요한가요

개발팀이 코딩 모델을 고를 때 단일 종합 점수만 보면 실제 작업과 어긋날 수 있어요. 3D 상태 관리, 애니메이션, 충돌 처리처럼 요구사항이 달라지면 같은 모델의 성공률도 크게 바뀌어요. 자주 하는 작업을 작은 평가 세트로 만들고, 후보 모델을 여러 번 실행해 보는 방식이 더 현실적이에요.

비용 비교도 성공한 실행을 기준으로 다시 계산할 필요가 있어요. 호출 가격이 낮아도 실패가 잦아 재시도와 수정을 반복하면 전체 비용은 커져요. 반대로 익숙하고 검증하기 쉬운 작업에서는 저렴한 모델을 먼저 쓰고, 복잡한 과제만 상위 모델에 맡기는 구성이 나을 수 있어요.

이번 결과에서 가장 쓸 만한 결론은 특정 모델의 우승이 아니에요. 모델과 과제의 궁합, 실행 간 편차, 실패를 고치는 데 드는 비용을 함께 측정해야 한다는 점이에요. 공개 결과물도 볼 수 있으니 팀에서 자주 만드는 기능과 비슷한 사례부터 직접 확인해 볼 수 있어요. 2

참고 자료

1. GPT-5.6, Grok 4.5, Claude, Muse Spark로 동일한 앱 4개를 만든 결과 — GeekNews
2. GPT-5.6, Grok 4.5, Claude, and Muse Spark build the same 4 apps — TryAI