LLM 평가는 짧은 정답에서 두 시간짜리 세계 제작으로 가고 있어요

LLM 평가는 짧은 정답에서 두 시간짜리 세계 제작으로 가고 있어요

AI 뉴스 썸네일

자전거를 탄 펠리컨 SVG는 한동안 AI 모델의 시각 이해와 코드 생성 능력을 가볍게 비교하는 과제로 쓰였어요. Andrej Karpathy는 이제 평가 범위를 넓혀, 문학 작품의 한 문단을 3D 세계로 구현하는 장시간 작업을 시험했어요. 결과물의 화려함보다 모델이 긴 작업을 계획하고 끝까지 이어 가는 과정이 더 볼만해요. 1

핵심 요약

구분	내용
과제	《반지의 제왕》 첫 문단을 Three.js 기반 3D 장면으로 구현했어요.
작업 규모	Opus 5가 약 2시간 동안 5,500줄가량의 코드를 작성했어요.
자원	토큰 예산은 100만 개였고 비용은 약 10달러였어요.
결과	폴리곤 자산, 3차원 배치, 애니메이션을 묶어 작동하는 장면을 만들었어요.
한계	모델이 영상을 효율적으로 보고 게임을 직접 플레이하며 검사하기 어려웠어요.

1. 한 장짜리 결과물보다 긴 제작 과정이 평가 대상이 돼요

Karpathy가 던진 과제는 짧은 코드 조각이나 정적인 이미지 한 장을 만드는 일이 아니었어요. Opus 5에 《반지의 제왕》 첫 문단과 100만 토큰 예산을 주고, 내용을 Three.js 장면으로 바꾸도록 요청했어요. 모델은 약 2시간 동안 작업하며 5,500줄가량의 코드를 작성했어요. 여러 폴리곤 자산을 만들고 3차원 좌표에 배치한 뒤, 이야기 흐름에 맞춰 움직이도록 연결했어요. 2

완성된 장면은 매끄럽지 않았어요. 그래도 이 실험은 긴 시간 동안 서로 의존하는 작업을 이어 갈 수 있는지 보여 줘요. 자산 하나를 그리는 능력만으로는 끝낼 수 없어요. 장면 구성, 좌표 계산, 코드 작성, 렌더링 확인, 수정이 맞물려야 해요. 결과물은 Karpathy가 공개한 웹 데모에서 직접 볼 수 있어요. 3

비용 구조도 흥미로워요. 사람이 직접 만들면 목적에 비해 제작 시간이 너무 길어 포기할 만한 맞춤형 장면을 약 10달러로 시도했어요. 모든 결과물이 쓸 만하다는 뜻은 아니에요. 다만 개인 취향에 맞춘 일회성 게임 장면이나 교육용 시뮬레이션처럼, 예전에는 제작비 때문에 시작하기 어려웠던 아이디어를 빠르게 시험할 수 있어요.

728x90

오래 일하는 능력만으로 품질이 보장되지는 않아요

이번 실험에서 가장 뚜렷한 약점은 자기 검수였어요. 모델은 자신이 만든 세계를 사람처럼 돌아다니며 자연스럽게 확인하지 못했어요. 영상을 연속적으로 이해하는 대신 여러 시점의 스크린숏을 느리게 살펴봤고, 그 과정에서 잘못된 배치와 어색한 움직임을 남겼어요. 2

코드가 실행된다는 사실과 장면이 의도에 맞는다는 판단은 달라요. 브라우저 오류, 프레임 속도, 충돌 처리처럼 수치로 검사할 항목은 자동화하기 쉬워요. 이야기의 맥락, 공간 관계, 물체의 자연스러운 움직임은 화면을 읽고 직접 조작하는 능력까지 필요해요. 장시간 작업을 평가하려면 최종 화면뿐 아니라 중간 검사 방식과 수정 기록도 함께 봐야 해요.

모델 비교에는 같은 조건과 반복 측정이 필요해요

한 번의 멋진 시연만으로 모델의 우열을 정하기는 어려워요. 같은 과제를 여러 차례 실행하면 완성도와 비용이 얼마나 흔들리는지 확인할 수 있어요. 토큰 사용량, 소요 시간, 실행 오류 수, 사람이 고친 횟수도 함께 기록해야 해요. 그래야 긴 작업을 맡겼을 때의 실제 비용과 감독 부담을 비교할 수 있어요.

평가 과제 자체도 세분화할 필요가 있어요. 3D 장면 제작은 코드 생성, 공간 추론, 시각 검사 능력이 한꺼번에 들어가요. 결과가 나빴을 때 어느 능력이 부족했는지 분리하기 어렵죠. 자산 생성, 좌표 배치, 애니메이션, 자기 검수 단계별 점수를 두면 모델이 어디에서 막혔는지 더 정확히 볼 수 있어요.

왜 중요한가요

AI 개발 도구의 역할이 몇 초짜리 자동완성에서 수십 분이나 몇 시간 동안 이어지는 제작 작업으로 넓어지고 있어요. 개발팀은 생성된 코드의 양보다 모델이 중간 결과를 어떻게 검사하고 실패를 어떻게 복구하는지 확인해야 해요. 긴 작업일수록 초반의 작은 오류가 뒤 단계에 쌓이기 쉬워요. 2

제품에 적용할 때는 사람이 개입할 지점을 미리 정하는 편이 좋아요. 장면 설계가 끝났을 때, 첫 렌더가 나왔을 때, 상호작용을 붙이기 전에 각각 검토하면 마지막에 전부 다시 만드는 일을 줄일 수 있어요. 모델이 영상과 게임 조작을 더 잘 다루기 전까지는 브라우저 테스트, 성능 측정, 화면 비교 같은 별도 검사 장치가 필요해요.

이번 시연은 초맞춤형 콘텐츠의 제작비를 낮출 수 있다는 가능성과 품질 검수의 부담을 함께 보여 줬어요. 약 10달러와 2시간으로 작동하는 3D 장면을 얻었지만, 사람이 안심하고 쓸 수준인지 판단하는 일은 여전히 남았어요. 긴 작업을 맡기는 시대의 모델 평가는 결과물 한 장보다 과정의 안정성과 검수 능력을 더 꼼꼼히 봐야 해요.

참고 자료

1. Karpathy의 펠리컨 — GeekNews
2. We're starting to leave the territory where you'd test an LLM — Andrej Karpathy, X
3. A Long-expected Party — Andrej Karpathy