AI 연구소가 자전거 타는 펠리컨에 맞춰 모델을 훈련했을까요

AI 연구소가 자전거 타는 펠리컨에 맞춰 모델을 훈련했을까요

자전거 타는 펠리컨 AI 벤치마크 분석

유명한 SVG 과제만 잘 풀도록 AI 모델을 따로 조정했다는 의심을 검증한 실험이 나왔어요. 7개 모델이 만든 SVG 1,008개를 비교했지만, 자전거를 타는 펠리컨 조합에서만 성능이 높아진 흔적은 찾지 못했어요. 1

핵심 요약

구분	핵심	왜 볼 만한가요
실험 규모	8종의 동물과 6종의 탈것을 조합해 48개 과제를 만들고, 7개 모델에서 3회씩 실행했어요	특정 과제 하나가 아니라 비슷한 과제 47개와 나란히 비교했어요
결과	펠리컨은 동물 8종 중 6위, 자전거는 탈것 6종 중 5위였어요	유명한 조합만 유난히 잘 그렸다는 설명과 맞지 않았어요
조합 순위	펠리컨과 자전거 조합은 전체 48개 중 42위였어요	개별 요소의 난이도를 고려해도 뚜렷한 추가 상승분이 없었어요
한계	이미지 평가는 단일 AI 모델이 맡았고 조합별 표본은 21개였어요	작은 최적화 효과나 SVG 생성 능력 전반의 개선은 잡지 못할 수 있어요

1. 유명 벤치마크만 잘 풀게 했다는 증거는 없었어요

사이먼 윌리슨은 새 LLM이 나올 때마다 "자전거를 타는 펠리컨을 SVG로 만들어 달라"는 같은 과제를 시험해 왔어요. 결과가 널리 알려지면서 AI 연구소가 이 장면을 잘 만들도록 모델을 따로 조정했을 수 있다는 의심도 따라붙었어요. 딜런 카스티요는 이 의심을 다른 동물과 탈것 조합까지 넓혀 비교했어요. 2

실험은 펠리컨, 왜가리, 고양이, 고래 등 동물 8종과 자전거, 스쿠터, 보트 등 탈것 6종을 조합했어요. 7개 모델이 48개 조합을 3번씩 생성해 총 1,008개 SVG가 나왔어요. 평가 모델은 동물 표현, 탈것 표현, 탑승 행동의 일관성을 각각 1~5점으로 매겼어요.

728x90

펠리컨도 자전거도 하위권이었어요

전체 결과에서 펠리컨은 동물 8종 중 6위였어요. 자전거는 탈것 6종 중 5위였고, 펠리컨과 자전거를 합친 조합은 48개 중 42위였어요. 고양이나 스케이트보드처럼 구조가 단순한 대상보다 펠리컨과 자전거가 원래 그리기 어렵다는 차이는 있어요. 그래서 연구자는 조합별 난이도를 반영한 회귀분석도 추가했어요.

난이도를 보정한 뒤에도 특정 연구소가 펠리컨이나 펠리컨과 자전거 조합에서 얻은 상승분은 통계적으로 유의하지 않았어요. Gemini 3.5 Flash의 자전거 점수만 p=0.022로 기준을 넘었지만, 21개 효과를 동시에 검사한 다중 비교 보정 기준인 약 0.002에는 미치지 못했어요. 우연히 한 항목이 좋아 보였을 가능성을 배제하기 어려운 수치예요. 2

모든 펠리컨이 오른쪽을 본 이유는 남아 있어요

7개 모델이 만든 펠리컨과 자전거 이미지 21개는 모두 오른쪽을 향했어요. 언뜻 보면 같은 구도를 외운 흔적처럼 보여요. 다만 전체 이미지의 60%가 오른쪽을 향했고, 자전거가 포함된 이미지에서는 이 비율이 81%였어요. 다른 조합에서도 21개 중 19~20개가 같은 방향을 향한 사례가 있었어요.

장면의 반복 요소도 함께 조사했어요. 보트를 탄 플라밍고에는 모두 태양이 있었고, 자전거를 탄 고양이의 38%에는 바구니가 있었어요. 펠리컨과 자전거에서만 되풀이되는 장면 요소는 확인되지 않았어요. 오른쪽 구도 하나만으로 특정 장면을 외웠다고 결론 내리기 어려워요.

실험이 잡지 못하는 범위도 커요

모든 이미지는 GPT-5.6 Luna 한 모델이 한 번씩 평가했어요. 같은 이미지를 다시 채점했을 때 점수가 얼마나 일치하는지는 확인하지 않았어요. 조합별 표본도 모델마다 3개라서 신뢰구간이 평균 약 ±0.6점으로 넓었어요. 이보다 작은 성능 차이는 이번 설계로 찾기 어려워요.

연구소가 펠리컨 한 장면이 아니라 SVG 생성 능력 전체를 개선했다면 비교표의 모든 칸이 함께 좋아져요. 이번 실험은 그런 모델과 원래 SVG를 잘 만드는 모델을 구분할 수 없어요. 참가 모델의 학습 데이터나 조정 기록을 직접 확인한 조사도 아니어서, 특정 자료가 학습에 들어가지 않았다는 증거로 쓰기에는 부족해요.

왜 중요한가요

공개 벤치마크는 모델을 반복해서 비교하기 쉽지만, 유명해질수록 평가 대상이 그 기준을 의식하게 돼요. 점수가 실제 능력을 보여 주는지, 알려진 시험에 적응한 결과인지 분리하기 어려워져요. 이번 실험은 비슷한 대조 과제를 많이 만들고 난이도를 보정하는 방식으로 그 의심을 직접 시험했다는 점에서 볼 만해요. 2

결과는 "특화 학습이 절대 없었다"가 아니라 "이번 표본에서는 뚜렷한 흔적을 찾지 못했다"에 가까워요. 평가 모델을 여러 개로 늘리고, 사람 평가와 재채점 일치도를 더하며, 조합별 생성 횟수를 늘려야 작은 효과까지 구분할 수 있어요. 서비스에서 모델을 고를 때도 유명 과제 하나보다 업무와 가까운 여러 변형 과제를 함께 시험하는 편이 안전해요.

SVG 과제 자체도 여전히 쓸모가 있어요. 벡터 경로만으로 동물의 몸, 자전거 구조, 탑승 관계를 동시에 표현해야 해서 공간 이해와 코드 생성 능력을 함께 요구해요. 다만 한 장면이 널리 알려진 뒤에는 주변 조합과 처음 보는 과제를 섞어야 독립적인 평가에 가까워져요.

참고 자료

1. AI 연구소들은 자전거 타는 펠리컨에 맞춰 모델을 최적화했을까? — GeekNews
2. Are AI labs pelicanmaxxing? — Dylan Castillo
3. Pelicanmaxxing experiment code and data — GitHub