본문 바로가기

IT & AI

CursorBench 3.1은 코딩 모델 비교를 더 실무 쪽으로 당겼어요

728x90

CursorBench 3.1은 코딩 모델 비교를 더 실무 쪽으로 당겼어요

AI 뉴스 썸네일
AI 뉴스 썸네일

AI 코딩 도구를 고를 때 이제 “코드를 얼마나 잘 쓰나”만 보면 부족해요. 긴 코드베이스를 읽고, 버그를 찾고, 리뷰 의견을 내고, 비용까지 감당할 수 있는지가 같이 중요해졌어요. CursorBench 3.1은 그 기준을 숫자로 보여주려는 평가표예요. 2

핵심 요약

구분핵심왜 볼 만한가요
모델 순위Fable 5 Max가 72.9%로 1위를 기록했어요코딩 모델 상위권의 기준선이 다시 올라갔어요
상위권 구조Fable 5 계열이 1~4위를 모두 차지했어요같은 모델군 안에서도 추론 강도와 비용 선택지가 갈려요
평가 범위코드베이스 이해, 버그 찾기, 계획, 코드 리뷰 과제가 추가됐어요단순 수정보다 실제 개발 흐름에 가까운 비교로 이동하고 있어요
해석 주의Cursor 자체 평가라 제3자 벤치마크와 함께 봐야 해요모델 선택은 점수 1~2%보다 작업 성격과 비용 구조가 더 크게 작용해요

1. 코딩 모델 순위표가 작업 방식까지 묻기 시작했어요

Cursor가 공개한 CursorBench 3.1 결과에서 Fable 5 Max는 72.9%로 가장 높은 점수를 기록했어요. Fable 5 Extra High는 72.0%, Fable 5 High는 70.6%, Fable 5 Medium은 69.8%예요. 1위부터 4위까지 같은 Fable 5 계열이 차지한 셈이에요. 2

5위권부터는 양상이 조금 바뀌어요. Opus 4.7 Max가 64.8%, GPT-5.5 Extra High가 64.3%, Fable 5 Low가 64.2%, Opus 4.8 Max가 63.8%, Composer 2.5가 63.2%로 이어져요. 점수만 보면 Fable 5 상위 설정이 앞서지만, 비용까지 같이 보면 선택은 단순하지 않아요.

728x90

CursorBench 3.1이 볼 만한 이유는 순위 자체보다 평가 항목에 있어요. 이번 버전은 코드베이스 이해, 버그 찾기, 계획 세우기, 코드 리뷰 같은 과제를 더 넣었어요. 실제 개발자가 코딩 에이전트에게 맡기는 작업은 “함수 하나 만들어 줘”에서 끝나지 않아요. 이미 있는 파일을 읽고, 어디가 문제인지 찾고, 변경 범위를 작게 잡고, 리뷰 가능한 형태로 고치는 일이 더 많아요.

점수와 비용을 같이 봐야 해요

Cursor는 평균 작업당 비용도 함께 보여줘요. 공개 토큰 가격과 작업별 사용 토큰을 바탕으로 계산한 값이에요. 예를 들어 Fable 5 Max는 평균 $18.02로 표시되고, Fable 5 Extra High는 $13.74, Fable 5 High는 $10.81이에요. 점수는 높지만 작업 하나에 드는 비용도 커요. 2

반대로 Composer 2.5는 63.2%에 평균 $0.55로 표시돼요. 점수만 보면 최상위권과 차이가 있지만, 반복 작업이나 빠른 초안 작성에서는 비용 차이가 더 크게 느껴질 수 있어요. 개발팀이 모델을 고를 때 “가장 높은 점수”와 “하루 종일 돌릴 수 있는 비용”은 서로 다른 기준이에요.

작은 점수 차이도 조심해서 봐야 해요. Cursor 페이지도 결과에 변동성이 있고, 작은 차이는 통계적으로 의미가 없을 수 있다고 설명해요. 64.8%와 64.3%를 보고 모델 우열을 단정하기보다는, 어떤 과제에서 강한지와 실패했을 때 사람이 고치는 비용을 같이 봐야 해요.

자체 평가라는 점도 같이 봐야 해요

이 결과는 Cursor가 만든 평가표예요. 그래서 개발자 커뮤니티에서는 Composer 2.5 점수를 두고 회의적인 반응도 나와요. Hacker News 토론에서는 Composer 2.5가 CursorBench에서는 Opus 4.8 Max나 GPT-5.5 Extra High에 가까워 보이지만, Artificial Analysis의 코딩 에이전트 평가나 DeepSWE 쪽에서는 훨씬 낮게 나온다는 지적이 있었어요. 3

Cursor 쪽 댓글 답변은 조금 다르게 설명해요. Composer 2.5는 Cursor 안에서의 실제 작업 흐름에 맞춰 강점을 보일 수 있고, 매우 긴 범위의 작업에는 아직 약점이 있다는 취지예요. 어느 쪽이 맞기보다, 벤치마크가 어떤 작업을 대표하는지 먼저 봐야 해요.

이 부분은 AI 코딩 도구를 쓰는 팀에게 꽤 현실적인 문제예요. 어떤 모델은 짧은 수정과 빠른 반복에 강하고, 어떤 모델은 긴 계획과 리뷰에서 안정적일 수 있어요. 평가표 하나로 결론을 내리면 실제 코드베이스에서는 어긋날 수 있어요. 팀이 자주 맡기는 작업 5~10개를 직접 돌려 보고, 실패 패턴과 비용을 따로 기록하는 편이 더 안전해요.

왜 중요한가요

코딩 모델 경쟁은 점점 제품 안의 실제 작업 흐름으로 들어오고 있어요. 자동완성처럼 짧은 답을 내는 모델과, 여러 파일을 읽고 긴 변경을 이어 가는 에이전트는 평가 기준이 달라야 해요. CursorBench 3.1은 그 변화를 보여줘요. 2

개발자에게는 순위표를 “구매 결정표”로 쓰기보다 질문 목록으로 쓰는 게 좋아요. 우리 코드베이스는 얼마나 크고, 테스트는 얼마나 잘 갖춰져 있고, 리뷰에서 사람이 어느 정도까지 확인할 수 있는지 먼저 봐야 해요. 모델 점수가 높아도 테스트가 없으면 잘못된 변경을 놓칠 수 있어요.

비용도 더 세밀하게 봐야 해요. 평균 작업당 비용이 덜 드는 모델은 여러 번 시도하기 좋고, 비싼 모델은 설계나 리뷰처럼 실패 비용이 큰 작업에 더 어울릴 수 있어요. 앞으로 코딩 AI 도구 선택은 “최고 점수 모델 하나”보다 “작업별 모델 조합”에 가까워질 가능성이 커요.

참고 자료

  1. CursorBench 3.1 모델 평가 결과 — GeekNews
  2. CursorBench 3.1 — Cursor
  3. CursorBench 3.1 — Hacker News
728x90