AI 코드 리뷰는 많이 지적했지만 채택률은 16.6%였어요

AI 코드 리뷰는 많이 지적했지만 채택률은 16.6%였어요

AI 뉴스 썸네일

AI 코드 리뷰 도구가 남기는 코멘트는 사람보다 길고 많았어요. 하지만 실제 코드에 반영된 수정안은 16.6%에 그쳤어요. 연구진이 300개 오픈소스 프로젝트의 코드 리뷰 대화 278,790건을 분석한 결과예요. 1 2

핵심 요약

구분	연구 결과	개발팀이 확인할 점
분석 범위	300개 GitHub 프로젝트의 인라인 리뷰 대화 278,790건을 분석했어요	공개 오픈소스 프로젝트에서 관찰한 결과라는 범위를 함께 봐야 해요
수정안 채택	AI 리뷰어의 제안은 16.6%, 사람 리뷰어의 제안은 56.5%가 반영됐어요	코멘트 수보다 유효한 제안의 비율을 측정해야 해요
리뷰 방식	AI는 결함 후보와 수정안을 빠르게 제시했고, 사람은 의도와 테스트, 저장소 관례를 더 자주 확인했어요	자동 검사는 1차 선별에 쓰고 최종 판단에는 프로젝트 맥락을 넣어야 해요
후속 대화	AI가 시작한 리뷰의 85.2~86.7%는 첫 코멘트 뒤에 추가 응답이 없었어요	리뷰가 해결로 이어졌는지 별도로 추적할 필요가 있어요

1. AI 코드 리뷰는 사람과 다른 방식으로 일했어요

연구진은 2022년부터 2025년 11월까지 54,330개 풀 리퀘스트에 달린 인라인 리뷰 대화를 살폈어요. 특정 코드 변경에 연결된 첫 피드백과 후속 대화, 실제 코드 반영 여부를 함께 추적했어요. 공식적으로 확인한 AI 코드 리뷰 봇은 16개였어요. AI 리뷰어가 시작한 대화는 전체의 55.7%였지만, AI 계정이 직접 작성한 풀 리퀘스트는 2.6%였어요. 2

AI 리뷰 코멘트의 95% 이상은 코드 개선과 결함 탐지에 집중했어요. 문제가 보이면 바로 수정안을 내는 방식이 많았어요. 사람 리뷰어도 결함을 찾았지만 구현 이유를 묻거나 테스트 방식을 확인하는 경우가 더 많았어요. 저장소 안에서 예전에 합의한 규칙이나 바뀐 클래스 이름을 알려주는 지식 전달도 사람이 더 자주 맡았어요.

728x90

코멘트 길이도 달랐어요. 코드 한 줄당 사람의 코멘트는 평균 4.1 토큰이었고 AI 코멘트는 29.6 토큰이었어요. AI 코멘트에는 심각도, 요약, 관련 파일과 도구 출력이 한꺼번에 붙는 경우가 있었어요. 설명이 길다고 수정에 도움이 되는 것은 아니었어요. AI가 낸 수정안의 채택률은 16.6%였고 사람의 수정안은 56.5%였어요. 결함 수정 제안만 따로 비교해도 각각 16.7%와 53.7%였어요. 1

채택되지 않은 AI 제안을 표본 조사하자 28.7%는 빌드를 깨뜨리거나 프로젝트 동작과 충돌했어요. 24.0%는 문제 지적은 맞았지만 개발자가 다른 해법을 골랐어요. 저장소 구조와 빌드 설정을 충분히 읽지 못해 정상 코드를 오류로 판단한 사례도 있었어요. 반영된 AI 수정안도 사람의 수정안보다 코드 크기와 분기 복잡도를 더 많이 늘리는 경향을 보였어요.

자동 리뷰를 운영할 때 볼 지표

자동 리뷰의 성과를 코멘트 개수로만 평가하면 잡음이 늘어도 좋아 보일 수 있어요. 제안 채택률, 잘못된 경고 비율, 대안 수정 비율을 함께 기록하는 편이 나아요. 반영 뒤 테스트 통과 여부와 복잡도 변화까지 확인하면 채택 자체를 품질로 오해하는 일을 줄일 수 있어요.

팀의 빌드 명령, 테스트 규칙, 디렉터리 관례와 과거 리뷰 결정을 도구가 읽을 수 있게 만드는 작업도 필요해요. 이 정보가 빠지면 일반적으로 맞는 조언이 해당 프로젝트에서는 틀릴 수 있어요. 긴 보고서보다 재현 가능한 결함과 짧은 근거를 우선하면 사람이 검토해야 할 양도 줄어들어요.

왜 중요한가요

이 연구는 AI 코드 리뷰를 사람 리뷰어의 대체재로 평가하기보다 역할을 나눠 볼 근거를 줘요. AI는 큰 변경에서 결함 후보를 빠르게 찾는 데 쓸 수 있어요. 사람은 변경 의도, 기존 설계 결정, 테스트 범위와 최종 해결책을 조율하는 데 더 강했어요. 연구진도 AI의 대규모 결함 선별 능력과 사람의 맥락 판단을 함께 쓰는 방식을 제안해요. 2

다만 공개 오픈소스 프로젝트만 분석했다는 한계가 있어요. 사람 계정이 외부 AI 도구로 작성한 코드와 리뷰도 구분하지 못했어요. 기업 내부 저장소나 소규모 팀에서도 같은 비율이 나온다고 단정할 수 없어요. 코드 복잡도 역시 파일 단위로 측정했기 때문에 시스템 설계나 보안 품질 전체를 보여주지는 않아요.

실무에서는 자동 리뷰를 병합 승인자로 두기보다 1차 검사자로 시작하는 편이 안전해요. 사람이 오탐을 제거하고 프로젝트 맥락에 맞는 해결책을 고른 뒤, 테스트 결과까지 확인하는 구조가 연구 결과와 잘 맞아요. 도입 후에는 리뷰 속도만 보지 말고 채택률과 후속 수정, 복잡도 변화를 계속 비교해야 해요.

참고 자료

1. 에이전틱 코드 리뷰에서 인간-AI 시너지: 인간과 AI는 다르게 리뷰한다 — GeekNews
2. Human-AI Synergy in Agentic Code Review — arXiv