AI 코딩 에이전트는 버그가 있는 파일을 찾는 데는 능숙하다. 하지만 정작 수정해야 할 코드 라인은 대부분 놓친다.
상하이 교통대 등 국제 연구팀이 SWE-Explore 벤치마크를 공개했다. 코드 수정 결과만 측정하던 기존 방식과 달리, 에이전트가 버그 수정 전 어떤 코드를 탐색하는지를 독립적으로 평가한 첫 벤치마크다. 10개 프로그래밍 언어로 구성된 203개 오픈소스 프로젝트에서 848개 문제를 추출했다. Python이 547개로 가장 많고, Go·JavaScript·Rust가 뒤를 잇는다.
평가 기준은 GPT-5.4, Gemini 3 Pro, Claude Sonnet 4.6, Kimi K2.6 등 강력한 모델의 성공적인 수정 이력에서 추출했다. 여러 독립적인 수정 경로가 공통으로 참조한 파일과 라인을 핵심 영역으로 정의했다.
결과는 명확하다. 파일 수준에서 에이전트는 정확하다. 올바른 소스 파일을 찾아 상위에 랭크한다. 그러나 라인 수준으로 내려가면 성적이 급락한다. Claude Code, Codex, OpenHands 등 범용 코딩 에이전트 5종의 핵심 라인 적중률은 14~19%에 불과했다. 더 강력한 언어 모델을 투입해도 이 패턴은 바뀌지 않았다. OpenAI·Anthropic·Google·Moonshot·Zhipu 6개 모델로 같은 에이전트를 구동한 결과, GPT 계열이 선두였지만 파일 적중률이 라인 적중률을 일관되게 앞서는 구조는 동일했다.
연구팀은 컨텍스트 양을 인위적으로 조절하는 실험도 진행했다. 핵심 영역의 0·25·50·75·100%를 각각 제공하자 뚜렷한 임계값 효과가 나타났다. 난이도가 낮은 문제에서는 핵심 영역의 절반 미만이 제공될 때 수정이 대부분 실패했고, 50~75% 구간에서 성공률이 급등했다. 관련 없는 코드를 추가로 제공해도 성공률에는 거의 영향이 없었다. 너무 적게 읽는 에이전트가 너무 많이 읽는 에이전트보다 성과가 낮았다.
키워드 검색은 AI 에이전트보다 현저히 낮은 성능을 보였다. "RuntimeWarning on Overflow" 같은 버그 설명에 포함된 단어가 실제 소스 코드보다 문서나 템플릿에 더 자주 등장하기 때문이다.
연구 시스템 중 CoSIL은 예외적으로 높은 라인 적중률을 기록했다. 코드를 상호 연결된 구성 요소의 네트워크로 스캔하는 방식을 사용한다.
국내 개발팀이 AI 코딩 도구를 도입할 때 파일 탐색 성공률만으로 도구 성능을 판단하면 실제 코드 수정 품질을 과대평가할 수 있다. 라인 수준 적중률과 컨텍스트 충족 여부를 별도로 검증하는 기준이 필요하다.
SWE-Explore 데이터셋과 코드는 GitHub 및 Hugging Face에 공개됐다.
