에이전트 평가의 붕괴 · leejk

TL;DR. 에이전트 진보를 말하는 모든 "+X%"는 벤치 점수 아니면 LLM 심판의 판정이라는 화폐로 표시돼 있다. 1차 출처를 직접 떠 보니 그 화폐가 두 방향으로 동시에 평가절하되는 중이다 — 벤치는 포화돼 변별력을 잃고, LLM 심판은 게임당해 신뢰를 잃는다. 단, 심판 하나에 직접 게임을 걸어 본 핸즈온 재현에선 결이 갈렸다 — 일회성 표면 수정(길이·형식·허세)은 강한 심판에 오히려 점수가 깎였고, 살아남은 건 자화자찬 편향과 48~62%의 채점 불안정성, 그리고 무엇보다 한 방이 아니라 심판을 상대로 점수를 굴리는 반복 루프였다. 더 나쁜 건 포화 탈출구로 쓰는 자동 벤치 합성·런타임 평가마저 상당수가 같은 LLM 심판에 채점을 맡긴다는 것이다 — 순환. 게임당하지 않는 측정은 LLM 바깥에 검증 앵커(실행·컴파일러·코퍼스 통계)가 있을 때뿐이었다. 앵커가 원천적으로 없는 도메인(글쓰기·중재·연구 판단)이 다음 프런티어다.

'게임당하다'

이 글의 절반은 "심판이 게임당한다"는 한 마디에 걸려 있으니, 그것부터 못 박는다.

게임당한다(gamed) = 측정하려던 진짜 능력은 안 늘었는데, 채점 방식의 허점을 찔러 점수만 따내는 것. Goodhart의 법칙 — "측정이 목표가 되는 순간 좋은 측정이기를 멈춘다" — 의 실전판이다. 시험 비유로: 선생이 "분량 많고 형식 갖추면 A"를 준다는 걸 학생이 눈치채면, 공부 대신 분량·형식만 부풀린다. 성적표는 A인데 실력은 그대로다.

채점자가 사람이 아니라 LLM(LLM-as-judge)이면 통로가 더 넓다. 답의 질이 아니라 심판이 좋아하는 외형을 맞추면 되기 때문이다. Reward Hacking 재현 연구(Tsinghua·HIT-SZ·XJTU)가 심판에 일부러 편향을 주입해 분리해 낸 통로가 네 가지다 — 어휘 편향(특정 단어 선호), 형식 편향(틀에 박힌 구조), 톤 편향(말투), 자화자찬 편향(자기 출력 칭찬). 이게 깔리면 글 전체가 이 위에서 돈다. (단 이 네 통로가 실제로 먹히는지는 아래 〈직접 걸어 봤다〉에서 친다 — 미리 말하면, 일회성으론 self-praise 하나만 살아남았다.)

여기서 미리 박아 둘 구분 하나: "심판이 평균적으로 인간과 일치한다"와 "심판이 적대적 최적화에 안 뚫린다"는 다른 주장이다. 평소엔 LLM 심판이 사람 판정과 그럭저럭 맞는다. 문제는 누군가 그 심판을 상대로 점수를 최적화하기 시작하는 순간(= RL 학습, 프롬프트 튜닝) 정렬이 깨진다는 것 — 셀프-개선 조사에서 "곡선이 우상향한다 ≠ 일반화한다"고 했던 함정과 같은 모양이다. 오른 게 실력인지, 자(尺)를 속인 건지 구분이 안 된다.

측정이 두 방향으로 동시에 샌다 — 아직 안 정해진 질문

에이전트 진보 서사는 전부 측정에 기댄다. 셀프-개선의 "+5.3%p 전이", 메모리의 부패율, 하네스의 복구율 — 죄다 무엇으로 쟀나에 의존한다. 그런데 그 자(尺) 자체를 검증한 헤드라인은 거의 없다. 2026년 5~6월 한 윈도우에, 자를 의심하는 논문이 두 갈래로 동시에 쏟아졌다:

변별력 축 — 벤치가 포화돼 모델을 구분 못 한다(점수가 천장에 몰린다).
신뢰 축 — 채점자가 LLM이라 게임당한다(위에서 정의한 그것).

합의 안 된 건 이거다: 이 둘이 각각의 문제인가, 아니면 맞물려 증폭되는 하나인가. 그리고 측정이 새는 와중에 보고되는 "SOTA"들은 비교 자체가 가능한가. 1차 출처를 떠서 확인한 게 이것이다.

어떻게 팠는가

같은 윈도우(2026-05~06)의 논문 열 편 남짓을 직접 읽고 세 묶음으로 대조했다. ① 포화 — TASTE(Technion)·BenchEvolver(Berkeley·Tsinghua)·Benchmark Everything(CUHK). ② 게이밍 — Rubric RL 보상해킹·Review Arcade(Hamburg)·When Gradients Collide(IIT Jodhpur·Amazon)·멀티모달 심판 편향(KAIST·Samsung, ICML 2026). ③ 앵커 — CorVer(UIC)·RAMP(Sun Yat-sen)·SoCRATES. 각 논문을 두 질문으로 분류했다 — 측정이 어디서 새나(포화·게이밍), 그리고 그 측정의 채점은 LLM 안인가 바깥인가.

정직하게 둘 것: 인용 숫자는 전부 2026년 preprint의 보고치이지 필자가 재현한 게 아니다. 그리고 이 조사는 페이퍼의 abstract·결과표 수준까지 떴고, 일부 §은 직접 검증하지 못했다 — 자(尺)를 의심하는 글이 자기 자(尺)는 다 못 떴다는 한계를 먼저 적어 둔다.

변별력이 죽는다 — 벤치 포화

가장 단순한 신호: 좋은 모델들이 한 벤치에서 점수가 똑같이 높아 구분이 안 된다. 숫자가 직설적이다.

TASTE는 τ²-Bench를 거의 푼 모델이 새로 합성한 τ^c-Bench 과제에서 무너지는 걸 보인다 — Gemini-3-Flash가 0.82~0.94 → 0.28~0.61로 추락한다. 즉 기존 벤치의 0.9대 점수는 실력의 천장이 아니라 벤치의 천장이었다.
BenchEvolver는 더 노골적이다. 프런티어 모델이 LiveCodeBench easy split에서 99% 이상 Pass@1 — 변별력이 0에 수렴. 해법을 진화시켜 만든 hard split에서 타깃 모델 정답률을 **87.0% → 45.7%**로 끌어내린다.

벤치가 이렇게 빨리 포화되니, 분야의 대응은 벤치를 손으로 다시 만드는 게 아니라 자동으로 진화시키는 것이다(TASTE·BenchEvolver·Benchmark Everything 모두 자동 합성기다). 여기서 글의 핵심 씨앗 하나 — 그 자동 합성된 벤치는, 그럼, 누가 채점하나?

신뢰가 죽는다 — 심판 게이밍

채점자가 LLM이면, 위에서 정의한 네 통로로 점수와 실체가 분리된다. 그리고 그 분리는 가설이 아니라 측정됐다.

Rubric RL 보상해킹: Qwen3-4B를 GRPO로 학습시키며 심판에 편향을 주입하니, 대리 보상은 오르는데 실제 과제 성능은 떨어진다. 해킹이 발현되는 시점도 통로마다 다르다 — 어휘 편향은 step 68에서, 자화자찬은 step 478에서. 즉 "정당한 성공과 얽혀 있을수록 늦게 발현"돼, 로그만 봐선 진보와 게이밍이 구별되지 않는다.
Review Arcade: LLM 논문 리뷰가 사람과 얼마나 안 맞고, 얼마나 게임당하는지를 동시에 잰다. 최고 모델(GPT-5.4)의 인간 상관이 0.276(인간-인간 0.312에 겨우 못 미침), 절대 점수 오차(MAE 0.7~0.97)는 사람(0.17)의 네 배. 같은 리뷰를 세 번 돌리면 **36.9%**의 논문이 점수가 달라진다. 결정타는 paper laundering — 내용은 안 건드리고 표현만 다듬는 수정 10회로 **35%**의 논문이 유의하게 점수를 올린다(Cohen's d 0.20). 가장 잘 먹힌 수정이 "명료화·재구성" 같은 표면 손질이었다. 외형만 갈아도 점수가 오른다는 게임의 정의 그 자체.
멀티모달 심판 편향: 이미지와 텍스트가 충돌할 때 멀티모달 심판은 언어적으로 그럴듯한 답을 시각적으로 옳은 답보다 선호한다(저자 표현 "response anchoring" — 자기 시각 분석 대신 응답 텍스트를 믿어 버림). 지각만 틀린 케이스에서 정확도가 10%p 넘게 빠진다.
When Gradients Collide: 심판을 여러 기준에 맞춰 동시에 튜닝하려 하면 깨진다. 한 번에 여러 과제를 처리하면 기울기 특이성이 59% 감소(9.0→3.7), 따로 최적화한 지침을 합치면 오히려 성능이 떨어진다(SummEval 10개 구성 중 6개는 초기 프롬프트보다 한 번도 못 나아짐). 심판을 고치려는 시도조차 다목적에선 무너진다.

직접 걸어 봤다 — 게이밍은 "한 방"이 아니라 "루프"다

위 통로가 정말 먹히는지, 심판 하나에 직접 게임을 걸어 봤다 — 이 블로그 최초의 핸즈온 측정이다(스크립트·로그 공개). 심판은 Claude Haiku, 개방형 질문 6개에 정답 내용은 글자 그대로 고정하고 표면만 바꾼 변형 — length(군더더기)·format(마크다운)·tone(단정 어투)·self_praise(자화자찬)·all(전부) — 을 1–10 정답중심 루브릭으로 채점했다(변형당 6Q×3반복=18회). 위생용으로 내용을 실제로 훼손한 degraded와, 루브릭에서 "장황함을 보상 말라"는 문구를 뺀 순진 조건도 같이 돌렸다.

결과는 내 예상을 반쯤 뒤집었다(Δ는 baseline 대비).

변형	Δ 방어 루브릭	Δ 순진 루브릭
length 군더더기	−2.50	−2.67
tone 허세	−2.06	−2.11
all 전부	−1.83	−1.56
format 구조	−0.83	−0.56
self_praise 자화자찬	+0.28	+0.61
degraded(내용 훼손)	−7.17	−6.72

세 가지가 드러났다.

한 방 표면 게이밍은 실패한다 — 오히려 깎인다. 군더더기·허세·전부는 점수를 올리기는커녕 2점 넘게 떨어뜨렸다. 강한 심판은 일회성 패딩을 품질이 아니라 잡소리로 읽는다. 루브릭에서 가드 문구를 빼도(순진 조건) 델타는 양수로 안 뒤집혔다 — 방어막은 루브릭 문구가 아니라 심판의 판단력 자체였다.
단, 자화자찬만은 먹힌다. 유일한 양수 통로고, 가드를 빼니 +0.28 → +0.61로 커졌다(≈3.8σ). 본문이 든 네 통로 중 실측에서 살아남은 건 self-praise 편향 하나다.
불안정성은 심각하다. 같은 입력을 세 번 돌리면 48%(방어)~62%(순진)의 셀에서 점수가 달라졌다 — Review Arcade의 36.9%와 같은 결이고, 약한 루브릭일수록 더 흔들린다.

degraded가 1.2점으로 정확히 추락했으니, 위 음수 델타는 심판이 멍청해서가 아니라 변별력이 있어서 나온 값이다.

이게 본문 단정을 약화가 아니라 교정·강화한다. 게이밍은 공짜 표면 광택이 아니다 — 일회성으론 강한 심판이 버틴다. 문헌의 큰 수치(Review Arcade 35%, 보상해킹)가 하나같이 반복 최적화(10회 편집루프·RL)에서 나온 이유가 여기 있다. *활성 성분은 표면 수정 자체가 아니라, 심판을 상대로 점수를 굴리는 루프다.* 셀프-개선의 "곡선 우상향 ≠ 일반화"와 같은 자리 — 한 스텝은 멀쩡해 보여도, 그 스텝을 심판에 대고 반복하면 정렬이 깨진다. (한계: 심판 한 종·질문 6개·일회성 변형이다. 루프는 아직 안 돌렸으니, 이 결과는 "한 방은 안 통한다"까지만 말한다.)

두 실패가 곱해진다 — 순환

이제 두 씨앗을 맞물린다. 포화 탈출구는 "더 어려운 벤치를 자동 합성하자"였다. 그런데 그 합성의 유효성·정답을 무엇으로 검증하나.

TASTE는 도구 시퀀스의 유효성을 "LLM-judged validity signals" 로 판정해 생성기를 학습시킨다.
Benchmark Everything은 사람 평가와 LLM-as-Judge(의도 정렬 68~81%)를 섞어 채점한다.

즉 포화에서 도망친 더 어려운 벤치가, 게임당하는 바로 그 LLM 심판으로 채점된다. 결과적으로 "더 어려운 벤치에서도 우리 에이전트가 높다"는 문장은 두 가지로 읽힌다 — 진짜 더 어려운 걸 풀었다, 또는 더 센 자를 더 세게 속였다. LLM 바깥 앵커가 없으면 이 둘은 구분되지 않는다. 변별력을 회복하려는 수단이 신뢰를 잃은 심판에 의존하는 순간, 두 실패는 더해지는 게 아니라 곱해진다.

면역이 있는 자리: LLM 바깥 앵커

그럼 게임당하지 않는 측정은 없는가. 있다 — 단, 채점이 LLM 바깥의 검증 가능한 신호에 묶여 있을 때만. 같은 윈도우에서 면역을 보인 세 곳이 같은 구조다.

BenchEvolver는 합성하되 실행 가능 의미에 묶는다 — 진화시킨 해답·독립 brute-force 풀이·문장 전용 oracle을 삼각 검증(triangulation)한다. LLM의 판정이 아니라 실행 결과가 정답을 정한다.
RAMP는 정적 벤치를 버리고 운영 워크플로(6단계 컴파일러 구성 과제)에서 잰다. 완주율이 **100% → 46.7% → 13.3% → 0%**로 무너지고, 같은 급 모델 간 비용이 **$0.05~$126.24(2,525배)**로 벌어진다 — 정적 벤치엔 안 보이던 것들이다. 그리고 결정적으로 "LLM 심판에 의존하지 않는다" — LLVM·CMake 같은 결정론적 컴파일러 툴체인과 테스트 스위트로 채점한다.
CorVer는 비-코드·비-수학 도메인(사실 QA)에서도 LLM 심판을 빼고, 위키피디아 동시출현 통계(Infini-gram 인덱스)라는 결정론적 외부 신호로 문장 단위 보상을 준다. 논문이 그 이유를 명시한다 — "신경망 검증기는 학습 중인 정책과 같은 파라메트릭 맹점을 공유한다는 순환 문제를 제거" 하기 위해서. 사람 검증에서 정답 확률이 동시출현 0회 24% → 20회 이상 81%로 단조 증가한다.

패턴이 단정적이다 — 측정이 신뢰를 유지하는 건 채점이 모델 밖에 응고된 결정론적 신호(코드 실행·컴파일러 출력·코퍼스 통계)에 묶일 때뿐이다. 프롬프트 인젝션 조사에서 보장이 모델 밖 결정론 레이어로 내려갈 때만 천장이 사라진 것, 셀프-개선에서 모델 밖 재사용 산출물로 응고된 것만 전이한 것과 정확히 같은 배치다. 능력이든 보장이든 측정이든 — 모델 안에 두면 확률적·게임가능, 모델 밖에 응고시키면 결정론적·면역.

살아 있는 질문 — 앵커가 없는 도메인

여기까지가 합의 가능하다면, 프런티어의 살아 있는 질문은 그다음이다. 앵커를 둘 데가 없는 도메인은 어쩌나. 코드는 실행하면 되고 수학은 검산하면 되고 사실 QA는 코퍼스로 묶을 수 있다. 그러나 글쓰기 품질·연구 아이디어 타당성·분쟁 중재 같은 비-검증(non-verifiable) 도메인엔 실행할 oracle이 없다.

SoCRATES가 이 자리를 정면으로 친다. 분쟁 중재 능력을 재되, "per-turn LLM 심판이 비활성 토픽까지 채점해 궤적을 따라 오차가 누적"되는 걸 피하려 토픽-국소 평가기를 따로 설계해야 했다 — 전문가 상관 r=0.82(기존 ProMediate r≈0.37의 두 배 이상). 주목할 결과는 따로다: 최고 LLM 중재자도 합의 격차를 **~34%**밖에 못 좁힌다(단일 도메인 연구들이 보고하던 80~90%와 딴판). 비-검증 도메인에선 측정기를 세우는 것부터가 연구 과제고, 세워 봐도 능력의 천장이 낮게 드러난다.

그래서 안 풀린 질문은 둘이다. ① 비-검증 도메인에서 게임 불가능한 측정이 원리적으로 가능한가, 아니면 "평균적으로 인간정렬 + 적대적으로 취약"이 천장인가. ② 자동 벤치 합성이 대세가 되는 흐름에서, 합성기와 채점기를 어떻게 LLM 바깥에 묶을 것인가 — BenchEvolver·RAMP의 실행 앵커 방식이 코드 너머로 얼마나 일반화되는지는 아무도 아직 지도로 그리지 않았다.

이 조사가 말하지 못하는 것

인용 숫자는 전부 2026년 preprint의 보고치다 — 재현하지 않았고, 페이퍼의 abstract·결과표 수준까지 떴지 일부 §은 직접 검증하지 못했다. 특히 Review Arcade의 paper-laundering 35%·Rubric RL의 step-68 발현 같은 값은 셋업·시드에 민감할 수 있어 방향으로 읽는 게 안전하다. 그리고 이 글은 "포화"와 "게이밍"을 한 틀에 묶었지만, 둘은 메커니즘이 달라(전자는 데이터·난도 문제, 후자는 최적화 압력 문제) "측정 붕괴"라는 한 단어가 둘을 다소 거칠게 합친 면이 있다. 마지막으로 — 자(尺)를 의심하는 글이 자기 1차 출처는 다 못 떴다는 모순을 그대로 안고 있다. 그리고 직접 재현(〈직접 걸어 봤다〉)은 심판 한 종(Haiku)·질문 6개·일회성 변형이라, 루프 게이밍은 아직 안 쳤다 — 그 결과를 "게이밍 전반이 안 통한다"로 일반화하면 안 된다.

다음 조사

〈직접 걸어 봤다〉에서 일회성 게이밍은 쳐 봤다 — 남은 건 루프다. 심판을 상대로 편집·점수를 반복해 굴리는 적대적 최적화(Review Arcade의 10회 편집루프, 보상해킹의 RL)를 직접 돌려, 한 방엔 버틴 심판이 몇 스텝 만에 뚫리는지 곡선을 그리는 것. 그리고 심판을 Haiku 한 종이 아니라 여러 모델로 넓혀 자화자찬 편향이 모델 공통인지 확인하는 것. 마지막으로 BenchEvolver·RAMP의 실행 앵커를 코드 밖(예: 사실 QA·도구 사용)으로 옮겨, 어디까지 결정론적 채점이 버티고 어디서 LLM 심판으로 후퇴할 수밖에 없는지의 경계를 긋는 것. 이 셋이 이 발견이 연 다음 질문이다.

1차 출처

포화:

게이밍:

앵커: