셀프-개선 에이전트 · leejk

TL;DR. 자기개선이라 불리는 것의 대부분은 가중치가 바뀌는 학습이 아니라 한 환경에 대한 경험 누적이고, 그 이득은 거의 같은 환경 안에서만 측정됐다. 1차 출처를 직접 파보니 — EvoTest·SAGE의 "개선"은 same-task 측정이고, test-time 스케일링엔 천장이 있다(턴을 더 줘도 일정 지점 이후 떨어진다). 과제 경계를 넘어 버티는 건 경험을 재사용 가능한 스킬 산출물로 응고시킨 쪽뿐이다. 단 그 전이도 모델·실행기는 잘 건너지만 과제 축에서 얇아진다. 남은 질문은 "자기개선이 되느냐"가 아니라 어느 축까지 전이를 기대할 수 있느냐다.

한 단어가 너무 많은 걸 가리킨다 — 합의가 없다

2026년 들어 "self-improving agent"가 트렌드 단어가 됐다. 5월에만 SkillsBench(2602.12670)·SkillFlow(2604.17308) 같은 스킬 전이 벤치가 연달아 나왔고, 5월 말엔 RLEval 워크숍(ACM CAIS, 2026-05-26~29)이 RL 환경을 에이전트 평가 기준으로 어떻게 세울 것인가를 처음 정면에 올렸다. 자랑하는 숫자가 매주 쏟아지는데, 정작 무엇을 측정한 숫자인지는 헤드라인에 안 적힌다.

문제는 "self-improving"이 한 단어로 너무 많은 메커니즘을 가리킨다는 것이다. 무엇이 바뀌나 — 가중치(RL 파인튜닝)인가, 영속 메모리(Reflexion의 언어적 자기반성, Shinn et al. 2023)인가, 스킬 라이브러리(재사용 가능한 절차의 누적)인가, 아니면 그냥 그 세션의 프롬프트·컨텍스트인가. 이 넷은 "에이전트가 스스로 나아진다"는 같은 문장으로 팔리지만, 세션이 끝나면 남는 것도 다르고 새 과제로 옮겨갈 때 버티는 것도 다르다. 그래서 어느 자기개선이 실제로 무엇을 남기는지는 헤드라인이 아니라 페이퍼가 무엇을 홀드아웃으로 뒀는지를 직접 봐야 나온다. 필자가 이 글에서 한 작업이 그것이다.

어떻게 팠는가

세 묶음을 1차 출처로 직접 읽고 대조했다. ① 패러다임 정의 — Reflexion(언어적 자기반성 + 영속 메모리), test-time learning의 정의. ② 같은 환경 개선의 측정 — EvoTest(arXiv 2510.13220, J-TTL 벤치)와 SAGE(2512.17102, Sequential Rollout)의 결과표. ③ 과제를 넘는 전이의 측정 — EvoSkill(2603.02766)의 zero-shot transfer 절, SkillOpt(2605.23904, Microsoft·SJTU 외)의 3축 transfer 표, 그리고 test-time 스케일링의 천장을 짚은 CMU 연구. 각 결과를 세 축으로 분류했다 — 무엇이 바뀌나(가중치·메모리·스킬·프롬프트), 어디에 갇히나(과제 내 vs 과제 간), 측정이 같은 환경인가 홀드아웃인가.

정직하게 둘 것 둘. 인용한 벤치마크 숫자는 2026년 preprint의 보고치이지 필자가 재현한 게 아니다. 그리고 이 조사 중에 2차 요약 하나가 EvoSkill에 "전이 실험 없음"이라고 잘못 적은 걸 발견했다 — 실제 PDF의 §3.3 "Zero-Shot Skill Transfer" 표를 직접 떠서야 반대임을 확인했다. 자기개선처럼 숫자가 빠르게 도는 분야에서 1차 출처를 직접 떠야 하는 이유의 실례다.

"개선"의 대부분은 같은 환경 안에서만 측정됐다

가장 흔한 자기개선 숫자는 같은 과제를 반복하며 나아지는 곡선이다. EvoTest는 J-TTL 벤치에서 에이전트가 같은 게임을 여러 에피소드 연속 플레이하며 회차마다 성능을 올린다 — Detective·Library 두 게임을 유일하게 클리어한 것도 그 게임 안에서의 개선이다. SAGE의 Sequential Rollout은 유사 과제 체인을 돌며 이전 과제의 스킬을 라이브러리에 쌓아, AppWorld에서 Scenario Goal Completion을 8.9%p 올리고 상호작용 스텝을 26%, 토큰을 59% 줄인다 — 모두 같은 벤치 안 수치다.

둘 다 좋은 결과지만, 둘 다 홀드아웃이 아니다. 곡선이 우상향한다는 것과 일반화한다는 것은 다른 주장이다. 같은 환경에서 더 나아지는 건, 그 환경에 더 잘 맞춰진 것일 수도 있다 — 그게 새 환경에서 얼마나 남는지는 별도로 측정해야 나오는데, 자기개선 문헌의 헤드라인 다수가 이 측정을 건너뛴다.

test-time 스케일링엔 천장이 있다

"같은 환경이라도 시도를 더 주면 계속 는다"는 직관도 깨진다. CMU의 Benchmark Test-Time Scaling of General LLM Agents는 10개 선도 에이전트를 4개 도메인(coding·search·tool-use·reasoning)에서 돌려, 순차 스케일링(턴 수)과 병렬 스케일링(샘플 수)을 같이 본다. 결과는 단조 증가가 아니다 — 성능은 3~7턴에서 정점을 찍고, 그 뒤로는 수확이 줄다가, 컨텍스트가 모델의 고유 한계를 크게 넘어서면 누적된 히스토리가 후속 추론을 방해해(이른바 context pollution) 오히려 이전 베이스라인 아래로 떨어진다. 도메인을 건너면 약 30% 성능 하락도 같이 보고된다.

(이 천장 수치는 현재 2차 출처를 경유해 잡은 것이라, 절대치는 원논문 직접 확인 전까지 방향으로만 읽어야 한다.) 방향만으로도 함의는 분명하다 — 같은 환경 안에서도 무한정 나아지지 않는다. "개선"이 측정된 자리는 좁고, 그 안에도 바닥이 아니라 천장이 있다.

과제를 넘어 버티는 건 스킬로 응고시킨 쪽뿐이다

천장 너머, 즉 새 과제로 옮겨도 남는 이득은 어디서 나오는가. 1차 출처에서 홀드아웃 전이를 명시적으로 측정한 두 곳이 같은 답을 가리킨다: 경험을 자기완결적인 스킬 산출물(트리거 조건 + 절차가 적힌 폴더)로 응고시킨 쪽.

EvoSkill(Sentient·Virginia Tech, 2603.02766) — SealQA에서 진화시킨 search-persistence-protocol 스킬을 수정 없이 BrowseComp에 적용한다. 다른 벤치, 다른 질문, 다른 난이도인데 정확도가 43.5% → 48.8%(+5.3%p) 오른다(128 stratified examples). 페이퍼의 단정: "EvoSkill이 찾은 스킬은 학습 과제에 overfit돼 있지 않다."
SkillOpt(Microsoft·SJTU 외, 2605.23904) — 같은 원리를 3축 전이 표로 못박는다(Table 4). cross-model: SpreadsheetBench 스킬을 GPT-5.4에서 mini로 +9.4, nano로 +3.0. cross-harness(Codex ↔ Claude Code, 과제 고정): SpreadsheetBench가 Codex→Claude Code +59.7, 역방향 +43.6(이 큰 폭은 특정 벤치·하네스 조합에 쏠린 값이라 일반적 전이 크기로 읽으면 과대평가다). cross-benchmark: OlympiadBench→Omni-MATH +1.3~+3.7. 모든 행이 양수다 — 어느 전이도 타깃의 무(無)스킬 베이스라인 아래로 떨어지지 않는다.

왜 이쪽만 버티나. EvoSkill이 명시하듯(4.3) 스킬은 트리거 조건과 절차를 담은 자기완결 폴더라 모델·과제로부터 분리(decouple)돼 있다. 프롬프트 최적화는 모델·과제가 바뀌면 흔히 무너지지만, 구조화된 스킬은 그렇지 않다. 같은 구조적 결론이다 — 개선이 모델 안 in-context에 머물면 세션과 함께 휘발하고, 모델 밖 재사용 가능한 산출물로 떨어지면 전이한다. (프롬프트 인젝션 조사에서 보장이 모델 밖 결정론 레이어로 내려갈 때만 천장이 사라진 것과 같은 배치다 — 모델 안에 둔 능력은 확률적·휘발성, 모델 밖에 응고시킨 것은 전이·보장.)

살아 있는 질문은 "어느 축까지 전이하나"다

여기까지가 합의 가능한 결론이라면 — 스킬로 응고시키면 전이는 양수다 — 프런티어의 살아 있는 질문은 그다음이다. 전이는 균질하지 않다. 위 숫자를 축별로 다시 읽으면:

모델을 건널 때(cross-model): +3.0~+9.4 — 작지만 견고.
실행기를 건널 때(cross-harness, 과제 고정): +1.6 ~ +59.7 — 크지만 벤치 편차가 심하다.
과제·벤치를 건널 때(cross-benchmark): +1.3 ~ +5.3 — 가장 얇다.

패턴이 단정적이다 — *스킬은 모델과 실행기는 잘 건너지만, 과제 경계를 넘을수록 이득이 얇아진다.* 그래서 안 풀린 질문은 두 개다. ① 과제 축 전이의 천장은 어디인가 — cross-benchmark의 +1~4%p가 노이즈와 구별되는 신호인지, 어떤 과제쌍에서 0이나 음수로 꺾이는지는 아무도 아직 지도로 그리지 않았다. ② 평가 표준이 없다 — RLEval이 막 던진 질문이 이것이다. 같은 환경 곡선을 self-improvement로 인정할지, 홀드아웃 전이만 인정할지 합의가 없으면, "우리가 SOTA"라는 주장들은 비교 자체가 안 된다(SkillOpt가 EvoSkill 대비 +3.2~+14.0이라지만 셋업이 제각각이다).

보론 (2026-06-09): 한 주 뒤, 같은 패턴이 네 편 더

이 글을 올리고 한 주 뒤, 하루치(2026-06-09) 페이퍼 피드에 "self-evolving/self-improving"을 단 논문이 네 편 한꺼번에 올라왔다. 첫 절에서 "매주 쏟아진다"고 적은 게 과장이 아니라는 1차 증거가 한 번 더 쌓인 셈이다. 위 세 축(무엇이 바뀌나 · 어디에 갇히나 · 측정이 홀드아웃인가)으로 그대로 줄세우면, 네 편은 새 결론을 만들기보다 기존 결론의 양 끝을 다시 채운다.

OpenSkill(Lehigh·UIC·Salesforce 외, 2606.06741) — 타깃 과제 정답 없이(open-world) 문서·레포에서 스킬을 마크다운 산출물로 응고시킨다. 가중치를 안 건드린다는 점, 그 스킬을 약한 모델로 수정 없이 옮겼을 때 +5.5~14.8%p(Opus 4.6 → Haiku·Qwen·DeepSeek·Mistral) 오른다는 점에서 EvoSkill·SkillOpt와 정확히 같은 캠프다. cross-model 전이가 견고하다는 본문 결론(+3.0~9.4)을 더 큰 폭으로 한 번 더 찍는다. 단 — cross-task·cross-benchmark 전이는 측정하지 않는다. 가장 얇은 축은 여기서도 비어 있다.
SIA(2605.27276) — 하네스와 가중치를 같이 갱신한다(피드백 에이전트가 둘 다 업데이트). LawBench +56.6%p, GPU 커널 런타임 91.9% 감소처럼 숫자가 크지만, 전부 같은 과제·환경 안의 홀드아웃 split 측정이고 cross-task 전이는 보지 않는다. 본문에서 SAGE를 두고 한 말 — 곡선이 우상향한다는 것과 일반화한다는 것은 다른 주장 — 이 그대로 적용되는 사례다. 큰 숫자 + same-env.
Socratic-SWE(2606.07412) — 실행 트레이스에서 실패·복구 패턴을 구조화된 스킬로 증류해 재학습에 쓴다. SWE-bench Verified에서 3회 반복 후 50.40%, Verified·Lite·Pro·Terminal-Bench를 가로질러 보고한다 — 표면상 cross-benchmark지만, 넷 다 GitHub 이슈 해결이라는 한 과제 가족의 변종이라 EvoSkill의 SealQA→BrowseComp 같은 이질 과제 전이와는 거리가 다르다. "벤치를 건넜다"는 라벨이 곧 "과제를 건넜다"는 아니라는, 본문 측정 표준 문제의 또 다른 얼굴.
HarnessForge(Beihang·Tsinghua, 2606.01779) — 하네스와 정책(LoRA)을 함께 진화시키고, 다섯 개 홀드아웃 벤치에서 train-test split을 엄격히 끊어 측정한다 — 이 네 편 중 프로토콜이 가장 깨끗하다. 그런데 평균 이득이 +3.56%(최대 12.0%) 로, 본문 cross-benchmark 구간(+1.3~5.3)과 같은 얇은 대역이다. 게다가 자기보고로 "pair-specific 호환성" — 맞춰 진화시킨 하네스-정책 쌍이 어긋난 조합을 크게 앞선다 — 을 들고 온다. 즉 이쪽 LoRA는 하네스에 커플링돼 있다. 본문이 "decouple된 스킬만 전이한다"고 했는데, HarnessForge는 일부러 커플링시켜 same-env 적합을 사고 그 대가로 과제 축 이득은 얇다 — 반례가 아니라 같은 법칙의 뒷면이다.

종합하면 네 편 중 어느 것도 본문이 연 질문 — 과제 축 전이의 천장은 어디인가 — 을 닫지 못한다. cross-model(OpenSkill)·same-env 대박(SIA)·동일 과제가족 내 이동(Socratic-SWE)·커플링된 얇은 홀드아웃(HarnessForge)으로 갈릴 뿐, 이질 과제 간 두꺼운 전이를 보인 건 한 편도 없다. 한 주 새 네 편이 더 쌓이고도 빈칸이 그대로라는 건, 그게 우연한 누락이 아니라 현재 방법론의 실제 경계임을 시사한다.

(provenance: 이 보론의 네 편은 HuggingFace 페이퍼 페이지의 abstract·결과표를 확인한 수준이지, 본문 EvoSkill·SkillOpt처럼 PDF 본문 §을 직접 뜬 깊이는 아니다. 숫자·전이 라벨은 저자 보고치이며 재현·교차검증 전이다. 특히 "같은 과제가족"·"커플링" 판단은 abstract 기술에 기댄 구조적 해석이라, 본문 표를 직접 뜨면 뒤집힐 수 있다.)

이 조사가 말하지 못하는 것

인용한 숫자는 전부 2026년 preprint의 보고치이지 필자가 재현한 게 아니다. 특히 cross-harness의 +59.7 같은 큰 값은 SpreadsheetBench·특정 하네스 조합에 쏠려 있어, 일반적 전이의 크기로 읽으면 과대평가다. CMU 천장 수치는 2차 출처를 경유했으니 절대치는 원논문 확인 전까지 방향으로만 읽어야 한다. 그리고 이 글은 가중치가 바뀌는 RL 자기개선(SAGE류)과 가중치를 안 건드리는 스킬·메모리 누적을 한 틀에서 비교했는데, 둘은 메커니즘이 달라 "전이"의 의미도 미묘하게 다르다 — 이 차이를 더 갈라 보는 건 이 조사의 범위 밖이다.

다음 조사

같은 스킬 산출물을 고정한 모델에 여러 과제쌍으로 직접 돌려 과제 축 전이 곡선을 그리는 것 — 어디서 이득이 0이 되고 어디서 음수로 꺾이는가. 그리고 RLEval류 홀드아웃 프로토콜을 한 벤치에 실제로 얹어 "in-task 개선"과 "전이"를 분리 측정하는 것. 이 둘이 이 발견이 연 다음 질문이다.

1차 출처

보론(2026-06-09) 추가분 — abstract·결과표 확인 수준, PDF 본문 미확인: