AI는 아직 AI 연구를 못 합니다 — 프린스턴 그림자 평가가 매긴 2점과 1점
"AI가 AI를 개선하기 시작하면 발전 속도가 폭발한다." 업계에서 자주 들리는 이야기입니다. 그런데 8월 18일 공개된 프린스턴 대학 주도의 연구는 그 전제에 제동을 걸었습니다. 최상급 AI 에이전트에게 진짜 연구 과제를 맡겼더니, 6점 만점에 2점과 1점을 받았습니다.
[이미지 추후 생성]
재귀적 자기개선은 아직 멀다는 결과가 나왔습니다
재귀적 자기개선(RSI)은 AI가 스스로를 더 낫게 만들고, 나아진 AI가 다시 자신을 개선하는 순환을 말합니다. 이 순환이 시작되면 발전이 사람 손을 떠난다는 것이 여러 경영진의 주장이었습니다.
이번 연구는 그 주장을 실험으로 확인해 봤습니다. 결론은 간명합니다. 지금 모델은 연구의 손발은 되지만 머리는 되지 못합니다.
무엇을 실험했나요
연구진은 프린스턴 대학의 피터 커기스와 사야시 카푸어가 이끄는 다기관 연구팀입니다. 카푸어는 AI 성능 과장을 비판적으로 검증해 온 연구자로 알려져 있습니다.
실험 설계는 단순하면서 영리합니다. 아직 세상에 공개되지 않은 논문의 핵심 연구 질문을 AI 에이전트에게 그대로 던지고, 나온 결과물을 그 논문의 원저자가 채점하게 했습니다.
[이미지 추후 생성]
그림자 평가라는 방법
연구진은 이 방식을 그림자 평가(shadow evaluation)라고 부릅니다. 원본 연구를 그림자처럼 따라 밟게 한 뒤, 원본과 견주어 보는 것이지요.
이 설계의 장점은 기준선이 사람이라는 데 있습니다. 벤치마크 점수는 "몇 점이면 잘한 건가"를 판단하기 어렵지만, 여기서는 같은 질문을 실제로 푼 연구자가 옆에 있습니다.
미공개 논문을 쓴 이유
왜 굳이 공개되지 않은 논문이었을까요. 답을 외워서 맞히는 것을 막기 위해서입니다.
이미 나온 논문으로 시험하면, 모델이 학습 과정에서 그 내용을 봤을 가능성을 배제할 수 없습니다. 검색으로 찾아낼 수도 있고요. 미공개 논문이면 그 경로가 원천 차단됩니다. 이 점이 이번 연구를 다른 평가와 구분 짓는 대목입니다.
[이미지 추후 생성]
첫 번째 논문 — 페르소나 제어
과제로 쓰인 논문은 NeurIPS 2026 투고 논문 두 편입니다. 첫 번째는 대형 언어 모델의 페르소나를 다룹니다.
모델이 보이는 성격·말투 같은 것이 내부 가중치 공간에서 어떤 구조로 자리 잡는지, 그리고 그 가중치에 직접 개입해 성격을 조절할 수 있는지를 묻는 연구입니다. 쉬운 질문이 아닙니다.
두 번째 논문 — 표 모델의 분포 이동 탐지
두 번째는 TabPFN이라 불리는 표 데이터용 기반 모델에 관한 것입니다. 학습할 때 본 데이터와 실제로 들어오는 데이터가 달라지는 현상, 즉 분포 이동을 감지하는 장치를 설계하는 과제입니다.
둘 다 정답이 정해져 있지 않은 열린 질문입니다. 시험 문제처럼 채점표가 있는 종류가 아니라는 뜻이지요.
[이미지 추후 생성]
에이전트에게 준 것들
조건은 넉넉했습니다. 사용된 모델은 클로드 오퍼스 4.8이었고, 추론 강도를 최대로 올렸으며, 오픈클로 스캐폴드 위에서 돌았습니다. 오늘 쓸 수 있는 가장 좋은 조합에 가깝습니다.
여기에 리눅스 가상 머신 전체, 웹 접근, AI 리뷰 도구까지 붙여 줬습니다. 사람 연구자에게 주는 환경과 크게 다르지 않습니다.
엿새와 3천 달러
시간은 6일, 예산은 3천 달러의 API 크레딧에 GPU 연산 크레딧이 더해졌습니다. 한화로 400만 원 남짓입니다.
이 정도면 대학원생 한 명이 짧은 프로젝트를 돌리는 조건과 견줄 만합니다. 자원이 모자라서 실패했다고 말하기는 어려운 설정입니다.
[이미지 추후 생성]
채점은 원저자가 했습니다
결과물은 해당 논문을 실제로 쓴 연구자들이 채점했습니다. 자기가 씨름했던 질문에 AI가 내놓은 답을 보는 셈이니, 어디가 부족한지 가장 잘 아는 심사위원입니다.
기준은 학회 심사와 같았습니다. 이 결과물이 최상위 학회에 실릴 수준인가를 물었습니다.
결과는 6점 만점에 2점과 1점
점수는 이렇습니다. 페르소나 과제는 6점 만점에 2점(Reject), TabPFN 과제는 1점(Strong Reject)이었습니다.
두 편 모두 게재 거절입니다. 아깝게 떨어진 것이 아니라 명확한 거절이고, 한 편은 최하위 등급입니다.
[이미지 추후 생성]
엔지니어링은 사람 도움 없이 해냈습니다
그런데 여기서 결과를 반쪽만 읽으면 안 됩니다. 에이전트는 연구에 필요한 엔지니어링 작업을 사람 도움 없이 전부 완수했습니다.
환경을 세팅하고, 코드를 짜고, 실험을 돌리고, 결과를 모으는 일 말이지요. 몇 년 전이라면 이것만으로도 놀라운 일이었습니다. 실제로 이 부분에서는 실패가 없었습니다.
그런데 연구 질문에는 다가가지 못했습니다
막힌 곳은 그다음이었습니다. 무엇을 물어야 하는지, 어떤 결과가 의미 있는지, 지금 방향이 틀렸는지를 판단하는 일에서 무너졌습니다.
연구진의 표현을 빌리면, 에이전트에게 부족했던 것은 능력이 아니라 판단력과 창의성이었습니다.
[이미지 추후 생성]
실패 유형 하나 — 어디까지가 논문인지 모릅니다
연구진은 반복해서 나타난 실패를 다섯 가지로 정리했습니다. 첫 번째는 기준선 감각의 부재입니다.
에이전트는 어느 수준이면 발표할 만한 연구인지를 몰랐습니다. 그래서 이미 알려진 사실을 다시 확인하고는 그것으로 충분하다고 판단했습니다. 사람 연구자라면 "이건 논문이 안 된다"고 바로 아는 지점입니다.
실패 유형 둘 — 막혔을 때 새 길을 못 냅니다
두 번째는 설계 결함에 대한 대응이 창의적이지 못했다는 점입니다. 실험 설계에 문제가 드러났을 때, 사람은 접근 자체를 갈아엎습니다.
에이전트는 대신 원래 설계를 조금씩 손보며 계속 밀었습니다. 각각의 수정은 합리적이지만, 방향이 틀렸다는 사실은 끝까지 보지 못했습니다.
[이미지 추후 생성]
실패 유형 셋 — 막다른 길에서 못 돌아옵니다
세 번째는 되돌아오기 실패입니다. 막다른 길에 들어갔을 때 빠져나오지 못했습니다.
사람은 "이 길은 아니다" 싶으면 며칠 전 갈림길로 돌아갑니다. 에이전트는 이미 들인 노력을 아까워하듯 앞으로만 갔습니다. 이 실패가 특히 비쌉니다 — 남은 시간과 예산을 통째로 잡아먹기 때문입니다.
실패 유형 넷 — 자원 감각이 없습니다
네 번째가 방금 말한 자원 인식 부족입니다. 6일과 3천 달러라는 한도를 놓고 "무엇에 얼마를 쓸지" 배분하는 감각이 없었습니다.
사람 연구자는 사흘째쯤 되면 "이제 결과를 낼 수 있는 것만 붙잡자"고 방향을 좁힙니다. 그런 조절이 나타나지 않았습니다.
[이미지 추후 생성]
실패 유형 다섯 — 지시가 흘러내립니다
다섯 번째는 지시 이탈(instruction drift)입니다. 긴 작업이 이어지는 동안 처음 받은 지시에서 조금씩 벗어났습니다.
이건 저희처럼 에이전트를 오래 돌려 본 분이라면 익숙한 현상이지요. 초반에는 시킨 대로 하다가, 몇 시간 뒤에는 살짝 다른 일을 하고 있습니다. 최고 수준 모델에서도 같은 현상이 확인된 것입니다.
왜 이 결과가 중요한가
이 다섯 가지를 모아 보면 성격이 드러납니다. 전부 지식이나 연산력의 문제가 아닙니다. 모델을 더 크게 만들거나 데이터를 더 넣는다고 자동으로 풀리는 종류가 아니라는 뜻이지요.
재귀적 자기개선이 성립하려면 AI가 스스로 좋은 연구 질문을 고르고 판단해야 합니다. 그 판단 능력이 정확히 비어 있는 자리라는 것이 이번 결과입니다.
[이미지 추후 생성]
업계가 말해온 시간표와의 간격
앤스로픽, 오픈AI, 메타의 경영진은 자율적 AI 연구가 머지않았다는 취지의 발언을 해 왔습니다. 이번 연구는 그 시간표가 증거보다 앞서 나가 있다고 지적합니다.
주목할 점은 이 연구가 "AI는 쓸모없다"고 말하지 않는다는 것입니다. 잘하는 구간과 못하는 구간이 명확히 갈린다고 말할 뿐입니다.
벤치마크가 못 보던 것
기존 벤치마크는 대개 답이 정해진 문제를 냅니다. 그런 문제에서 모델은 이미 사람에 근접하거나 앞섭니다.
그런데 정답이 없는 문제에서는 이야기가 달라집니다. 무엇이 좋은 답인지 정하는 일부터가 과제이기 때문입니다. 그림자 평가는 그 구간을 재기 위해 만들어진 도구입니다.
[이미지 추후 생성]
이 연구의 한계도 봐야 합니다
공정하게 한계도 적어 두겠습니다. 사례가 단 두 편입니다. 연구진 스스로도 "초기 증거(early evidence)"라고 못 박았습니다.
또한 특정 모델과 특정 스캐폴드로 얻은 결과입니다. 조합이 바뀌면 점수도 달라질 수 있습니다.
두 편으로 일반화할 수 있나
그럼에도 이 결과를 가볍게 볼 수 없는 이유가 있습니다. 다섯 가지 실패가 두 과제에서 똑같이 반복됐다는 점입니다.
서로 다른 분야의 서로 다른 질문에서 같은 패턴이 나왔다면, 그것은 과제의 특성이 아니라 현재 에이전트의 성질일 가능성이 큽니다.
[이미지 추후 생성]
반대로 읽으면 — 지금 잘하는 일
이 연구를 낙관적으로 읽는 방법도 있습니다. 에이전트는 연구 엔지니어링을 사람 없이 끝까지 해냈습니다.
다시 말해 방향만 사람이 정해 주면, 그 아래의 실행은 상당 부분 맡길 수 있다는 뜻입니다. 지금 우리가 실제로 얻을 수 있는 이득은 자율 연구가 아니라 실행의 자동화에 있습니다.
실제 사례 — 우리 작업에 그대로 적용되는 교훈
이 결과는 연구실 밖에서도 그대로 쓰입니다. 저희가 코딩 에이전트를 돌릴 때 겪는 일과 놀랄 만큼 같기 때문입니다.
첫째, 완료 기준을 사람이 정해 주세요. "잘 만들어 줘"는 통하지 않습니다. 에이전트가 무너진 첫 번째 지점이 바로 "어디까지 하면 된 것인가"였습니다.
둘째, 같은 실패가 두 번 반복되면 방향을 바꾸게 하세요. 스스로는 돌아오지 못합니다. 사람이 끊어 줘야 남은 예산이 살아남습니다.
셋째, 긴 작업은 중간에 지시를 다시 읽히세요. 지시 이탈은 시간이 길어질수록 커집니다. 체크포인트를 두고 원래 목표를 다시 확인하는 절차가 도움이 됩니다.
[이미지 추후 생성]
핵심 정리
다섯 줄로 줄이면 이렇습니다.
첫째, 프린스턴 주도 연구팀이 미공개 NeurIPS 2026 논문 두 편의 연구 질문을 AI 에이전트에게 맡겼습니다. 둘째, 클로드 오퍼스 4.8에 6일과 3천 달러를 주고 원저자가 채점한 결과는 6점 만점에 2점과 1점, 모두 거절이었습니다. 셋째, 엔지니어링 작업은 사람 도움 없이 전부 완수했습니다. 넷째, 실패는 판단력·창의성 쪽에 몰렸고 다섯 가지 유형으로 반복됐습니다. 다섯째, 이는 재귀적 자기개선이 임박했다는 업계의 시간표와 실제 증거 사이에 간격이 있음을 보여 줍니다.
참고하실 만한 것
SVIL 연구소는 AI 성능에 관한 주장을 수치와 출처를 함께 놓고 정리합니다. 과장도 폄하도 하지 않는 것을 원칙으로 삼고 있습니다.
글이 길어 읽기 부담스러운 날에는 유튜브 채널에서 같은 내용을 음성으로 들으실 수 있습니다.
출처
- MIT Technology Review — AI's recursive self-improvement might not come so quickly after all
- arXiv 2607.27191 — Can AI agents conduct open-ended AI research? Early evidence from two case studies
- The Decoder — Study contradicts claims that autonomous AI research is within reach
- R&D World — AI agents with $3,000 budget flunk open-ended AI research assignment
- TechTimes — AI Agents Master Research Engineering, Fail at Open-Ended Science
- Normal Tech — AI agents can't yet do open-ended AI research
- GN Crypto — AI agents fail to produce publishable NeurIPS papers
- Artiverse — The Missing Leap Before AI Can Improve AI
협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/