참고문헌만 주고 논문을 맞혀보라 했더니 3% — 리컨스트럭션 벤치마크

AI가 논문을 잘 읽는다는 말은 이제 놀랍지 않습니다. 요약도 하고 비판도 하고 관련 연구도 찾아 줍니다.

그런데 연구라는 일의 한가운데에는 다른 동작이 하나 있습니다. 아직 아무도 쓰지 않은 것을 먼저 떠올리는 일입니다. 기존 문헌을 읽고 "그렇다면 이걸 해 봐야겠다"로 넘어가는 그 도약이지요.

2026년 8월 19일 공개된 리컨스트럭션(Reconstruction)은 정확히 그 도약만 재려고 만든 시험입니다. 그리고 그 결과는 지금 AI가 어디쯤 서 있는지를 꽤 불편하게 보여 줍니다.

참고문헌만 주고 논문을 맞혀보라고 했습니다

실험 설계는 한 문장으로 요약됩니다. 어떤 논문의 참고문헌 목록만 주고, 그 논문이 무슨 아이디어를 담고 있었는지 맞혀 보라는 것입니다.

정답인 논문 본문은 물론 감춥니다. 그 논문이 나온 뒤에 발표된 문헌도 전부 뺍니다. 남는 것은 그 연구자가 논문을 쓰기 직전에 손에 쥐고 있던 자료뿐입니다.

즉 모델을 그 연구자가 앉아 있던 자리에 앉히고, 같은 자료를 보고 같은 도약을 해 보라고 시킨 셈입니다.

리컨스트럭션이 재려는 단 하나의 능력

이 시험이 재려는 것은 지식의 양이 아닙니다. 읽기 능력도 아닙니다.

재려는 것은 기존 연구가 시사하는 바로부터 새 가설을 세우는 동작 하나입니다. 연구를 연구답게 만드는 그 지점이지요.

논문 저자들은 이 능력이야말로 과학적 발견을 정의하는 추론 단계라고 적었습니다.

기존 벤치마크로는 왜 안 되는가

지금까지의 AI 과학 능력 평가는 대개 문제를 주고 답을 맞히게 하는 방식이었습니다.

이 방식의 약점은 답이 이미 세상에 나와 있다는 점입니다. 모델이 학습 과정에서 그 답을 본 적이 있다면 추론이 아니라 회상으로도 맞힐 수 있습니다.

성적이 오를수록 그것이 실력인지 기억인지 구분하기 어려워집니다. 리컨스트럭션은 이 구분 문제를 정면으로 겨냥했습니다.

검색으로 풀 수 없는 문제를 만드는 법

연구진의 해법은 검색 경로 자체를 설계로 막아 버리는 것이었습니다.

정답 논문이 학습 자료에 없었다면, 모델은 그 논문이 무엇을 말했는지 알 방법이 없습니다. 참고문헌이 시사하는 바로부터 추론하는 수밖에 없습니다.

이 설계를 논문은 "블라인드 벤치마크"라고 부릅니다. 답을 가려 둔 채 재는 시험이라는 뜻입니다.

시간 커트라인 — 발표 이전 문헌만 남긴다

누출을 막는 첫 번째 장치는 인용 시점 자르기입니다.

대상 논문이 나온 시점 이후의 문헌은 전부 제외합니다. 후속 연구가 정답을 흘리는 일을 막기 위해서입니다.

이 처리를 하지 않으면 시험은 금세 무의미해집니다. 나중에 나온 논문 한 편이 정답을 그대로 요약해 두고 있을 수 있기 때문입니다.

참고문헌을 익명 번호로 바꾼 이유

두 번째 장치는 참고문헌에 익명 식별자를 붙이는 것입니다.

제목과 저자가 그대로 보이면 모델이 그 조합을 기억해 정답 논문을 특정할 수 있습니다. 이름을 지우면 그 지름길이 막힙니다.

남는 것은 그 문헌들이 무엇을 다뤘는가라는 내용뿐입니다. 내용만으로 다음 걸음을 추론하라는 조건이 됩니다.

모델은 다섯 개의 가설을 낸다

채점 방식도 단순합니다. 모델은 논문 한 편당 다섯 개의 가설을 냅니다.

다섯 개 중 하나라도 실제 논문의 아이디어와 맞으면 성공으로 칩니다. 한 번에 정확히 맞히라는 가혹한 조건은 아닌 셈입니다.

그럼에도 성적이 낮았다는 점이 이 결과의 무게입니다.

심판도 AI다 — 그 설계의 장단

제출된 가설이 실제 논문과 맞는지는 별도의 언어 모델 심판이 판정합니다. 정답 논문의 제목과 초록을 보고 일치 여부를 이진으로 매깁니다.

장점은 규모입니다. 643편 × 다섯 가설을 사람이 채점하려면 감당하기 어려운 분량이 됩니다.

단점도 분명합니다. 심판이 사람이 아니라는 사실 자체가 결과의 신뢰도에 조건을 겁니다. 저자들도 이 점을 한계로 명시했습니다.

대상 논문 643편, 여섯 분야

시험 대상은 논문 643편입니다. 분야는 여섯 개로 나뉩니다.

머신러닝 120편, 천문학 85편, 화학 105편, 재료 117편, 의학 78편, 물리 138편입니다.

한 분야에 몰아넣지 않은 이유는 분야마다 추론의 성격이 다르기 때문입니다. 결과를 보면 실제로 분야별 편차가 컸습니다.

머신러닝 120편이라는 기준선

머신러닝이 별도로 들어간 점은 눈여겨볼 만합니다. AI가 가장 많이 학습했을 분야이기 때문입니다.

직관적으로는 이 분야에서 가장 잘해야 맞습니다. 자기가 속한 영역이니까요.

그런데 결과는 반대였습니다. 이 역전이 이번 논문에서 가장 흥미로운 대목 중 하나입니다.

네이처 계열 다섯 분야를 넣은 뜻

머신러닝을 뺀 다섯 분야는 네이처 계열 저널에서 뽑았습니다.

심사 기준이 높은 저널을 고른 것은 "아이디어의 도약이 실제로 있었던 논문"만 남기려는 선택으로 읽힙니다.

평범한 후속 연구라면 참고문헌만 보고도 쉽게 맞힐 수 있습니다. 그런 논문이 섞이면 시험의 변별력이 떨어집니다.

결과 — 단일 모델은 3에서 15퍼센트

핵심 결과부터 보겠습니다. 프런티어 모델이 단독으로 낸 성적은 3~15퍼센트였습니다.

다섯 번 기회를 주고도 열 번 중 한 번 남짓 맞혔다는 뜻입니다.

이 수치는 요약이나 문제 풀이에서 보던 성적과 완전히 다른 자릿수입니다. 같은 모델이 같은 논문을 다루는데도 그렇습니다.

최고점 클로드 오퍼스 4.8의 13.3퍼센트

단일 모델 중 가장 높은 평균은 클로드 오퍼스 4.8이 기록했습니다. 여섯 분야 평균 약 13.3퍼센트입니다.

함께 평가된 모델로는 GPT-5.6-쏠-프로, 키미 K3, GLM-5.2 등이 있었습니다.

최고점이 13퍼센트대라는 사실은, 이 낮은 성적이 특정 모델의 부진이 아니라 현재 세대 전체의 상태라는 점을 보여 줍니다.

여럿이 붙었더니 23에서 42퍼센트

설계를 바꾸자 숫자가 달라졌습니다. 상위 네 모델을 붙여 서로의 가설을 검토하게 했더니 성적이 23~42퍼센트로 올랐습니다.

최고 단일 모델 대비 약 2.4배입니다. 부트스트랩 분석에서 95% 신뢰구간은 2.3~2.6배로 나왔습니다.

혼자보다 여럿이 낫다는 결론 자체는 새롭지 않지만, 이 정도 폭으로 벌어진다는 점은 눈여겨볼 만합니다.

스위스 토너먼트라는 선발 방식

다중 에이전트 구성은 스위스 토너먼트 방식을 씁니다. 여러 후보 가설을 서로 겨루게 해 살아남는 것을 고르는 절차입니다.

네 모델이 각각 가설을 내고, 서로의 것을 검토하고, 다섯 개 자리를 놓고 경쟁합니다.

요컨대 좋은 답을 만드는 능력보다 여러 답 중에서 좋은 것을 알아보는 능력에 기대는 구조입니다.

분야별 격차 — 의학 41.6, 머신러닝 22.9

다중 에이전트 성적을 분야별로 보면 의학 41.6, 재료 40.1, 화학 38.4, 천문학 36.5, 물리 36.4, 머신러닝 22.9퍼센트였습니다.

머신러닝이 꼴찌라는 점이 눈에 띕니다. 학습 자료가 가장 많았을 분야인데도 그렇습니다.

해석은 여러 갈래가 가능합니다. 머신러닝 논문의 아이디어가 참고문헌으로부터 더 멀리 도약하기 때문일 수도 있고, 이 분야의 판정 기준이 더 엄격했기 때문일 수도 있습니다.

2.4배라는 상승폭이 뜻하는 것

2.4배라는 숫자는 낙관과 비관 양쪽으로 읽힙니다.

낙관 쪽은 이렇습니다. 모델을 바꾸지 않고 구성만 바꿔도 이만큼 오른다면, 아직 짜낼 여지가 남아 있다는 뜻입니다.

비관 쪽은 이렇습니다. 그렇게 올려도 절반을 못 넘습니다. 가장 잘 나온 의학 분야조차 열 번 중 네 번입니다.

저자들이 스스로 붙인 아홉 가지 단서

이 논문에서 인상적인 부분은 저자들이 자기 결과에 붙인 단서의 양입니다. 아홉 가지를 명시했습니다.

암기 가능성, 심판이 사람이 아니라는 점, 후보 수가 다르다는 점, 심판 구성이 다르다는 점, 상위 네 모델을 같은 데이터로 골랐다는 점, 계산량 차이, 이진 판정의 거칢, 가설 길이 차이, 분야가 여섯 개뿐이라는 점입니다.

결과를 부풀리지 않으려는 태도가 분명합니다. 벤치마크 논문에서 흔히 보기 어려운 신중함입니다.

암기일 가능성을 배제하지 못한다

첫 번째 단서가 가장 무겁습니다. 대상 논문이 모델의 학습 자료에 들어 있었을 가능성을 완전히 배제하지 못한다는 것입니다.

그렇다면 맞힌 것 중 일부는 추론이 아니라 회상일 수 있습니다.

이 가능성을 감안하면 실제 추론 능력은 보고된 수치보다 더 낮을 수 있습니다. 오차가 위쪽이 아니라 아래쪽으로 열려 있는 셈입니다.

후보 수가 다르다는 비대칭

다중 에이전트 쪽은 스무 개 후보에서 다섯 개를 골라 제출합니다. 단일 모델은 다섯 개를 내고 그 다섯 개로 채점받습니다.

즉 다중 에이전트는 고를 기회를 더 가진 상태에서 겨룬 셈입니다.

저자들은 상승폭의 일부가 협업 효과가 아니라 후보를 많이 뽑았기 때문일 수 있다고 적었습니다.

계산량을 더 쓴 결과일 수도 있다

비슷한 맥락의 단서가 하나 더 있습니다. 다중 에이전트는 단일 모델보다 계산 자원을 훨씬 많이 씁니다.

네 모델을 돌리고 서로 검토까지 시키니 당연한 일입니다.

같은 자원을 단일 모델에 쏟았다면 어땠을지는 이 실험에서 답하지 않습니다. 2.4배를 협업의 성과로만 읽으면 안 되는 이유입니다.

실제 사례 — 연구 보조로 쓸 때의 현실적 기대치

이 결과를 실무로 옮기면 이렇게 됩니다. AI에게 "이 분야에서 다음에 뭘 연구하면 좋을까"를 물었을 때, 나온 답 중 쓸 만한 것이 열에 하나둘이라는 뜻입니다.

쓸모없다는 말이 아닙니다. 열 개를 몇 초에 받아 보고 그중 하나를 건지는 것은 여전히 남는 장사일 수 있습니다.

다만 나온 답을 검토 없이 채택하는 사용법은 이 수치와 맞지 않습니다. 고르는 일은 여전히 사람 몫입니다.

실제 사례 — 이 수치를 오독하는 두 가지 방식

첫 번째 오독은 "AI는 연구를 못 한다"입니다. 이 시험이 잰 것은 연구 전체가 아니라 가설 도약 한 단계뿐입니다. 실험 설계나 데이터 분석은 다른 이야기입니다.

두 번째 오독은 "42퍼센트면 절반쯤 왔다"입니다. 그 42는 가장 잘 나온 분야에서, 계산 자원을 크게 쓰고, 후보를 네 배 뽑아 고른 조건의 숫자입니다.

숫자를 인용할 때는 조건을 함께 옮기는 편이 정확합니다.

스탠퍼드가 이 실험을 놓은 자리

논문은 스탠퍼드 대학 연구진이 주도했습니다. 천사룡, 페이옌린, 류나저우, 위신먀오, 리레이, 라훌 타파 등이 이름을 올렸고, 타이탄 홀딩스와 프렌티스 AI 소속 연구자들이 함께 참여했습니다.

AI-프로페서 프로젝트의 일부로 진행되었으며, arXiv에 2026년 8월 19일 등록되었습니다.

AI가 연구자를 대체할 수 있느냐는 질문이 자주 오가는 시기에, 그 질문을 감정이 아니라 수치로 옮겨 놓았다는 점이 이 작업의 값어치로 보입니다.

핵심 정리

리컨스트럭션은 논문의 참고문헌만 주고 그 논문의 아이디어를 되짚게 하는 블라인드 벤치마크입니다. 인용 시점 자르기와 익명 식별자로 검색 경로를 설계에서 차단했습니다.

대상은 여섯 분야 643편이고, 모델은 논문당 다섯 개 가설을 내며 별도의 AI 심판이 일치 여부를 판정합니다.

단일 모델 성적은 3~15퍼센트, 최고는 클로드 오퍼스 4.8의 약 13.3퍼센트였습니다. 상위 네 모델을 붙인 다중 에이전트는 23~42퍼센트로 약 2.4배 올랐습니다.

저자들은 암기 가능성, 후보 수 비대칭, 계산량 차이 등 아홉 가지 단서를 스스로 달았습니다. 이 단서들을 감안하면 실제 추론 능력은 보고 수치보다 낮을 수 있습니다.

참고하실 만한 것

AI에게 연구 아이디어를 물을 계획이라면 한 번에 하나가 아니라 여러 개를 받아 고르는 방식이 이 결과와 더 잘 맞습니다.

가능하다면 서로 다른 모델에게 같은 질문을 던져 보십시오. 다중 에이전트가 성적을 올린 원리를 손으로 흉내 내는 셈입니다.

논문 원문은 arXiv에서 무료로 볼 수 있습니다. 아홉 가지 한계 절만 읽어도 벤치마크 수치를 대하는 감각이 달라집니다.

출처

1. arXiv — Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies (2608.16645)
2. arXiv 초록 — Reconstruction (2608.16645)
3. Tech Times — Blind Benchmark Catches Frontier AI at Just Three Percent on Research Idea Recovery
4. arXiv — Scientific Hypothesis Generation and Validation: Methods, Datasets, and Future Directions
5. arXiv — Enhancing Research Idea Generation through Combinatorial Innovation and Multi-Agent Iterative Search
6. arXiv — ResearchGym: Evaluating Language Model Agents on Real-World AI Research
7. arXiv — MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility
8. arXiv — What are the limits to biomedical research acceleration through general-purpose AI?

협업문의 : kuroicode@gmail.com
블로그 : https://ghost-production-0ec2.up.railway.app/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/