breakinglog
AI 도움을 받은 뒤 곧바로 AI 없이 문제를 풀자, 분수 계산 정답률이 57%에 그쳤습니다. AI를 처음부터 쓰지 않은 비교 집단의 73%보다 16%포인트 낮았습니다. 미국 UC버클리는 2026년 10월 9일 이런 결과를 담은 연구를 소개했습니다. 다만 이는 AI를 끊은 직후의 짧은 시험을 측정한 수치로, 장기간 지능이 떨어졌다는 뜻은 아닙니다.
연구 제목은 ‘AI Assistance Reduces Persistence and Hurts Independent Performance’입니다. 4월부터 공개됐던 연구의 수정돼 동료심사를 거친 논문이 10월 언어모델 학회 COLM 2026에서 발표됐고, UC버클리가 10월 9일 연구 결과를 다시 설명했습니다. 처음 공개된 연구가 10월에 새로 시작됐다는 의미는 아닙니다.
실험에서는 AI를 어떻게 사용했나
연구진은 미국 온라인 실험 참가자 총 1,222명을 모집해 무작위 대조 실험 세 건을 진행했습니다. 두 실험은 분수 계산, 한 실험은 SAT 유형 독해 문제를 사용했습니다. 주의력 검사 등 제외 기준을 적용한 최종 분석 인원은 각각 307명, 585명, 168명으로 총 1,060명입니다.
실험 참가자는 AI를 이용할 수 있는 집단과 처음부터 AI 없이 푸는 집단으로 나뉘었습니다. AI 집단에는 GPT-5를 이용한 채팅 보조 도구가 제공됐고, 답을 바로 물어볼 수도 있었습니다. 학습 단계가 끝난 뒤 연구진은 AI를 예고 없이 제거했습니다. 그런 다음 두 집단 모두 마지막 세 문제를 외부 도움 없이 풀게 해 평균 정답률과 건너뛰기 비율을 비교했습니다.
정답률 차이는 세 실험에서 모두 관찰됐다
| 최종 3문항 | AI 사용 후 중단 | AI 미사용 |
|---|---|---|
| 분수 1차 (307명) | 57% | 73% |
| 분수 2차 (585명) | 71% | 77% |
| 독해 (168명) | 76% | 89% |
위 수치는 각 실험에서 AI를 제거한 직후 마지막 세 문항의 참가자별 평균 정답률입니다. 실험 1에서 정답률 차이는 통계적으로 유의했고(p<0.001), 실험 2도 p=0.020, 독해 실험도 p=0.007이었습니다. 어느 집단의 한 사람이 사용 전 73%였다가 사용 후 57%로 떨어졌다는 개인별 전후 비교가 아닙니다.
문제를 건너뛴 비율에서도 차이가 나타났습니다. 첫 번째 분수 실험에서는 AI 이용 집단 20%, 미사용 집단 11%였고, 독해 실험에서는 8%와 1%였습니다. 하지만 두 번째 분수 실험의 건너뛰기 비율은 10%와 7%로 통계적으로 유의한 차이에 도달하지 않았습니다(p=0.239). 따라서 모든 실험에서 포기 행동이 유의하게 늘었다고 단정할 수 없습니다.
AI에 정답을 요청할수록 더 나빴을까
두 번째 분수 실험에서 AI 접근 권한이 있던 참가자 중 61%는 정답을 직접 구하는 데 사용했다고 답했습니다. 이 집단은 힌트나 설명을 요청한 사람들보다 AI 제거 후 성적이 나빴습니다. 다만 이용 방식은 참가자의 자기보고를 바탕으로 사후 비교한 결과로, 직접 정답을 묻는 행동 자체가 성적 악화의 원인이라고 확정한 인과 실험은 아닙니다.
연구진은 빠른 정답에 익숙해지면 스스로 문제를 붙잡고 탐색하는 경험이 줄어들 수 있다는 해석을 제시했습니다. 이는 데이터에 대한 연구진의 설명이지 모든 AI 사용에 똑같이 적용되는 법칙으로 검증된 것은 아닙니다.
10분 사용으로 ‘지능이 떨어졌다’고 볼 수 없는 이유
이 연구가 확인한 것은 약 10분간 AI 도움을 받은 직후, 도구 없이 수행한 짧은 시험에서 나타난 차이입니다. 몇 시간이나 며칠 뒤에도 영향이 유지되는지, 장기간 사용할수록 누적되는지, 실제 업무와 개발 작업에도 똑같이 적용되는지는 측정하지 않았습니다. 원 논문에서도 이를 명시적인 연구 한계로 설명합니다.
또 실험용 AI는 필요하면 정답 전체를 즉시 제공하도록 설계됐습니다. AI가 질문을 던지거나 힌트만 주는 튜터 방식에서도 같은 현상이 생기는지는 아직 알 수 없습니다. 계산기처럼 도구가 사라진 직후 성적이 떨어지는 현상과, 능력이 장기간 약해지는 현상은 구분해서 읽어야 합니다.
AI로 공부하거나 코딩한다면 무엇을 확인할까
이 결과를 일상에 적용할 때는 AI가 도와준 결과물만 확인하지 말고 AI 창을 닫은 다음 같은 종류의 문제를 스스로 다시 해결할 수 있는지 점검하는 방식이 유용한 출발점입니다. 곧바로 정답을 받는 대신 첫 단계를 직접 시도하고 막힌 부분만 질문하는 방법도 고려할 수 있습니다. 다만 이런 방식이 이번 실험에서 성적 저하를 방지한다고 직접 입증된 것은 아닙니다.
연구진의 메시지는 AI를 사용하지 말라는 단순한 금지보다, 도구가 없는 상황에서도 독립적으로 해결할 수 있는 능력을 어떻게 보존할 것인가에 가깝습니다. 이번 수치가 말해 주는 범위는 분명합니다. 즉각적인 작업 성과와 도구 없이 남는 실력은 별개로 측정해야 합니다.
