프린스턴 40억 매개변수 ‘Queen’, 연구진 실험서 체스 2697 Elo…수의 이유까지 설명

프린스턴대 연구진이 체스를 두면서 “왜 이 수가 좋은지”까지 자연어로 설명하는 약 40억 매개변수 모델 Queen을 공개했습니다. 연구진 자체 평가에서 Queen은 8개 체스 엔진과 총 32국을 둔 결과를 Lichess 기준으로 보정했을 때 추정 Elo 2697을 기록했습니다. 같은 조건에서 Gemini-3.1-Pro는 2201, GPT-5.6-Sol은 2071로 보고됐습니다.

다만 이 숫자는 공식 FIDE 레이팅이 아닙니다. 연구진이 32국 표본과 엔진 기준점을 이용해 계산한 추정치이므로, “AI가 공인 그랜드마스터가 됐다”고 받아들이기보다는 연구진의 제한된 실험에서 그랜드마스터 수준에 가까운 경기력이 측정됐다고 보는 편이 정확합니다.

Queen은 언어모델 혼자 체스를 두는 구조가 아닙니다

핵심은 강한 체스 전용 모델과 언어모델을 붙인 구조입니다. 연구진은 Leela Chess Zero 계열의 BT5 네트워크를 약 2억4000만 매개변수의 ‘조용한 전문가’ 인코더로 쓰고, SmolLM3-3B를 자연어를 생성하는 디코더로 사용했습니다. 둘 사이에는 교차 어텐션 계층을 넣어 체스 엔진이 내부에 가진 보드 표현을 언어모델이 읽을 수 있게 했습니다.

도메인 적응 단계에서는 기존 체스 인코더와 언어모델 본체를 고정하고, 둘을 연결하는 브리지와 새 토큰 임베딩을 학습했습니다. 논문은 현재 보드의 말 배치부터 가능한 수, 여러 수 뒤의 미래 보드 상태와 그 상태에서의 전술까지 순서대로 질문하는 커리큘럼을 사용했다고 설명합니다.

1782에서 2697까지…7번의 반복 학습이 핵심이었습니다

연구진은 처음 1만5000개 체스 포지션에 GPT-5.6-Sol(low)이 만든 설명을 넣고, 불법 수나 명백한 실수가 포함된 응답을 걸러 초기 모델을 만들었습니다. 이후 모델이 후보 수의 다음 포지션을 분석하고, 자식 노드의 설명을 현재 포지션의 설명으로 합친 뒤 다시 학습시키는 ‘iterative search distillation’을 일곱 차례 반복했습니다.

논문에 공개된 추정 Elo 변화는 1782 → 2024 → 2187 → 2346 → 2539 → 2434 → 2559 → 2697입니다. 중간에 2539에서 2434로 내려간 구간도 있어 매 반복이 항상 성능을 올린 것은 아닙니다. 최종 2697이라는 숫자만 보고 단순한 직선형 개선으로 해석하기 어려운 이유입니다.

2697 Elo는 어떻게 측정했나

각 모델은 서로 다른 강도의 체스 엔진 8개와 총 32국을 두었고, 연구진은 Leela 네트워크의 알려진 강도를 기준으로 결과를 Lichess Elo 척도에 맞췄습니다. 따라서 표의 2697은 32국에서 얻은 연구진 추정치이며, 장기간 대국을 통해 얻는 공식 인간 레이팅과 같은 성격의 숫자가 아닙니다.

별도로 1000개 전술 포지션과 1000개 일반 포지션을 사용한 평가에서도 Queen은 논문이 비교한 모델 중 가장 높은 ‘실수 없는 PV’ 비율을 기록했습니다. 이 역시 동일 연구진이 만든 평가 파이프라인의 결과이며, 이번 취재에서 별도의 독립 재현 결과는 확인하지 못했습니다.

좋은 수를 찾는 것과 좋은 설명을 하는 것은 아직 다릅니다

이번 연구에서 가장 중요한 한계도 논문 안에 함께 나옵니다. 설명 문장의 구조적 일관성은 5점 만점에 3.51로 GPT-5.6-Sol과 같았지만, 체스 개념을 정확히 설명하는 ‘개념적 일관성’은 2.76으로 Gemini의 3.30, Sol의 3.61보다 낮았습니다. 이 평가는 GPT-5.6-Sol(high)을 심사 모델로 사용했습니다.

연구진은 반복 증류 과정에서 잘못된 전술 모티프나 패턴 설명이 다시 학습돼 설명 환각이 전파될 수 있다고 적었습니다. 즉 Queen이 강한 수를 선택했다고 해서, 그 수에 붙은 자연어 설명의 모든 전술과 전략 용어까지 맞다고 보장되지는 않습니다.

코드와 모델은 공개됐지만 아직 ‘완성된 앱’은 아닙니다

연구진은 GitHub 저장소를 Apache-2.0 라이선스로 공개했고, Hugging Face 컬렉션에 모델 체크포인트도 올렸습니다. 다만 저장소 README는 정리된 코드와 자세한 문서를 추가로 공개할 예정이라고 안내하고 있으며, GPU 추론용 vLLM 조합도 아직 호환성 검증 중이라고 적고 있습니다.

그래서 지금 단계의 Queen은 일반 사용자가 웹에서 바로 체스를 두는 서비스라기보다 연구 코드와 모델을 직접 실행할 수 있는 공개 연구 결과에 가깝습니다. 설치 환경과 추론 파이프라인은 저장소의 최신 문서를 확인해야 합니다.

왜 중요한가: ‘잘하는 모델’의 내부 신호를 ‘설명하는 모델’에 연결했습니다

이 연구의 의미는 단순히 체스 점수가 높아진 것보다, 자연어를 못 하는 전문 모델의 내부 표현을 언어모델에 연결해 사람에게 설명하도록 만들었다는 데 있습니다. 연구진은 같은 구조를 게임뿐 아니라 로보틱스나 컴퓨터 사용처럼 강한 전용 모델이 존재하는 영역에도 적용할 수 있다고 제안합니다.

다만 로보틱스나 컴퓨터 사용으로의 확장은 아직 이번 논문에서 실험한 결과가 아니라 연구진이 제시한 가능성입니다. 현재 확인된 성과 범위는 체스이며, 2697 Elo와 설명 품질 모두 해당 연구진의 평가 프로토콜 안에서 해석해야 합니다.