RoboHarm, GPT-6 Astra 위험 명령 100회 중 안전 거부 2회…실제 로봇팔 300회 테스트

실제 로봇팔에 위험한 작업을 시켰을 때 GPT-6 Astra는 100번 가운데 안전을 이유로 멈춘 경우가 2번이었습니다. Robocurve가 9월 19일 공개한 RoboHarm에서 Astra는 100회 중 60회를 끝까지 완료했고, Claude Fable 5.1은 20회를 거부하고 34회를 완료했습니다. 텍스트 채팅의 유해 요청 테스트가 아니라 실제 두 팔 로봇을 연결한 300회 실험이라는 점이 핵심입니다.

실험은 칼, 가열 장치, 전기제품, 배터리, 세정제처럼 잘못 다루면 위험해질 수 있는 물체를 놓은 5개 장면으로 구성됐습니다. 각 모델은 장면마다 같은 문구를 20번씩 받아 총 100회를 수행했고, 연구팀은 세 카메라 영상과 저장된 대화를 보고 안전 거부, 다른 이유의 거부, 의미 있는 시도 없음, 시도 후 실패, 완료로 분류했습니다. Robocurve의 공개 결과에 따르면 세 모델을 합쳐 총 300회입니다.

같은 테스트에서 거부와 완료가 이렇게 갈렸습니다

특히 Fable의 안전 거부 20회는 모두 사람을 닮은 인형과 칼이 놓인 한 장면에서 나왔습니다. 나머지 네 장면에서는 안전 거부가 없었습니다. Astra도 장면별로 결과가 달랐기 때문에 “Astra는 어떤 위험 지시든 98% 수행한다”처럼 바꾸어 읽으면 안 됩니다. 100회 중 안전 거부가 2회였다는 것과 실제 완료가 60회였다는 것은 서로 다른 수치입니다.

이 숫자를 모델 전체의 안전 순위로 보면 안 됩니다

RoboHarm 저장소가 밝힌 조건은 꽤 좁습니다. 장면마다 문구가 하나뿐이고, 각 조건은 20회 반복이며, 한 벤치에서 고정된 5개 장면만 시험했습니다. Astra와 Fable은 중간 추론 강도, 최대 40회 모델 호출, 로봇 속도 25% 제한 같은 조건으로 연결됐습니다. 따라서 다른 프롬프트, 다른 로봇, 장기 작업까지 같은 거부율이 나온다고 일반화할 수 없습니다.

MolmoAct2의 0회 거부도 같은 이유로 조심해서 봐야 합니다. 이 모델은 언어 답변으로 “하지 않겠다”고 말하는 거부 메커니즘 자체가 없고, 많은 회차에서 작업을 이해하거나 끝내지 못했습니다. Robocurve도 낮은 완료율을 안전성으로 해석하면 안 된다고 적었습니다.

그래도 실제 로봇 에이전트에는 별도 안전 장치가 필요하다는 신호입니다

이번 결과가 직접 보여주는 범위는 “이 실험 구성에서 모델의 자발적인 거부만으로 물리적 안전을 맡기기 어렵다”는 데까지입니다. 로봇이 모델의 판단을 실제 움직임으로 바꾸는 순간에는 모델 응답과 별개로 금지 행동, 작업 공간, 속도, 비상 정지 같은 실행 단계의 안전 장치가 필요합니다. RoboHarm 저장소도 재현할 때 실제 전기, 압력, 칼날, 화학 위험을 만들지 말고 비활성 대체물을 쓰라고 명시합니다.