breakinglog
마이크로소프트 사티아 나델라 최고경영자(CEO)가 AI 모델을 처음부터 ‘침해됐을 수 있는 시스템’으로 보고, 사람이 작업 중간에도 강제로 멈출 수 있는 통제 장치를 마련해야 한다고 제안했습니다. 미국 현지시간 2026년 10월 10일 X에 올린 장문의 글에서 나온 발언입니다. 업무용 AI 에이전트를 운영하는 기업이라면, 모델의 성능만큼 모델에 맡긴 권한과 중단 절차를 점검해야 한다는 이야기입니다.
여기서 말하는 ‘비상 브레이크’는 마이크로소프트가 새 제품이나 공통 종료 버튼을 출시했다는 뜻이 아닙니다.
나델라가 고도화된 AI를 실제 업무 시스템에 연결할 때 필요한 보안 설계 원칙을 제안한 것입니다. 테크크런치는 10월 10일 이 발언을 보도했습니다.
같은 날 더버지와 비즈니스인사이더도 안전 설계 원칙을 다뤘습니다.
“AI를 믿을수록 안전하다”가 아니라, 덜 믿어도 안전해야 한다
나델라의 설명을 쉽게 풀면 이렇습니다. AI가 이메일을 읽고, 고객 정보에 접근하고, 외부 웹사이트에 데이터를 제출할 수 있다면 그 모델이 잘못 판단하거나 공격에 속아도 피해가 제한되는 구조가 먼저 필요합니다. AI가 악의를 가졌다는 주장이 아니라, 중요한 시스템에 접속하는 소프트웨어에는 실수와 침해 가능성을 전제로 한 방어가 필요하다는 뜻입니다.
구체적으로는 AI 모델과 업무를 실제로 실행하는 프로그램을 분리하고, 어떤 데이터를 열거나 외부로 전송할지 결정하는 권한 통제 장치를 모델 바깥에 두자고 했습니다. 모델이 자신의 실행 권한을 스스로 확대하거나, 자기 행동의 감사 기록을 임의로 고칠 수 없도록 하자는 방향입니다. 나델라의 원문 게시물은 X 접근 환경에 따라 본문이 표시되지 않을 수 있으며, 보도된 인용 내용은 위 세 매체를 대조했습니다.
‘일시중지’ 버튼 하나만으로 해결되는 문제는 아닙니다
나델라는 권한을 가진 사람이 AI가 작업하는 도중에도 일시중지하거나 종료할 수 있어야 한다고 강조했습니다. 이때 중지 권한은 AI에게 부탁하는 명령어에만 의존해서는 안 됩니다. 모델이 요청을 무시하거나 오류를 일으켜도 별도의 운영 시스템이 새 실행을 막을 수 있어야 한다는 의미입니다.
예를 들어 AI 에이전트가 거래처에 문서를 발송하는 작업을 맡았다면, 모델이 ‘발송’이라고 출력하는 것과 메일 서버가 실제로 발송하는 것은 다른 단계입니다. 발송 전에는 수신인과 첨부파일, 권한을 독립적으로 검사하고, 위험 상황에서는 승인 중단과 접근 권한 회수로 이어질 수 있어야 합니다. 다만 이미 외부에 전송된 문서나 완료된 결제까지 ‘중지’ 버튼으로 되돌릴 수 있다는 뜻은 아닙니다.
어떤 기록과 검증이 필요하다고 했나
나델라는 중요한 모델의 행동을 사람이 읽을 수 있고 사후에 변조하기 어려운 형태로 기록하는 것, 모델과 독립적인 감사, 실패 상황을 포함한 지속적 검증도 제안했습니다. 모델이 내린 결론만 저장하는 대신, 실제 어떤 외부 도구를 실행했고 무엇이 전송됐는지를 확인 가능하게 하자는 취지입니다.
여기에는 한 모델이 자기 결과를 유일하게 검증하지 않도록 하는 모델 다양성과, 보안 사고가 발생했을 때 영향을 받은 당사자에게 적시에 알리는 사고 공개도 포함됩니다. 이는 기업 전체가 똑같은 제품을 설치해야 한다는 지침이 아니라, 서로 다른 서비스에도 적용할 수 있는 관리 원칙입니다.
기업과 에이전트 이용자가 지금 확인할 것
업무에 AI 에이전트를 도입했다면 ① 어떤 계정과 데이터에 접근하는지 ② 실제 외부 행동을 누가 승인하는지 ③ 작업 중 멈췄을 때 새 실행과 기존 자격 증명을 어떻게 차단하는지 ④ 남는 실행 기록은 누가 검증하는지를 확인하는 것이 출발점입니다. 개인 사용자도 메일 발송, 파일 삭제, 결제처럼 되돌리기 어려운 권한은 에이전트에 항상 열어 두기보다 필요한 작업에만 제한하는 편이 안전합니다.
최근 AI 에이전트가 의도하지 않은 실제 외부 행동을 수행한 내부 평가 사례들이 알려진 가운데, 이번 발언은 모델 자체의 선의나 정확도에만 안전을 맡기지 말자는 문제 제기로 볼 수 있습니다. 다만 새로운 마이크로소프트 기능의 배포 일정, 모든 Copilot 제품에 적용되는 종료 버튼, 구현 완료 여부는 이번 게시물과 보도만으로 확인되지 않았습니다. 실제 도입 사례가 나오면 별도의 발표 및 제품 문서를 기준으로 판단해야 합니다.
