breakinglog
OpenAI가 AI의 정신건강 관련 답변을 따로 평가하는 공개 벤치마크 MentalHealthBench를 9월 23일 공개했습니다. 일상적인 스트레스부터 심각한 정신건강 우려, 즉각적인 현실 세계 지원이 필요한 응급 상황까지 한 평가 체계에 넣고, 모델이 안전성과 맥락 파악, 사용자 선택권, 실행 가능한 안내를 얼마나 잘 지키는지 봅니다.
OpenAI의 공식 설명에 따르면 이 벤치마크는 22개국의 면허 취득 심리학자와 정신과 의사 80명 이상이 공동 제작했습니다. 참여 전문가들은 19개 언어를 구사하고 약 20개 정신건강 세부 전문 분야를 대표하며, 성인뿐 아니라 13~17세 청소년, 보호자, 임상 전문가가 등장하는 대화를 다룹니다.
기존 HealthBench보다 정신건강 대화의 범위를 더 세밀하게 봅니다
OpenAI는 지난해 공개한 HealthBench에서 262명의 의사가 만든 기준으로 5,000개의 일반 건강 대화를 평가했습니다. MentalHealthBench는 그 방식을 정신건강에 좁혀, 위기 상황만이 아니라 평범한 정서적 대화와 높은 긴급도 상황까지 함께 평가하도록 확장한 것이 핵심입니다.
| 항목 | HealthBench | MentalHealthBench |
|---|---|---|
| 주요 범위 | 일반 건강 대화 | 정신건강과 웰빙 대화 |
| 전문가 | 262명의 의사, 60개국 진료 경험 | 면허 심리학자와 정신과 의사 80명 이상, 22개국 |
| 대화 범위 | 개인 사용자와 임상 전문가의 다양한 건강 상황 | 성인, 청소년, 보호자, 임상 전문가의 비응급, 고긴급도, 응급 상황 |
| 평가 특징 | 대화별 의사 작성 기준 | 정신건강 전문가 합의 기준과 10가지 행동 차원 분석 |
한 대화를 최소 세 명의 전문가가 검토합니다
MentalHealthBench에서는 전문가가 합성 대화를 읽고 마지막 사용자 메시지에 모델이 어떻게 답해야 하는지 세부 평가 기준을 작성합니다. 각 기준에는 임상적 중요도에 따라 -10부터 +10까지 가중치가 붙고, 한 대화는 최소 세 명의 전문가가 검토합니다. 최종 기준에는 최소 두 명이 동의하고 세 번째 전문가가 반대하지 않은 항목만 남습니다.
실제 모델 답변의 채점에는 GPT-5.6 Sol이 자동 채점기로 사용됩니다. 다만 채점기가 임의로 좋은 답을 정하는 구조가 아니라, 전문가들이 미리 작성한 대화별 기준을 모델 답변이 충족했는지를 판정하는 방식입니다. 전체 점수는 정신건강 응답에 필요한 10가지 행동 차원으로 다시 나눠 볼 수 있어, 총점이 비슷한 모델도 어떤 행동에서 차이가 나는지 확인할 수 있습니다.
사용자가 원하는 답과 전문가가 원하는 답도 따로 비교했습니다
OpenAI는 벤치마크 점수와 별개로, 정신건강이나 정서적 지원을 위해 AI를 사용해 본 성인 44명의 평가도 비교했습니다. 16개국, 14개 언어의 참가자들은 실용적인 다음 단계와 말투를 더 중요하게 보는 경향이 있었고, 전문가들은 필요한 맥락을 더 묻고 모호한 상황을 조심스럽게 해석하는 데 더 큰 비중을 뒀습니다. 이 사용자 조사는 비응급 대화만 대상으로 했고, 최종 벤치마크 채점 기준은 전문가 합의를 유지했습니다.
높은 점수가 곧 치료 안전성을 보장하는 것은 아닙니다
이번 평가는 실제 사용 패턴을 반영하도록 만든 합성 대화를 사용하며, OpenAI도 각 시나리오 비중이 ChatGPT에서 실제로 얼마나 자주 발생하는지를 뜻하지 않는다고 설명합니다. 청소년 사례 역시 13~17세라는 정보를 시스템 메시지로 명시해 여러 모델을 같은 조건에서 비교한 것이어서, 개별 제품에 이미 들어 있는 별도 보호장치까지 완전히 재현하지는 못합니다.
OpenAI는 ChatGPT가 치료나 전문 진료를 대신하지 않는다고 명시했습니다. 이번 공개의 의미는 AI가 정신건강 대화에서 무엇을 잘해야 하는지를 전문가 기준으로 더 세분화하고, 다른 연구자도 같은 방법을 살펴보고 자체 평가를 돌릴 수 있게 벤치마크를 공개했다는 데 있습니다.
