OpenAI 연구진이 2026년 6월 19일 AI 모델에 '유익한 특성' 데이터를 소량 혼합해 강화학습(RL)을 진행하면 안전성과 조작 저항성이 전반적으로 높아진다는 연구 결과를 공개했다.
연구팀은 진실성, 인식론적 겸손, 수정 가능성, 추론 투명성, 공정성, 인간 복지 고려 등 6가지 특성을 기준으로 의료·교육·과학·법률·공학 분야의 현실적 대화 시나리오를 설계했다. 이 데이터를 일반 RL 사후 훈련 파이프라인에 소량만 섞었다.
결과는 독립 벤치마크 53개 중 44개에서 성능 향상으로 나타났다. 측정 항목은 기만, 정직성, 아첨, 보상 해킹, 정신 건강 시나리오 등이다. 특히 의료 데이터만으로 훈련해도 보상 해킹·기만 탐지 등 비의료 평가 항목이 개선됐다. 반대로 의료·과학 데이터 없이 훈련해도 의료 벤치마크 성능이 올랐다. 연구팀은 RL 훈련이 도메인을 넘나드는 기본 행동 패턴을 강화한다고 결론 내렸다.
적대적 조작 저항성도 확인됐다. 기준 모델을 크게 흔들었던 적대적 프롬프트가 유익한 특성 모델에는 훨씬 적은 영향을 미쳤다. 유해한 미세 조정도 훈련된 특성을 침식하는 정도가 줄었다. 연구팀은 이를 '선택적 지속성(selective persistence)'이라 부른다. 유해한 조작에는 저항하면서 유용한 지시에는 여전히 유연하게 반응한다는 의미다.
OpenAI의 방법론은 Anthropic의 접근과 뚜렷이 갈린다. OpenAI는 현실 시나리오 기반 RL로 행동 특성을 실증적으로 강화한다. Anthropic은 '클로드 헌법'이라는 명시적 가치 문서를 훈련과 행동의 최상위 기준으로 삼는다. Anthropic은 모델이 특정 행동이 바람직한 이유를 이해하도록 설계한다고 밝혀왔다. 두 접근법의 직접 비교 연구는 아직 없다.
국내 AI 안전 연구 및 모델 개발 관점에서 이 방법론은 주목할 만하다. 소량 데이터로 도메인 전반의 안전성을 높일 수 있다는 점은 훈련 비용 대비 효율이 높고, 국내 언어 모델 개발사나 AI 안전 정책 설계에 직접 적용 가능한 기법이다.
