카메라 앞에 선 사람이 미간을 찌푸린다. 기존 AI라면 '화남'으로 분류했을 장면이다. 그런데 이 사람은 사실 로봇이 건네준 물건을 어떻게 받을지 잠깐 생각하는 중이다. 멜버른대(University of Melbourne) 연구팀이 만든 시각 언어 모델(VLM)은 그 차이를 구분해낸다.
연구를 이끈 홍승찬(Seung Chan Hong)은 학부 졸업 논문으로 이 연구를 진행했다. 그는 "로봇의 물리적 능력이 빠르게 발전하고 있지만, 그것만으로는 부족하다. 인간과 실제로 상호작용하는 방식도 혁신해야 한다"고 말한다.
연구팀은 ChatGPT 같은 대형 언어 모델에 시각 입력 기능을 더한 VLM을 훈련 도구로 택했다. 훈련 방식은 이렇다. 자원자들에게 로봇이 사람에게 물건을 건네는 영상을 보여주고, 영상 속 인물의 감정을 묘사하게 했다. 핵심은 '얼굴'만이 아니라 '장면 전체'를 보게 한 것이다. 손가락을 테이블에 두드리거나 입술을 오므리는 행동이 찌푸린 눈썹의 진짜 이유를 알려준다는 발상이다.
성능 비교 결과는 뚜렷했다. 얼굴 분석과 객체 추적에 의존하는 기존 AI의 감정 분류 점수(0=완전 불일치, 1=완전 일치)는 0.77이었다. VLM은 0.86을 기록했다. 홍승찬은 "얼굴만 잠깐 보는 게 아니라 그 사람이 어디 있고 무엇을 하고 있는지, 로봇과 어떻게 상호작용하는지를 전체적으로 봤기 때문"이라고 설명한다.
두 번째 실험에서 연구팀은 40명의 자원자를 VLM 탑재 로봇과 짝지어 과제를 수행하게 했다. 단, 로봇이 의도적으로 실수를 저지르도록 설계했다. 이후 로봇은 두 가지 방식으로 사과했다. 하나는 상대방의 감정 상태를 반영한 맞춤형 사과, 다른 하나는 사전에 입력된 표준 사과문이다. 40명 중 31명이 맞춤형 사과를 선호했다.
그러나 결과에는 중요한 반전이 있었다. 사과 방식과 무관하게, 로봇이 실수를 저지른 뒤 참가자들의 신뢰 점수는 하락했다. "개인화된 사과는 사회적 윤활유 역할을 하지만, 로봇이 물리적 과제에서 실패해 잃은 신뢰를 회복하지는 못한다"고 홍승찬은 말한다.
또 다른 한계도 드러났다. VLM의 감정 분류는 제3자 관찰자의 시각과는 잘 맞았지만, 참가자 본인이 직접 보고한 감정과는 일치도가 크게 떨어졌다. "VLM은 외적인 사회적 단서를 잘 읽는 관찰자지만, 마음을 읽는 독심술사는 아니다"라는 게 홍승찬의 결론이다.
이 연구 결과는 5월 18일 IEEE 로보틱스·자동화 레터스(IEEE Robotics and Automation Letters)에 게재됐다.
국내 서비스·헬스케어 로봇 시장에서도 이 기술의 함의는 작지 않다. 병원 안내 로봇이나 노인 돌봄 로봇이 환자의 불안이나 당혹감을 맥락 단서로 포착해 응대 방식을 바꿀 수 있다면, 사용자 경험은 달라질 수 있다. 다만 이번 연구가 보여주듯, 감정 공감 능력보다 기본 기능의 신뢰성이 먼저다. 상용화 단계에서 '공감하는 로봇'이 설득력을 갖추려면, 실수 없이 과제를 완수하는 능력이 전제 조건이다.
