하루에도 수백 대. Avride의 배달 로봇이 매일 도심 보도를 자율 주행하는 대수다. 자전거 이용자, 어린이, 휠체어, 응급차량을 온보드 센서와 신경망으로 실시간 탐지하며 신호등을 통과한다. 좁은 통로나 악천후도 무난히 소화한다.
그런데 '움직임'을 처리하는 것과 '상황'을 이해하는 것은 다른 문제다.
객체 탐지의 천장
보도 위 경찰관 한 명을 감지하는 건 어렵지 않다. 하지만 그가 퇴근길에 걷는 건지, 아니면 현재 진행 중인 사건 현장을 통제하는 건지는 전혀 다른 판단이다. 갓 타설한 시멘트는 카메라에 그냥 회색 보도처럼 보인다. 지도에 없는 도로 공사 구간을 로봇이 그대로 진입하면 사고다.
Avride 측은 이 간극을 '맥락 이해'의 문제로 정의한다. 온보드 모델은 프레임 안의 개체를 체크리스트처럼 나열하지만, 여러 요소가 어떻게 상호작용하는지를 하나의 시나리오로 해석하려면 훨씬 무거운 추론 능력이 필요하다는 것이다.
클라우드 VLM이 '감시자'가 된 이유
Avride가 선택한 해법은 클라우드에 올린 시각언어모델(VLM)이다. 단, 로봇을 직접 조종하는 데 쓰지 않는다. 클라우드 모델로 실시간 조향을 처리하면 지연과 연결 의존성이 생겨 안전을 오히려 해친다. VLM의 역할은 원격 운영팀을 위한 자동 조기 경보 시스템이다.
작동 방식은 세 단계로 나뉜다. 첫째, 로봇은 자율 주행 중 수 초 간격으로 카메라 스냅샷을 클라우드로 전송한다. 전송 전에 온보드 컴퓨트에서 얼굴과 번호판을 자동 블러 처리해 개인정보를 보호한다. 둘째, 클라우드의 VLM이 스냅샷 스트림을 받아 거리에서 무슨 일이 벌어지는지 의미론적 설명으로 변환한다. 비정상·민감·고위험 상황을 정의한 상세 프롬프트를 기준으로 장면을 평가하고 특정 태그를 부여한다. 셋째, 위험 태그가 붙으면 즉시 원격 운영팀에 알림이 간다. 운영자는 라이브 피드를 확인해 로봇이 응급 대원에게 양보하거나 통제 구역을 피하도록 개입한다.
이 구조에서 VLM은 운전자가 아니라 부조종사다. 판단은 사람이 최종 확인한다.
데이터 마이닝에서 실시간 운영으로
이 파이프라인은 처음부터 운영 안전망으로 설계된 게 아니었다. 원래는 내부 데이터 필터링 도구였다. 수백 대 로봇의 영상을 전부 저장하는 건 비용이 너무 크다. Avride는 클라우드 VLM으로 5초 단위 스트림을 실시간 모니터링해 희귀하고 가치 있는 장면, 예컨대 특정 동물과의 조우나 복잡한 인프라 상황만 선별 저장해 라벨링·학습 데이터로 활용했다.
이 파이프라인이 실시간 맥락 식별에서 탁월한 정확도를 보이자, 같은 구조를 실제 운영에 확장하는 건 자연스러운 수순이었다. 데이터 마이닝 인프라를 프로덕션 파이프라인에 직접 통합한 결과물이 지금의 VLM 감시자 구조다.
Avride는 특정 클라우드 공급사에 종속되지 않는다는 점도 강조한다. 이 클라우드 레이어를 개방형 플러그앤플레이 아키텍처로 운영하며, 최신 모델을 지속적으로 실험·벤치마킹해 가장 정확한 의미 해석기를 항상 쓸 수 있도록 한다.
엣지로 가는 길, 그리고 한국의 과제
클라우드 운영은 현재로선 효과적이지만, Avride의 최종 목표는 이 무거운 의미 추론 레이어를 온보드 컴퓨트로 가져오는 것이다. VLM 경량화 기술이 성숙하고 차세대 로봇 하드웨어가 충분한 연산력을 갖추면, 로봇은 네트워크 연결 없이도 완전한 맥락 판단을 엣지에서 처리할 수 있다.
그 전까지는 클라우드-엣지 하이브리드가 현실적인 답이다. 이 아키텍처는 국내 배달 로봇 시장에도 직접적인 시사점을 던진다. 한국은 5G 인프라 밀도가 높아 클라우드 VLM의 저지연 운영에 유리한 환경이지만, 로봇이 수집하는 공공장소 영상 데이터의 처리·저장·국외 전송에는 개인정보보호법상 제약이 따른다. Avride처럼 온보드 익명화를 선제 적용하는 방식이 규제 대응의 실마리가 될 수 있다. 국내 자율배송 로봇 기업들이 클라우드-엣지 하이브리드 아키텍처를 설계할 때 통신 지연·데이터 주권·규제 정합성을 동시에 고려해야 하는 이유다.
