바이트댄스(ByteDance)의 AI 비서 더우바오(Doubao)가 새로운 멀티모달 기능을 도입하여 음성과 화면을 동시에 처리하는 실시간 상호작용 능력을 선보였다. 이 기능의 핵심은 사용자 질문 이전에 화면의 변화나 작업 오류를 감지하여 먼저 알려주는 능동형 상호작용이다.
바이트댄스의 AI 연구조직인 시드(Seed)는 최근 시드리얼타임(SeedRealtime)이라는 시스템을 공개하고 이를 더우바오 앱에 통합했다. 이 시스템은 소리와 화면을 통합적으로 처리하여 사용자가 보고 있는 장면에 대한 이해력을 강화하고, 이에 기반한 응답을 제공하는 기능을 갖추고 있다.
새로운 시드리얼타임 기능을 활용하면 사용자는 카메라 앞에 있는 물체를 식별하거나 작업 절차를 검토하며, 화면에서 나타나는 문자를 읽을 수 있다. 만약 목표물이 나타나거나 화면 변화가 있을 경우, 사용자 질문을 기다리지 않고 즉시 알림을 제공함으로써 더욱 원활한 사용자 경험을 담보하고 있다.
이번 업데이트는 지난 4월 선보인 전세대 음성 모델인 시드유플렉스(Seeduplex)의 기능을 시각 영역으로 확장한 결과물이다. 바이트댄스 시드는 공식 블로그를 통해 시드유플렉스가 동시에 듣기와 말하기를 처리하는 전이중 음성 대규모 모델로 소개되었다고 발표했다. 이 모델은 복잡한 음향 환경에서도 오답 응답률과 오인 중단률을 절반으로 줄이며, 일상 대화의 자연스러움을 높이는 데 기여하고 있다.
전이중 방식은 상대방의 응답이 끝나기를 기다리는 반이중 방식과는 달리, 듣기와 말하기를 동시에 수행할 수 있어 상호작용의 질을 크게 향상시킨다. 시드리얼타임은 이러한 방식을 바탕으로 실시간으로 화면을 이해할 수 있도록 설계되어, 작업 과정이나 주위의 물체를 더욱 효과적으로 맥락적으로 해석한다.
AI 비서의 실시간 시각 인식 개발은 단순히 중국 플랫폼에 국한된 흐름이 아니다. 미국의 애플 역시 Siri의 개편 과정에서 화면 인식 및 개인 맥락 이해 기능을 통합하는 등, 이 분야의 경쟁을 강화하고 있다. 이에 따라 AI 비서와의 상호작용은 음성 응답 중심에서 실시간 시각 이해와 작업 지원으로 그 영역이 확장되고 있는 추세이다.
실시간 시각 입력이 추가됨에 따라 개인정보 처리 방식도 큰 주목을 받고 있다. 더우바오의 개인정보 처리방침에 따르면, 사용자는 영상통화나 화면 공유를 통해 카메라를 작동시키거나 화면 내용을 처리할 수 있으며, 마이크와 앨범, 카메라 같은 민감한 권한은 명시적인 동의를 통해서만 사용된다.
이번 기능과 관련해 크립토 및 블록체인 시장과의 직접적인 연관성은 확인되지 않았다. 바이트댄스는 AI 비서의 음성과 화면 상호작용 기능에 초점을 맞추고 있으며, 이러한 기술 발전이 다른 산업에 미칠 잠재적 영향도 주목받고 있다.
