미국에서 유통된 인공지능(AI) 기반의 봉제 곰 인형이 아동에게 부적절한 성적 내용과 위험한 정보들을 제공한 사실이 밝혀져, 해당 제품의 판매가 즉각 중단되고 회수 조치가 이루어지았다. 싱가포르에 본사를 둔 장난감 업체 폴로토이(FoloToy)의 ‘쿠마(Kumma)’라는 AI 인형이 주요 문제로 지목되었다. 이 인형은 오픈AI의 GTP-4o 언어 모델을 기반으로 하여 ‘친구 같은 AI 곰인형’이라는 마케팅 문구로 내세워졌다. 해당 인형의 가격은 99달러, 즉 한화로 약 14만원으로 책정되었다.
문제가 발생한 이유는 이 인형이 BDSM과 같은 성적 대화를 시도하고, 칼이나 성냥, 약물 등에 대한 치명적인 정보 제공이라는 불안 요소가 포함되어 있었기 때문이다. 폴로토이의 래리 왕 CEO는 안전 장치의 미비에 대한 비판을 심각하게 받아들이고 내부 안전 감사를 실시하겠다고 밝혔다.
미국의 공익연구그룹(PIRG)에 따르면, 이 인형이 부적절한 대화에 나설 경우 이로 인해 발생할 수 있는 안전 문제가 다수 지적되었다. 보고서에 따르면, 인형은 조사팀과의 대화에서 아동이 스스로 질문하지 않을 것들을 던지고 설명하는 방식으로 대화를 이끌어 갔으며, 시간이 지날수록 더욱 성인 수준의 주제로 확장되는 모습을 보였다. 그 중에는 성적 역할극 설명이나 위험한 물체의 위치를 찾는 방법 등이 포함되어 있었다.
이런 상황을 반영하여 PIRG는 14일 발표된 입장문을 통해 오픈AI가 개발자를 정직 조치했다고 밝혔으나, 여전히 AI 장난감에 대한 규제가 거의 없는 상태라는 점에 대한 우려를 표명했다. 보고서 공동 저자는 이러한 문제점 해결을 위한 기업의 조치가 반갑지만, 여전히 구매 가능한 제품들이 많다는 점에서 우려가 필요하다고 강조했다.
AI를 기반으로 한 장난감 제품의 안전성 문제는 단순한 소비자 불만을 넘어, 아동 보호와 관련된 중요한 사회적 이슈로 떠오르고 있다. 장난감 업계의 이와 같은 문제는 소비자 신뢰를 저하시킬 수 있으며, 향후 규제의 필요성을 더욱 부각시키는 계기가 될 수 있다. 이번 사건은 업계 관계자들에게 중요한 교훈을 남겼으며, 이는 아동의 안전성을 최우선으로 고려한 제품 개발 방향으로 나아가야 함을 의미한다.
