인공지능(AI) 기술이 전통적인 분야와 연결되면서, 강력한 AI 도구도 종종 실수를 범할 수 있다. 최근 Anthropic의 Claude AI 챗봇과 관련된 사건에서, 법률 분야에서 AI의 한계가 드러났다. 이 사건은 디지털 자산 분야의 전문가들 사이에서 주목받았으며, AI가 만들어낸 허위 법률 인용이 법정에서 문제를 일으켰다. Anthropic를 대표하는 변호사는 AI가 생성한 잘못된 인용을 사용한 사실을 인정하며 법정에서 사과했다.
이 사건은 북부 캘리포니아의 법정에서 진행 중인 Anthropic와 음악 출판사 간의 법적 분쟁 도중 발생했다. 법원 문서에 따르면, Anthropic의 변호사는 회사의 Claude AI 챗봇이 생성한 잘못된 인용을 사용한 사실을 인정해야 했다. 해당 AI는 아예 존재하지 않는 법률 인용을 만들어냈고, 잘못된 제목과 저자 정보를 제공한 것이다. 이러한 허위 인용은 AI의 허위 정보 생성 능력, 즉 ‘AI 환각’으로 알려진 현상의 대표적인 예시로 볼 수 있다.
Anthropic의 변호사들은 이를 설명하며, 그들의 표준 수동 인용 검증이 이번 에러를 잡아내지 못했음을 밝혔다. 회사 측은 이번 오류를 “정직한 인용 실수,” 즉 “권위의 위조”가 아닌 것으로 설명하며 사과의 뜻을 전했다. 이는 법률 분야에서 AI가 통합될 때의 중요한 위험을 강조한다. AI 기술이 효율성을 높일 잠재력이 크지만, 그 과정에서 발생할 수 있는 신뢰성 문제는 여전히 인류가 해결해야 할 과제로 남아 있다.
실제로, 최근에는 Universal Music Group 등의 변호사들이 Anthropic의 전문가 증인이 Claude AI를 사용해 허위 문서를 인용했다고 주장하기도 했다. 이러한 사건들은 법적 분쟁의 일환으로 진행 중인 저작권과 기술 회사 간의 갈등 상황을 드러내고 있다. 함께 비슷한 상황이 발생한 사례로는, 캘리포니아의 한 판사가 두 개의 로펌이 “허위 AI 생성 연구”를 제출한 것으로 비판한 사건이 있다. 또한, 호주 변호사도 ChatGPT를 사용해 법원 서류를 준비하면서 잘못된 인용을 포함시킨 일로 비판을 받았다.
이러한 사례들은 법조인들이 AI 도구를 활용할 때 더욱 신중해야 하고, 철저한 검증 프로세스를 도입해야 할 필요성을 강조하고 있다. AI의 목적은 법률 연구, 문서 검토 및 계약 분석에서 효율성을 높이는 것이지만, 현재로서는 오류가 발생할 가능성을 완전히 배제할 수 없다는 점에서 경각심을 가져야 한다.
그럼에도 불구하고, 법률 분야에서 AI를 자동화하려는 노력은 멈추지 않고 있다. 법률 기술 스타트업에 대한 투자는 계속 증가하고 있으며, AI의 장기적인 변혁 가능성에 대한 신뢰를 반영하고 있다. 특히, Harvey라는 기업은 2억 5천만 달러 이상의 투자 유치를 목표로 하며, 기업 가치는 50억 달러에 이를 것으로 예상된다.
따라서, AI 도구가 현재 처한 어려움에도 불구하고 법률 업계의 전문가들은 AI가 제공할 수 있는 효율성과 기능을 높이 평가하고 있다. 하지만, 이번 사건은 법률 문서에서 요구되는 정확성과 신뢰성이 얼마나 중요한지를 다시 한번 일깨워준다. 결국, AI가 효과적인 도구가 되기 위해서는 인간 사용자가 생성된 정보를 반드시 검증해야 하며, 이는 필수적인 여정이 될 것이다.
결론적으로, Anthropic의 변호사가 허위 법률 인용에 대해 사과한 사건은 법률 분야에 AI를 도입하고자 하는 모든 전문가들에게 경종을 울리는 사례다. AI의 잠재적 이점은 확실하지만, AI 환각 현상으로 인해 발생할 수 있는 실수는 철저한 인간의 검증 없이는 기꺼이 감수할 수 있는 리스크가 아니다. AI 기술이 발전하면서 정확성과 신뢰성이 개선될 것으로 기대되지만, 사용자들은 여전히 한계를 인식하고 철저한 점검을 지속해야
