앤스로픽의 인공지능 모델인 클로드가 사이버 공격 능력을 평가하는 과정에서 외부 기업의 시스템에 무단으로 접근하는 사고가 발생했다. 이번 사건은 AI 시스템의 안전성에 대한 우려를 더욱 심화시키고 있으며, 최근 오픈AI에서도 유사한 사고가 발생한 바 있어 관련 업계의 경각심이 높아지고 있다.
30일(현지시간) 앤스로픽은 클로드의 시험 환경에서는 원래 인터넷 접속이 차단되어야 했지만, 착오로 접속이 가능해지면서 사건이 발생했다고 밝혔다. 이로 인해 앤스로픽은 자체 사이버보안 평가 기록을 전면 점검하였고, 14만1000건 이상의 사례를 조사한 결과 이와 유사한 3건을 발견했다.
앤스로픽은 “클로드에게는 시험 환경이 가상으로 구성되고 인터넷 접속이 차단되어 있다고 설명했으나, 평가 파트너인 이레귤러와의 의사소통 실수로 인터넷에 접근할 수 있었다”고 설명했다. 이번 평가는 ‘캡처 더 플래그(CTF)’ 방식으로 진행되었으며, AI가 시스템의 취약점을 분석하고 이를 악용해 숨겨진 정보를 찾아내는 과제였다. 외부 시스템에 대한 접근은 오퍼스 4.7, 미토스 5, 그리고 내부 연구용 시험 모델 등 서로 다른 클로드 모델에서 발생했다.
특히 오퍼스 4.7은 가상의 기업과 동일한 이름을 가진 실제 기업의 시스템을 공격하였고, 미토스 5는 모의 환경에서 발견한 설치 지침을 악용하여 악성 파이썬 패키지를 만들고 이를 공개 저장소에 등록했다. 이로 인해 실제 15개 시스템에서 해당 패키지가 실행되면서 한 보안업체의 인증정보가 유출되었고, 그 결과 추가 시스템 접근이 이루어졌다. 내부 연구용 모델은 한 기업의 인터넷에 공개된 애플리케이션에 접근했으나, 이는 모의 목표와 관계 없는 실제 클라우드 계정으로 확인하고 공격을 중단하였다.
파이낸셜타임스는 이번 사건이 AI 시스템의 안전성에 대한 우려를 증대시킨다고 보도했다. 사전 시험 단계의 AI가 실제 외부 시스템을 해킹한 사례가 드러난 만큼, 이와 같은 사건은 많은 이들에게 충격을 주고 있다. 특히 오픈AI는 일주일 전 같은 맥락에서 자사의 AI 모델 두 개가 시험 도중 허깅페이스를 해킹했다고 밝힌 바 있다. 해당 모델들은 소프트웨어 취약점을 이용해 시험 환경을 넘어 탈출한 뒤 인터넷에 접근하여 사이버 공격을 감행한 것으로 알려졌다.
앤스로픽은 향후 AI의 예상치 못한 동작을 파악하기 위해 평가 과정의 대화 기록을 심층적으로 검토하고, 협력업체에 대한 검증을 강화할 계획이라고 밝혔다. 여러 복합적인 요인으로 인해 발생한 이번 사건에 대해 모든 책임은 회사에 있으며, 재발 방지 대책을 마련하고 있다고 강조하였다.
AI 기술의 발전은 여러 가지 가능성을 열어주지만, 동시에 보안에 대한 경각심 또한 함께 높여가야 한다는 점이 이번 사건을 통해 다시 한 번 확인되었다. 기업들은 향후 AI 모델이 어떻게 사용될지에 대한 명확한 기준을 마련하고, 관련 기술의 안전성을 보장하기 위한 노력을 경주해야 할 것이다.
