컨스텔레이션 네트워크와 커먼 크롤 재단은 17년간의 인터넷 크롤링 데이터를 안전하게 접근하고 검증할 수 있는 혁신적인 방법을 제시하며 협력 관계를 맺었다. 이번 발표의 주목적은 업계 최초로 암호학적으로 안전하고 불변의 인터넷 데이터 아카이브를 구축하는 것이다. 이를 위해 컨스텔레이션 기반의 불변 블록체인 네트워크를 활용하여 데이터를 암호화하고 보호하는 시스템이 개발되었다.
이 협력은 9페타바이트에 달하는 vast data를 포함하며, 이는 현재 대다수의 대형 언어 모델(LLM)에서 AI 훈련에 사용되고 있다. 그 결과, AI 개발자들은 신뢰성이 보장된 데이터 세트를 확보함으로써 더욱 효과적으로 모델을 훈련할 수 있게 된다. 이러한 혁신적인 애플리케이션 전용 네트워크인 메타그래프는 AI 발전에 있어서 중대한 문제를 해결하고, 블록체인 기술을 통해 윤리적 소싱, 데이터 출처 및 개인 정보 보호의 새로운 사용 사례를 탐구할 예정이다.
덧붙여, 컨스텔레이션 네트워크는 미국 국방부와의 협력을 통해 커먼 크롤 재단과 함께 맞춤형 블록체인 기술을 개발하였다. 이 과정에서 AI 훈련을 위한 데이터 불변성과 신뢰성을 높이는 데 중점을 두고 있다. 데이터의 안전성을 보장하기 위해 DAG 유틸리티 자산을 활용하며, 사용자들은 이제 데이터 출처에 대한 우려를 해소할 수 있는 해결책을 갖게 된다.
이러한 변화는 데이터 관리의 패러다임을 변경시키며, 기술적인 도전과제를 신뢰할 수 있는 비즈니스 도구로 탈바꿈시키는 데 기여하고 있다. 케빈 잭슨, 포워드 엣지AI의 우주 도메인 커뮤니케이션 및 상업화 부사장은 “AI와 머신러닝 모델 개발의 자연스러운 진화를 나타내며, 글로벌 표준화와 검증을 이끄는 신뢰할 수 있는 비즈니스 도구로 탈바꿈하고 있다”고 말했다.
향후 몇 개월 동안, 컨스텔레이션 네트워크와 커먼 크롤 재단은 인공지능 개발자를 위한 솔루션 세트를 확장하고, 블록체인 기반으로 검증된 데이터 접근성을 통합하여 훈련 데이터의 안전성을 높일 계획이다. 커먼 크롤의 리치 스크렌타 이사도 “데이터의 출처를 중시하는 사용자들에게 매우 의미 있는 해결책을 제공할 수 있게 되었다”고 언급하며 기대감을 전했다.
이러한 기술적 혁신은 이미 많은 인공지능 연구 그룹의 주목을 받고 있으며, 블록체인 기법을 통해 AI 개발 분야에서의 새로운 가능성을 열어가고 있다. 따라서, 이 통합을 찾는 기업과 개발자들은 앞으로 더욱 확장될 기술 솔루션에 대해 긴밀히 지켜봐야 할 것이다.
