최근 AI 기술의 발전에 따라 Graphics Processing Units(GPUs)가 다양한 AI 작업의 기본 하드웨어로 자리 잡고 있다. 많은 기업이 대규모 모델 훈련과 고속 인페런스 작업을 위해 GPU 클러스터 구축에 막대한 비용을 들이고 있는 것이 현실이다. 그러나 이러한 경향은 CPU의 역할을 간과하게 만들고 있으며, 우리는 더 효율적이고 경제적인 솔루션을 놓치고 있다.
GPU는 강력한 병렬 처리를 통해 대량의 데이터를 동시에 처리할 수 있어 이미지 인식이나 복잡한 언어 모델 훈련 등에 특화되어 있다는 것은 부정할 수 없다. 하지만 CPU는 여전히 강력하며, AI 작업에 충분히 활용될 수 있는 자원으로 존재하고 있다. 전 세계 수많은 기계에서 idling 하고 있는 CPU는 다양한 AI 작업을 효율적이고 저렴하게 처리할 수 있는 가능성을 지니고 있다.
AI는 단지 모델 훈련이나 수치 연산에 국한되지 않는다. 현재 AI는 작고 최적화된 모델 실행, 데이터 해석, 논리 체계 관리, 의사결정, 문서 검색 및 질문 응답과 같은 여러 작업을 포함한다. 이러한 작업들은 단순한 수치 계산이 아니라 유연한 사고와 논리를 요구하며, CPU의 장점이 여기에 잘 부합한다. AI 시스템이 실제로 운영되는 방식에 주목하면, CPU가 많은 AI 워크플로우의 중심에서 작동하고 있다는 사실을 알게 될 것이다.
예를 들어, 자율 에이전트와 같은 AI 도구는 웹 검색, 코드 작성, 프로젝트 계획 등의 작업을 수행할 수 있다. 이러한 에이전트는 대규모 언어 모델을 호출할 때 GPU를 활용할 수 있지만, 그 주변의 논리, 계획, 의사결정은 CPU에서 충실히 처리될 수 있다. 또한 인페런스, 즉 모델 훈련 후 실제 사용 단계에서도 CPU는 작고 최적화된 모델을 실행하는 데 유용하게 활용될 수 있다.
현재 AI 수요가 증가하고 있는 상황에서 우리는 더 비싼 GPU 클러스터 구축에만 의존할 필요가 없다. 오히려 우리가 이미 보유하고 있는 자원을 효율적으로 활용하는 방법을 찾아야 한다. 이러한 관점에서 DePIN(Decentralized Physical Infrastructure Networks)이라는 솔루션이 주목받고 있다. DePIN은 사용되지 않는 컴퓨팅 파워를 집합시켜 CSP(Computational Service Provider)에 분배하며, 전 세계의 CPU를 활용할 수 있는 방법을 제시한다.
중앙 클라우드 제공자의 GPU 클러스터를 임대하는 대신, 전 세계의 분산된 CPU 네트워크를 통해 AI 워크로드를 실행할 수 있는 길이 열리고 있다. 이는 피어-투-피어 컴퓨팅 모델을 구축하여 작업을 분배하고 실행할 수 있는 기반을 마련해준다. 이러한 모델은 몇 가지 뚜렷한 장점을 지닌다. 첫째, 사용 비용이 저렴하다. 둘째, 컴퓨팅 자원이 자연스럽게 확장 가능하다. 셋째, 데이터가 있는 지점 근처에서 작업을 실행할 수 있어 지연 시간을 줄이고 개인 정보를 보호하는 데 도움이 된다.
이렇듯 오는 시대에는 더 많은 사람들이 자신의 idle CPU를 활용하여 AI에 참여할 수 있게 되는 것이다. 따라서 CPU를 두 번째 수업 시민처럼 여기는 것을 멈추고, 더욱 출중한 AI 인프라를 구축하기 위한 새로운 관점을 마련해야 한다. GPU의 부족함을 해소하기 위한 비용만 고려할 것이 아니라, 현재 우리가 보유하고 있는 컴퓨팅 자원을 제대로 활용할 수 있는 방법을 고민해야 한다.
결국, AI 인프라의 확대는 우리에게 더 많은 기회를 제공할 것이며, 우리 각자가 가진 자원의 잠재력을 최대한 활용하는 것이 지혜로운 접근이 될 것이다.
