구글과 마이크로소프트의 챗봇은 작동하는 데 일반 검색보다 10배나 많은 비용이 듭니다.

이달 초 Google은 사용자가 자연어 모델로 정보를 찾을 수 있도록 설계된 챗봇 AI인 Bard를 출시할 계획이라고 발표했습니다. Microsoft는 또한 Microsoft의 기술과 ChatGPT의 배후에 있는 OpenAI의 기술을 결합한 자체 챗봇을 갖춘 새로운 Bing 검색을 발표했습니다.

그러나 이러한 모든 회사에서 언급하지 않는 이 모든 챗봇 기술의 한 측면은 운영 비용입니다. Reuters 의 새로운 보고서는 이 신기술의 해당 부분에 대한 자세한 정보를 제공합니다. 알파벳의 존 헤네시 회장은 언어 모델이 큰 챗봇을 사용하면 일반 검색보다 10배나 많은 비용이 든다고 말했습니다.

we will have to monetize it somehow at some point; the compute costs are eye-watering

— Sam Altman (@sama) December 5, 2022

2022년 12월, ChatGPT 출시 직후 OpenAI의 CEO Sam Altman은 Twitter에서 “컴퓨팅 비용이 눈에 띕니다. 한 달에 $20의 가격으로.

로이터는 모건 스탠리의 보고서를 인용했는데, 그는 2022년에 누군가가 자사 서비스를 검색할 때마다 구글에 5분의 1센트의 비용이 든다고 추정했다. 비용은 2024년에 최대 60억 달러까지 증가할 수 있습니다. 챗봇이 50단어 답변으로 Google 검색의 절반을 처리한다고 가정합니다.

물론 이러한 높은 비용의 이유는 챗봇 AI에서 자연스러운 답변을 모두 생성하는 데 더 많은 CPU가 필요하기 때문입니다. 이는 또한 이러한 서버를 계속 작동시키는 데 드는 전력 비용이 더 많이 든다는 것을 의미합니다.

그렇다면 비용을 절감하기 위해 무엇을 할 수 있습니까? 일어날 가능성이 있는 한 가지는 이러한 챗봇이 단순히 더 효율적이 되어 운영 비용이 적게 들지만 가격을 낮추는 데 얼마나 도움이 될지는 불분명합니다. 또 다른 해결책은 Google과 Microsoft가 챗봇 답변에 광고 링크를 표시하여 해당 서버를 운영하는 비용을 보상할 수 있는 수익을 창출할 수 있다는 것입니다.

또 다른 솔루션은 ChatGPT가 이미 하고 있는 것입니다. 사용자가 더 빠르고 더 나은 챗봇 답변을 얻을 수 있는 구독 서비스를 제공합니다. 이 옵션은 Google과 Microsoft의 최후의 수단이 될 것입니다. 점점 더 많은 사용자가 이러한 새로운 AI 기반 검색 서비스에 액세스함에 따라 이러한 회사가 재무적 수익을 위해 경제적으로 실행 가능하도록 비용이 충분히 낮아질 수 있는지 파악해야 합니다.