GPT-3.5급 성능을 내는 모델을 100만 토큰 돌리는 데 드는 비용은 2022년 11월 20달러였는데, 2024년 10월에는 0.07달러까지 떨어졌어요. 스탠퍼드 AI 인덱스 보고서가 집계한 수치인데, 2년 만에 280배 넘게 싸진 셈이에요. 그런데 정작 기업들이 매달 받아드는 AI 청구서는 갈수록 커지고 있습니다. 단가는 이렇게 떨어졌는데, 왜 실제로 내는 돈은 오히려 늘어나고 있는 걸까요?
결론부터, 단가는 떨어져도 사용량이 그보다 더 빨리 는다
이 역설의 답은 간단해요. 단가가 싸질수록 사람들은 그걸 더 아껴 쓰는 게 아니라 오히려 더 많이 쓰거든요. 짧은 질문 하나만 던지던 걸 여러 단계를 거치는 복잡한 작업에 쓰기 시작하고, 가끔 쓰던 걸 하루 종일 돌리는 서비스로 바꾸면서, 전체 토큰 소비량이 단가 하락 속도보다 훨씬 빠르게 불어나는 거예요. 효율이 좋아질수록 총소비가 오히려 늘어나는 이런 현상은 에너지 경제학에서도 익히 알려진 패턴인데, AI 추론 비용에서도 똑같이 나타나고 있는 셈이에요.
학습은 일회성, 추론은 계속되는 비용이다
이 역설을 이해하려면 먼저 학습과 추론이 근본적으로 다른 종류의 비용이라는 걸 짚어야 해요. AI 모델 학습 비용은 모델 하나를 만들 때 한 번 드는 비용이에요. GPT-4 한 번 학습시키는 데 7,800만-1억 달러가 들었다면, 그 돈은 딱 한 번 나가고 끝이에요. 반면 추론 비용은 그렇게 만든 모델을 사용자가 실제로 쓸 때마다 매번 발생하는 운영 비용이에요. 사용자가 한 명이든 1억 명이든 모델을 학습시키는 비용은 똑같지만, 추론 비용은 사용자 수와 사용량에 정비례해서 계속 쌓여가요.
실제로 단가는 극적으로 떨어졌다
그리고 이 추론 단가는 실제로 극적으로 떨어졌어요. 스탠퍼드 AI 인덱스 보고서에 따르면 GPT-3.5급 성능을 내는 모델의 추론 비용은 2022년 11월 100만 토큰당 20달러에서 2024년 10월 0.07달러로, 약 2년 만에 280배 넘게 떨어졌습니다. 이런 하락을 뒷받침하는 건 하드웨어 비용이 연 30%씩, 에너지 효율이 연 40%씩 개선되고 있다는 사실이에요. 빅테크들이 만드는 자체 AI 칩 상당수도 훈련보다 추론 효율화에 초점을 맞추고 있는데, 이게 바로 이 단가 하락의 실질적인 동력이에요.
그런데 왜 청구서는 더 커지나
단가가 이렇게 떨어졌는데도 기업들의 청구서가 커지는 이유는, 싸진 만큼 사람들이 AI를 쓰는 방식 자체가 달라졌기 때문이에요. 예전에는 간단한 질문 하나에 답하는 정도로 썼다면, 지금은 여러 단계를 거쳐 스스로 생각하고 검색하고 다시 답하는 에이전트형 작업에 AI를 쓰는 경우가 많아졌어요. 이런 작업은 한 번의 요청으로 끝나지 않고 내부적으로 수십 번씩 모델을 호출하기 때문에, 개별 토큰 단가가 아무리 싸져도 전체 소비량이 그보다 훨씬 빠르게 늘어나요. GPU 공급이 부족한 상황이 계속되는 것도 이렇게 폭증하는 추론 수요와 무관하지 않아요.
그래서 추론이 이제 진짜 승부처다
학습은 모델을 만들 때 가끔 치르는 비용이지만, 추론은 그 모델이 서비스되는 내내 24시간 쉬지 않고 발생하는 비용이에요. 사용자가 많아질수록 장기적인 총비용 부담은 학습보다 추론 쪽에서 훨씬 크게 쌓일 수밖에 없어요. 그래서 빅테크들의 관심도 점점 “얼마나 좋은 모델을 만드느냐”에서 “그 모델을 얼마나 싸고 안정적으로 서비스할 수 있느냐”로 옮겨가고 있는 거예요.
결론
280배 싸졌다는 통계와 청구서가 계속 커진다는 현실은 서로 모순되는 게 아니라, 사실 같은 현상의 앞뒷면이에요. 단가가 떨어지면서 AI를 쓸 수 있는 문턱이 낮아졌고, 그 낮아진 문턱 덕분에 더 많은 사람과 더 복잡한 작업이 AI 위로 몰려들었어요. 결국 추론 비용의 경제학은 “싸졌으니 끝”이 아니라, 싸진 만큼 더 큰 시장이 열리는 진행형 이야기인 셈입니다.
출처
- Stanford AI Index Report(스탠퍼드 대학교 인간중심AI연구소)
자주 묻는 질문
Q1. AI 추론 비용과 학습 비용은 어떻게 다른가요?
학습 비용은 모델 하나를 만들 때 한 번만 드는 일회성 비용이고, 추론 비용은 그 모델을 실제로 쓸 때마다 매번 발생하는 운영 비용이에요. 사용자가 늘어날수록 추론 비용은 계속 반복해서 쌓여요.
Q2. AI 추론 단가는 실제로 얼마나 떨어졌나요?
스탠퍼드 AI 인덱스 보고서에 따르면 GPT-3.5급 성능을 내는 모델의 추론 비용은 2022년 11월 100만 토큰당 20달러에서 2024년 10월 0.07달러로, 약 2년 만에 280배 넘게 떨어졌어요.
Q3. 단가가 떨어졌는데 왜 기업들의 AI 지출은 커지나요?
단가가 싸질수록 더 많이 쓰게 되는 구조이기 때문이에요. 더 많은 사용자, 더 긴 대화, 여러 단계를 거치는 복잡한 추론 작업이 늘면서 토큰 소비량 자체가 단가 하락 속도보다 더 빠르게 늘어나고 있어요.
Q4. 추론 비용 하락은 무엇 덕분인가요?
하드웨어 비용이 연 30%씩, 에너지 효율이 연 40%씩 개선되는 것이 뒷받침하고 있어요. 여기에 모델 자체를 더 작고 효율적으로 만드는 기술 발전도 함께 작용하고 있습니다.
Q5. 왜 빅테크들이 이제 추론에 집중하나요?
학습은 모델을 만들 때 가끔 하는 작업이지만, 추론은 그 모델이 서비스되는 동안 24시간 쉬지 않고 계속되는 작업이에요. 사용자가 많아질수록 장기적인 비용 부담은 학습보다 추론 쪽에서 훨씬 크게 쌓이기 때문에, 커스텀 AI 칩 상당수도 추론 효율화에 초점을 맞추고 있어요.
Q6. 추론 비용 구조가 앞으로 AI 경쟁에 어떤 영향을 미칠까요?
모델을 잘 만드는 것만큼이나 그 모델을 얼마나 싸게, 얼마나 많은 요청을 감당하며 서비스할 수 있는지가 중요해지고 있어요. 결국 추론 비용을 얼마나 효율적으로 관리하느냐가 AI 서비스의 수익성을 가르는 핵심 변수가 되고 있습니다.
AI 데이터센터 냉각 기술과 물 부족 이슈
사티아 나델라는 새 AI 데이터센터가 식당 한 곳 수준의 물만 쓴다고 말했어요. 그런데 구글은 2023년 한 해에만 50억 갤런 넘는 물을 데이터센터에 썼습니다. 같은 업계인데 왜 이렇게 다른 그림이 나오는지 뜯어봤어요.
데이터센터 전력 수요, 빅테크가 원자력 발전을 직접 계약하는 이유
2019년에 문 닫은 스리마일섬 원전이 2028년 재가동을 앞두고 있어요. 이유는 마이크로소프트가 20년치 전력을 통째로 사기로 했기 때문인데, 빅테크가 원전에 직접 손을 뻗는 진짜 이유를 뜯어봤어요.
AI 모델 학습 비용은 왜 매년 기하급수적으로 느나
2017년 원조 트랜스포머 모델의 학습 비용은 670달러였어요. 2024년 구글 제미나이 울트라는 1억 9,200만 달러. 7년 만에 28만 7천 배가 뛴 이 비용이 왜 계속 기하급수적으로 느는지 뜯어봤어요.