‘쿼터 부족’이 촉발한 컴퓨팅 파워 변혁: 추론 수요가 낡은 질서에 균열을 내고 있다

지난 한 주 컴퓨팅 파워 분야에서 가장 충격적인 사건은 특정 칩의 사양이 갱신된 것도, 특정 데이터센터가 전력을 공급받아 가동을 시작한 것도 아니었다. 서로 무관해 보이지만 실제로는 같은 하나의 복선을 가리키는 일련의 신호들이었다. 사용자들이 “쿼터가 너무 빨리 타버린다”고 불평하기 시작했고, 대형 기업들이 데이터센터용으로 설계되지 않은 그래픽카드를 미친 듯이 사들이기 시작했으며, 아직 상장하지 않은 한 AI 기업이 투자설명서를 통해 향후 십수 년치 컴퓨팅 파워 청구서를 월스트리트 앞에 펼쳐 놓았다. 이 신호들을 같은 시간축에 놓고 보면, 그것들은 우발적인 시장 잡음이 아니라 동일한 구조적 변화가 서로 다른 고리에 투영된 것임을 알 수 있다. 즉, 컴퓨팅 파워 수요의 무게중심이 학습에서 추론으로 이동하고 있는데, 기존의 칩 공급 질서와 클라우드 서비스 가격 책정 논리, AI 기업의 비용 구조는 아직 이 이동에 충분히 대비하지 못했다.

쿼터 불안: 추론 수요가 수면 위로 드러난 첫 번째 ‘경보’

10월 24일, Moonshot AI(월지암면)는 Kimi K3.1 Pro를 발표했다. 파라미터 규모는 수조 급에 달하고 100만 Token 컨텍스트를 지원하며, 공식적으로는 프로그래밍, 3D 제작, 장기 Agent 작업에서의 능력을 중점 강조했다. 모델 능력의 관점에서 보면 이는 전형적인 ‘능력 업그레이드’였다. 더 긴 컨텍스트는 모델이 더 복잡한 자료를 한 번에 처리할 수 있음을 의미하고, 더 강력한 Agent 능력은 모델이 더 이상 수동적으로 질문에 답하는 데 그치지 않고 능동적으로 작업을 분해하고 도구를 호출하며 단계적으로 실행할 수 있음을 의미한다. 그러나 출시 직후 일부 유료 사용자들은 작업이 끝나기도 전에 쿼터가 거의 바닥났다는 것을 발견했다. 10월 26일 Moonshot AI는 공개 사과하며 레이트 리밋과 “불필요한 쿼터 소모”가 발생했음을 인정했고, 구독 멤버에게 월간 총액의 25%에 해당하는 쿼터를 보상했다.

표면적으로 보면 이는 제품 운영 차원의 실수다. 더 깊이 보면, 이는 추론 수요가 폭발한 뒤 컴퓨팅 파워 소비 논리가 어떻게 달라지는지를 보여준 공개 예고편이었다. 전통적인 챗봇 방식에서는 사용자가 질문 하나를 던지고 모델이 답 하나를 내놓기 때문에 컴퓨팅 소비가 비교적 예측 가능했다. 그러나 긴 컨텍스트와 Agent 모드에서는 사용자가 보는 것은 하나의 작업이지만, 백엔드에서 실행되는 것은 일련의 하위 작업일 수 있다. 분해, 검색, 분석, 검증, 요약, 그리고 다시 검증. 도구 호출 한 번, 컨텍스트 재투입 한 번, 하위 Agent의 병렬 실행 한 번마다 추가 Token 소비와 컴퓨팅 파워 점유가 발생한다. 사용자가 지각하는 것은 ‘쿼터’이고, 플랫폼이 부담하는 것은 추론 클러스터의 동시성 압력, 메모리 대역폭 압력, 스케줄링 압력이다.

문제는 Kimi 한 곳에 그치지 않는다. 비슷한 불만은 Claude 사용자 커뮤니티에도 나타났다. 한 사용자는 Claude Opus 5.5가 87건의 텍스트 자료를 정리할 때 12개의 동급 하위 Agent를 자동으로 실행해 5분 만에 5시간 사용 쿼터 전체를 소진했다고 보고했다. 사용자가 본 것은 하나의 작업이지만, 백엔드에서 실제로 실행된 것은 일련의 하위 Agent 병렬 호출이었다. 분해, 검색, 분석, 검증, 요약. AI가 ‘질문에 답하는’ 단계에서 ‘작업을 실행하는’ 단계로 이동하면 컴퓨팅 자원 소비 논리는 질적으로 변화한다. 과거에는 모델을 평가할 때 파라미터 규모, 벤치마크 점수, 학습 비용을 보는 경우가 많았다. 지금은 AI 제품을 평가할 때 작업당 Token 소비, 동시성 스케줄링 효율, 추론 처리량, 단위 작업당 비용을 점점 더 많이 봐야 한다. 쿼터 불안의 본질은 플랫폼이 인색하다는 것이 아니라 추론 경제학이 아직 완전히 성숙하지 않았다는 데 있다. 모델 능력이 비용 통제보다 앞서 달리고 있고, Agent 아키텍처가 과금 체계보다 앞서 달리고 있다.

이것이 바로 추론 컴퓨팅 파워 수요 폭발의 미시적 기초다. Sugon(중커수광) 수석부총재 리빈은 CNCC 2026에서 날카롭게 지적했다. “모델 파라미터가 증가하고 지능형 에이전트가 가속적으로 배치되면서 컴퓨팅 파워 시스템은 집약화, 대규모화로 나아가고 있다.” 하이곤 정보(Hygon Information) 전문가 쑨젠펑은 모델 규모의 관점에서 또 다른 증거를 제시했다. “대규모 모델의 파라미터 수는 천억 급에서 조 급, 나아가 십조 급으로 도약하고 있으며, 단일 카드와 단일 머신으로는 대규모 학습과 추론을 지탱하기 어려워졌다.” 학습 수요는 여전히 성장하고 있지만, 추론 측 수요 곡선은 더 가파른 기울기로 상승하고 있으며, 이 변화는 기존 칩 공급 구조에 의해 충분히 흡수되지 못하고 있다.

더 구체적으로 말하면 추론 수요에는 학습 수요와 다른 세 가지 특징이 있다. 첫째, 추론은 지속적 지출이다. 서비스가 온라인에 있는 한 컴퓨팅 파워 소비는 멈추지 않는다. 학습은 더 단계적인 자본 지출로, 집중적으로 투입하고 집중적으로 소비한다. 둘째, 추론 부하는 고도로 파편화되어 있다. 작업마다 컨텍스트 길이, 동시성 수, 응답 지연, 도구 호출 요구가 크게 달라 단일 사양 칩으로는 모두를 커버할 수 없다. 셋째, 추론은 비용에 극도로 민감하다. 호출 한 번 한 번이 단위 경제 모델에 계상되어야 하므로 플랫폼은 모델 능력, 응답 속도, Token 비용 사이에서 반복적으로 저울질해야 한다. 이 세 가지가 겹치면서 추론 컴퓨팅 파워는 더 이상 ‘학습 컴퓨팅 파워의 부속품’이 아니라 AI 제품이 상업적으로 규모화될 수 있는지를 결정하는 핵심 변수로 부상하고 있다.

350억 달러로 ‘최상위가 아닌’ 카드를 사다: 공급 제약 아래의 합리적 광기

추론 수요의 압력은 산업 체인을 거슬러 올라가 가장 먼저 칩 공급 측에 부딪힌다.

로이터가 보도한 잠재 주문은 이 압력을 산업 규모로 끌어올렸다. ByteDance, Alibaba, Tencent가 NVIDIA RTX PRO 5500에 대해 낸 주문 수요는 합계 300만 장을 넘으며, 장당 약 1만 1400달러로 계산하면 잠재 주문 규모는 350억 달러를 초과한다. 그러나 NVIDIA는 전체 수요를 보장할 수 없고, 실제 납품 수량은 주문 의향을 크게 밑돌 수 있다. 일부 분석에 따르면 실제 공급은 주문의 5%에서 10%만 커버할 수도 있다.

이해하기 어려운 점은 RTX PRO 5500이 NVIDIA의 데이터센터용 최상위 학습 칩이 아니라 워크스테이션용 그래픽카드이며 “최상위 데이터센터용 칩보다 성능이 떨어진다”는 것이다. 왜 중국 대형 기업들은 이런 제품을 집중적으로 사들이는가. 최고 피크 연산 능력만 보면 이 주문은 ‘합리적’으로 보이지 않는다. 그러나 공급 제약, 컴플라이언스 조건, 추론 경제학을 함께 보면 이것은 오히려 제약 아래의 합리적 선택이다.

답은 공급 제약과 추론 경제학의 틈새에 있다. 고급 데이터센터용 칩의 대중국 수출 제한이 계속되는 배경에서 “살 수 있고 배치할 수 있는 컴퓨팅 파워가 이상적인 칩 사양보다 더 중요하다.” RTX PRO 5500은 FP4, FP8 등 저정밀 연산 능력이 이전 세대 제한 제품보다 크게 향상되어, 학습 시나리오가 요구하는 극한의 상호연결 대역폭과 메모리 용량이 아니라 추론 시나리오가 요구하는 저정밀·고처리량 수요에 정확히 부합한다. 다시 말해 대형 기업들이 사는 것은 ‘최고의 칩’이 아니라, 입수 가능한 칩 가운데 추론 비용 대비 성능이 가장 현실적인 한 장인 것이다.

이 선택 자체가 하나의 사실을 선언한다. 추론 컴퓨팅 파워의 수급 격차는 기업이 ‘이상적인 칩을 기다리는’ 게임을 포기하고 차선의 현실을 받아들일 만큼 커졌다. 더 중요하게는 이 사재기 행동이 시장 기대를进一步 바꾼다는 점이다. 선두 클라우드 벤더와 인터넷 플랫폼이 동시에 하나의 컴플라이언스 제품에 주문을 집중하면 공급망의 희소성은 빠르게 증폭되고, 임대 가격, 납기, 부속 서버 비용이 함께 변동한다. 중소 AI 기업에게는 추론 컴퓨팅 파워 확보 문턱이 더 높아질 수 있음을 의미하고, 중국 국산 칩 제조사에게는 윈도우 기간에 대체 기회가 있는 동시에 컴플라이언스 준수 NVIDIA 제품에 의한 단기 압박 위험도 있음을 의미한다.

더 긴 주기에서 보면 RTX PRO 5500 사재기는 더 깊은 문제를 드러낸다. 컴퓨팅 파워 공급의 ‘물통’은 칩이라는 한 개의 널판지만으로 결정되지 않는다. 칩을 사도 서버 본체, 고속 상호연결, 전력·냉각, 클러스터 스케줄링, 모델 추론 프레임워크의 부속 최적화가 필요하다. 추론 클러스터의 병목은 흔히 단일 카드 피크 연산 능력이 아니라 메모리 용량, 메모리 대역폭, 카드 간 통신, 배치 처리 효율, 장애 복구 능력에 있다. 대형 기업의 카드 사재기는 첫 단계에 불과하고, 진짜 경쟁은 산 카드를 얼마나 빨리 안정적이고 저비용이며 스케줄링 가능한 추론 처리량으로 전환하느냐에 있다. 이것이 같은 칩이라도 클라우드 벤더에 따라 단위 Token 비용이 크게 달라지는 이유이기도 하다.

6570억 달러의 또 다른 측면: 컴퓨팅 파워가 대차대조표 위의 ‘고정자산’이 되고 있다

중국 대형 기업의 카드 사재기가 공급 측의 왜곡을 반영한다면, Anthropic의 IPO 투자설명서는 수요 측에서 추론 시대 컴퓨팅 파워 약정의 규모를 드러낸다.

10월 26일부터 27일까지 Anthropic은 미국 증권거래위원회에 IPO 신청서를 정식 제출했다. 투자설명서에 따르면 최소 6570억 달러 규모의 컴퓨팅 파워 계약을 체결했으며 기간은 최장 2045년까지다. 협상 중인 증량분을 포함하면 잠재 총규모는 약 7500억 달러까지 올라갈 수 있다. 그중 향후 10년간 클라우드 서비스, 컴퓨팅 능력, 인프라에 최소 5180억 달러를 지출하기로 약정했으며, 약 80%는 취소 불가이거나 실제 사용량과 무관하게 지불해야 한다.

이 숫자들의 충격은 ‘크기’가 아니라 그것이 드러내는 구조적 비즈니스 패러다임 전환에 있다. 전통적 소프트웨어 기업의 핵심 비용은 인건비이고, 클라우드 컴퓨팅 기업의 핵심 비용은 감가상각이었다. 그리고 추론 시대 AI 모델 기업의 핵심 비용은 장기적이고 경직적이며 취소 불가능한 컴퓨팅 파워 약정이 되고 있다. 과거 투자자들이 AI 기업을 평가할 때는 모델 능력, 사용자 성장, 매출 성장을 보는 것이 습관이었다. 앞으로는 얼마나 많은 컴퓨팅 파워를 확보했는지, 확보한 가격이 합리적인지, 컴퓨팅 파워 계약의 취소 가능 비율이 얼마인지, 단위 Token 비용이 규모 확대와 함께 하락할 수 있는지도 봐야 할 수 있다. 컴퓨팅 파워는 더 이상 백엔드 비용 항목이 아니라 밸류에이션, 현금흐름, 경쟁 장벽에 영향을 미치는 핵심 자산이며 동시에 무거운 경직적 부채이기도 하다.

Anthropic은 투자설명서에서 “충분한 컴퓨팅 자원 확보”를 직접 경영 및 리스크 프레임워크에 포함시키고, 동시에 컴퓨팅 파워 확장이 대량의 현금을 지속적으로 소모할 것이라고 경고한다. 이는 명확한 신호를 보낸다. 추론 시대에는 컴퓨팅 파워 확보 능력 자체가 경쟁력의 일부다. 충분한 컴퓨팅 파워가 없으면 모델을 학습할 수 없고, 서비스를 확장할 수 없고, Agent를 안정적으로 운영할 수 없다. 그러나 과도하게 컴퓨팅 파워를 확보하면 경제 주기 변동이나 모델 효율 향상 시 유휴 capacity와 재무 압력이 생길 수 있다. AI 기업은 이렇게 딜레마에 빠진다. 컴퓨팅 파워를 확보하지 않으면 성장 윈도우를 놓칠 수 있고, 과도하게 확보하면 향후 여러 해의 현금흐름을 미리 담보로 잡는 셈이 된다.

NVIDIA와 Oracle은 10월 27일부터 28일까지 Vera Rubin 아키텍처 배치를 수 기가와트급으로 확대하고, 처음으로 CPU와 GPU 리소스를 분리해 고객이 “GPU 집약형 학습·추론”과 “CPU 집약형 Agent 작업”이라는 서로 다른 부하에 맞춰 독립적으로 확장할 수 있게 한다고 발표했다. 이는 바로上述 구조 변화에 대한 인프라 차원의 응답이다. Agent 작업은 GPU 추론 컴퓨팅 파워뿐 아니라 CPU 측의 도구 호출, 데이터 검색, 상태 관리, 오케스트레이션 스케줄링도 대량으로 필요로 한다. CPU와 GPU를 분리하는 것은 본질적으로 하나의 사실을 인정하는 것이다. 추론 시대의 컴퓨팅 파워 시스템은 더 이상 단일 GPU 적층이 아니라 여러 자원을 부하 비율에 따라 동적으로 배치하는 시스템 공학이다. GPU 집약형 추론과 CPU 집약형 오케스트레이션 작업을 더 정교하게 매칭할 수 있는 자가 단위 작업 비용에서 우위를 점할 수 있다.

국산 칩의 ‘비대칭 윈도우’: 사재기의 또 다른 측면

중국 시장의 맥락으로 돌아가면, 대형 기업의 RTX PRO 5500 사재기가 국산 칩이 ‘밀려난다’는 것을 의미하는가. 답은 단순하지 않다.

단기적으로는 NVIDIA 컴플라이언스 제품의 공급 확대가 확실히 국산 칩의 추론 시장 침투 속도를 압박한다. 대형 고객은 마이그레이션 비용, 생태계 성숙도, 납품 확실성 앞에서 이미 검증된 제품을 우선하는 경우가 많다. 국산 칩이 특정 시나리오에서 비용 대비 성능을 갖추고 있어도 프레임워크 적응, 연산자 최적화, 클러스터 튜닝을 완료할 시간이 필요하다. 이 단기적 압박은 현실로 존재하며 ‘국산 대체’라는 구호만으로 덮을 수 없다.

그러나 더 깊은 변화는 추론 수요의 폭발이 컴퓨팅 파워 경쟁의 평가 기준을 바꾸고 있다는 점이다. 화시증권 리포트는 국산 컴퓨팅 파워의 구동력이 ‘단일 카드 성능 추격’에서 ‘시스템급 엔지니어링 능력 + 공급 보장 능력’으로 전환되었다고 지적한다. 중신건투증권도 ‘국산 칩과 슈퍼노드 및 컴퓨팅 파워 서비스’를 주목 방향으로 꼽고, 국내 일부 구성 및 해외 하이엔드 GPU 임대료 상승, 컴퓨팅 파워 서비스 경기 지속을 지적한다. 이는 국산 칩의 경쟁 논리가 ‘특정 NVIDIA 칩의 피크 파라미터 벤치마킹’에서 ‘특정 추론 시나리오에서 안정적이고 부담 가능하며 납품 가능한 시스템급 솔루션을 제공할 수 있는가’로 이동하고 있음을 의미한다.

주목할 만한 병행 진전으로, Moore Threads(무얼쓰레드)는 10월 28일 대규모 모델 학습 인프라 프로젝트 Megatron-MUSA-Titan을 오픈소스화했다. 만 카드급 클러스터의 조 파라미터 MoE 모델 학습에 초점을 맞추고 사전 학습과 강화학습 시나리오를 커버한다. DeepSeek는 DeepInfer 추론 프레임워크를 오픈소스화해 Huawei Ascend 등 국산 플랫폼을 지원하며, 기업이 국산 칩 기반으로 추론 클러스터를 구축하는 비용과 문턱을 낮추는 것을 목표로 한다. 이러한 움직임의 의의는 단기적으로 NVIDIA를 대체하는 것이 아니라, 추론 수요의 구조적 성장 속에서 국산 칩이 ‘성능 벤치마킹’에서 ‘시나리오 적합’으로 이동하고 있다는 데 있다. 추론 부하의 다양성이 학습 부하의 단일성을 훨씬 초과할 때 특정 시나리오의 시스템급 최적화는 피크 연산 능력 숫자보다 더 큰 상업적 가치를 가질 수 있다.

국산 컴퓨팅 파워 칩 기업의 3분기 실적도 경기 전달을 뒷받침한다. 하이곤 정보의 3분기 매출은 58.56억 위안으로 단일 분기 최고치를 기록했고, 3분기 누적 매출은 전년 동기 대비 57.58% 증가했다. Sugon의 3분기 누적 지배주주 순이익은 전년 동기 대비 78.48% 증가했다. 엔플레임 테크놀로지는 3분기 누적 매출이 전년 동기 대비 325.78%에서 455.36% 증가할 것으로 예상한다. 이 숫자들은 추론 수요의 확장이 제로섬 게임이 아니라 압박과 대체의 바깥에서 컴퓨팅 파워 시장 전체의 바닥을 넓히고 있음을 보여준다. 국산 칩의 진정한 기회는 반드시 학습 클러스터의 제고점을 정면으로争夺하는 데 있지 않고, 비용에 민감하고 맞춤형 적응 요구가 높으며 공급 확실성을 중시하는 추론 시나리오를 인수하는 데 있을 수 있다. 이러한 시나리오에서 소프트웨어 스택, 프레임워크 적응, 클러스터 운영을 견실하게 구축할 수 있는 자가 추론 시대에 비대칭적 진입 윈도우를 얻을 수 있다.

결어: 컴퓨팅 파워 경쟁의 ‘물통’이 다시 조립되고 있다

지난 한 주 컴퓨팅 파워 분야의 소란은 본질적으로 수요 구조가 공급 구조를 강제로 교정하는 과정이다. 지능형 에이전트가 사용자 지시 하나하나를 일련의 백엔드 호출로 분해하고, 추론의 Token 소비가 학습 부하를 훨씬 초과하는 속도로 팽창하며, AI 기업이 향후 20년치 컴퓨팅 파워 청구서를 투자설명서에 써 넣어야 하는 상황에서 컴퓨팅 파워 산업의 경쟁 논리는 더 이상 ‘어느 칩의 피크 연산 능력이 더 높은가’라는 단일 차원에 머물 수 없다.

Sugon의 리빈이 말한 “컴퓨팅, 스토리지, 상호연결, 전력 공급, 냉각 등을 둘러싼 일체형 긴밀 결합 시스템 혁신”도, NVIDIA와 Oracle이 CPU와 GPU를 분리해 차별화된 부하에 맞추려는 시도도 같은 방향을 가리킨다. 추론 시대의 컴퓨팅 파워 경쟁력은 시스템 공학의 종합 문제이지 칩 파라미터의 단일 선택 문제가 아니다. 중국 대형 기업이 워크스테이션용 그래픽카드를 사재는 ‘비합리적’ 행동, Anthropic이 천문학적 계약으로 컴퓨팅 파워를 확보하는 ‘대도박’, 국산 칩이 시스템 적응에서密集적으로 움직이는 것, 이 모든 것은 이 새로운 문제에 대한 서로 다른 해법이다.

더 경계해야 할 것은 추론 수요의 폭발이 자동으로 산업 질서의 안정을 가져오지 않는다는 점이다. 반대로 단기적으로는 컴퓨팅 파워 가격의 변동, 공급의 긴장, 비즈니스 모델의 분열을 심화시킬 수 있다. 플랫폼은 쿼터 과금과 사용자 경험 사이에서 새로운 균형을 찾아야 하고, 클라우드 벤더는 컴플라이언스 칩과 국산 칩 사이에서 조달 구성을 재배치해야 하며, AI 기업은 컴퓨팅 파워 확보와 재무 유연성 사이에서 자본 구조를 재설계해야 하고, 칩 제조사는 하드웨어 판매에서 시스템 능력 판매로 전환해야 한다. 공급 제약 아래에서 가장 먼저 ‘컴퓨팅 파워를 파는’ 것에서 ‘컴퓨팅 파워를 잘 쓰는’ 것으로 전환을 완료하는 자가 추론 수요가 열어젖힌 이 균열 속에서 다음 주기의 입장권을 찾을 수 있을 것이다.