Nvidia 주가는 2023년 초부터 2025년 중반까지 시가총액이 10배 뛰었다. 이후 1년간은 Amazon·Google 등 하이퍼스케일러가 자체 칩을 내놓으면서 'GPU 독점 시대는 끝났다'는 서사가 시장을 지배했다.

그런데 이번 주 실적 발표 이후 투자자들의 시각이 바뀌기 시작했다. Nvidia의 우위가 GPU 하나에 그치지 않는다는 사실이 드러났기 때문이다.

계층별로 보는 Nvidia 기술 스택

▼ Vera Rubin 아키텍처 주요 구성 요소

계층구성 요소핵심 역할
연산Rubin GPU토큰 처리, 모델 학습·추론
오케스트레이션Vera CPU데이터 트래픽 조율, 메모리 병목 해소
추론 가속Groq 3 LPX추론 전용 가속
스토리지전용 랙플래시 스토리지 최적화
네트워킹전용 랙시스템 간 고속 연결

Nvidia는 현재 Vera Rubin 아키텍처를 순차 출하 중이다. Rubin GPU를 중심으로 Vera CPU, Groq 3 LPX 추론 가속기, 스토리지·네트워킹 전용 랙이 하나의 시스템을 이룬다.

데이터 오케스트레이션이 새 격전지

AI 연산이 기가와트 규모로 커지면서 데이터센터 운영의 복잡도도 폭발적으로 늘었다. GPU가 아무리 빨라도 데이터를 제때 공급하지 못하면 성능이 낭비된다.

Nvidia 스토리지 기술 부문 VP Jason Hardy는 "Vera CPU가 이런 오퍼레이션에서 최대 3배 성능 개선을 가능하게 한다"고 밝혔다. 플래시 스토리지의 잠재 성능을 병목 없이 끌어낼 수 있다는 설명이다.

같은 문제를 다른 방식으로 푼 사례도 있다. OpenAI는 자체 칩 Jalapeño를 설계하면서 데이터 이동 자체를 최소화하는 방향을 택했다. 공식 블로그에 따르면 "Jalapeño는 데이터 이동과 통신 지연을 최소화하도록 설계됐으며, 하나의 연결된 시스템 안에서 전체 워크로드를 처리한다"고 밝혔다. 접근법은 다르지만 목표는 같다. 더 많은 프로세서 사이클이 아니라, 더 스마트한 트래픽 제어로 효율을 높이는 것이다.

Nvidia의 우위, 얼마나 지속될까

데이터 오케스트레이션 계층이 열렸다고 해서 Nvidia의 승리가 보장된 건 아니다. 경쟁 칩 업체와 하이퍼스케일러 모두 이 영역에 뛰어들 것이다. 다만 경쟁의 무게중심이 이동했다. 'GPU 하나를 더 잘 만드는 것'보다 '전체 시스템을 효율적으로 작동시키는 것'이 관건이 됐다.

현 시점에서 Nvidia는 이 새로운 계층에서도 선두를 달리고 있다.

국내 AI 인프라 투자를 검토하는 기업이라면, GPU 성능 비교에서 한 발 더 나아가 네트워킹·오케스트레이션 스택 전반의 호환성과 효율을 함께 따져볼 필요가 있다.