NOTFINAL — NVIDIA GPU가 있는데 왜 AI 회사들은 자기 칩까지 만들려고 할까?

AI 회사가 직접 반도체를 만든다는 이야기를 볼 때마다 조금 이상했다.

나는 AI용 하드웨어라고 하면 거의 자동으로 NVIDIA GPU를 떠올렸다. H100, H200, B200, GB300 같은 이름이 계속 뉴스에 나오고, AI 서버 가격을 찾아봐도 결국 GPU가 제일 큰 부분을 차지한다.

그런데 최근에는 반대 방향의 뉴스가 계속 보였다.

OpenAI는 Broadcom과 Jalapeño라는 자체 추론 칩을 만들었다. Anthropic은 자체 실리콘 팀을 키우고 있고, Reuters에 따르면 AI 칩 스타트업 MatX를 약 70억 달러에 인수하는 방안까지 검토했다가 현재는 협력 가능성을 논의하고 있다.

그래서 궁금해졌다.

NVIDIA GPU가 그렇게 좋은데 왜 굳이 자기 칩까지 만드는 걸까?

처음에는 답이 간단할 거라고 생각했다.

"NVIDIA가 너무 비싸니까."

물론 이것도 맞는 이야기다. 그런데 자료를 따라가다 보니 핵심은 단순히 칩 한 장의 가격이 아니었다.

AI 회사 입장에서는 이제 **전력, 메모리 이동, 네트워크, 공급량, 지연시간, 소프트웨어까지 전부 합친 'AI 한 번 돌리는 비용'**이 더 중요한 문제가 되고 있었다.

그리고 이 정도 규모가 되면 범용으로 잘 만든 GPU보다 내가 매일 하는 일 하나에 미친 듯이 최적화된 칩이 더 매력적일 수도 있었다.

일단 GPU가 뭔데 이렇게 오래 살아남았을까

GPU는 원래 그래픽을 빠르게 계산하기 위해 발전했다.

화면의 수많은 픽셀과 삼각형을 동시에 계산해야 했기 때문에, 복잡한 일을 하나씩 아주 빠르게 처리하는 CPU와는 조금 다른 방향으로 발전했다.

쉽게 생각하면 이렇다.

CPU = 이것저것 잘하는 숙련공 몇 명
GPU = 비슷한 작업을 동시에 처리하는 작업자 수천 명

딥러닝에는 행렬 곱셈처럼 비슷한 계산을 엄청나게 반복하는 일이 많다. 그래서 GPU 구조와 궁합이 좋았다.

NVIDIA는 여기에 CUDA라는 소프트웨어 생태계를 오래 쌓았다.

결국 지금 NVIDIA가 강한 이유는 단순히 칩이 빠르기 때문만은 아니다.

GPU + CUDA + 라이브러리 + 네트워크 + 서버 + 개발 도구가 한 덩어리로 움직인다.

그래서 새 AI 회사를 만든다고 생각하면 NVIDIA GPU는 굉장히 편한 선택이다.

모델도 학습할 수 있고, 추론도 할 수 있고, 연구자가 새로운 연산을 시험할 수도 있다.

즉 범용성이 엄청나게 좋다.

그런데 바로 이 장점이 아주 큰 AI 회사에서는 조금 다른 질문을 만들었다.

우리가 실제 서비스에서 매일 반복하는 작업도 정말 이렇게 범용적인 칩이 필요할까?

학습과 추론은 같은 AI인데 하는 일이 꽤 다르다

여기서 내가 처음 헷갈렸던 게 하나 있다.

AI 칩이라고 하면 전부 같은 일을 하는 줄 알았는데 **학습(training)**과 **추론(inference)**은 성격이 꽤 다르다.

학습은 모델을 만드는 과정이다.

엄청난 데이터를 넣고 계산하고, 오차를 구하고, 다시 모델의 숫자를 수정한다. 새로운 모델을 만들 때마다 구조도 달라질 수 있고 연구자가 새로운 연산을 시험할 수도 있다.

그래서 유연한 하드웨어가 중요하다.

반면 추론은 이미 만들어진 모델을 실제로 사용하는 과정이다.

내가 ChatGPT에 질문을 보내고 답을 받거나, Codex가 코드를 읽고 다음 행동을 결정하는 게 여기에 해당한다.

서비스가 커지면 이 작업은 하루에 몇 번이 아니라 엄청난 횟수로 반복된다.

그러면 작은 차이가 커진다.

예를 들어 어떤 구조 변경으로 요청 한 번당 전력을 10% 줄였다고 해보자.

내 컴퓨터에서 하루에 열 번 돌리는 정도라면 별 차이가 없을 수 있다.

하지만 데이터센터에서 수백만·수억 번 반복한다면 이야기가 완전히 달라진다.

그래서 추론에서는 이런 것들이 굉장히 중요해진다.

같은 전력으로 얼마나 많은 토큰을 만들 수 있는가
사용자가 답을 기다리는 시간이 얼마나 짧은가
모델 데이터를 메모리에서 얼마나 빨리 가져오는가
칩 여러 개를 연결했을 때 통신 낭비가 얼마나 적은가
실제 서버에서 칩을 얼마나 높은 비율로 계속 사용할 수 있는가

OpenAI의 Jalapeño가 재미있는 이유가 여기 있었다.

이 칩은 처음부터 LLM 추론용으로 설계됐다.

OpenAI는 자사가 매일 운영하는 ChatGPT, Codex, API의 실제 서빙 패턴을 보고 칩 구조를 정했다고 설명한다.

그러니까 비유하면 NVIDIA GPU가

웬만한 요리는 다 잘하는 초고급 호텔 주방

이라면 Jalapeño는

하루 종일 같은 인기 메뉴를 수십만 접시 만드는 공장 주방

에 더 가깝다.

호텔 주방보다 할 수 있는 요리 종류는 적어도, 그 메뉴 하나를 계속 만들 거라면 동선과 장비를 완전히 다르게 설계할 수 있다.

OpenAI는 실제로 칩을 어떻게 바꿨을까

OpenAI는 2026년 6월 Broadcom과 Jalapeño를 공개했다.

공식 설명에서 눈에 띈 문장이 있었다.

Jalapeño는 기존 AI 가속기를 조금 수정한 것이 아니라 modern LLM inference를 위한 blank-slate design, 즉 처음부터 LLM 추론을 기준으로 다시 설계했다는 것이다.

특히 OpenAI는 다음 요소를 같이 최적화했다고 설명한다.

연산 커널
메모리 이동
네트워크
모델 서빙 패턴

여기서 중요한 건 FLOPS 숫자 하나만 높이는 게 아니다.

칩 안에 계산기가 아무리 많아도 데이터가 제때 안 오면 계산기는 기다린다.

이건 전에 HBM을 찾아보면서 봤던 문제와 똑같았다.

GPU가 요리사라면 메모리는 재료 창고다.

요리사를 두 배 빠르게 만들었는데 재료가 들어오는 문이 그대로라면 어느 순간 요리사는 문 앞에서 재료를 기다린다.

OpenAI는 Jalapeño에서 데이터 이동을 줄이고 compute, memory, networking의 균형을 맞춰 이론적인 최고 성능에 실제 사용률을 더 가깝게 만드는 것이 목표라고 설명한다.

8월 Hot Chips에서 공개된 세부 정보는 더 재미있다.

보도에 따르면 Jalapeño 패키지 하나의 메모리 대역폭은 15.4 TB/s 수준이고, 128개 칩 랙은 약 27.5TB의 HBM4를 갖는다. 칩 정격 전력은 700W지만 테스트한 워크로드에서 지속 소비전력은 550W 이하였다고 한다.

숫자가 너무 커서 감이 잘 안 온다.

15.4 TB/s는 이론적으로 1초에 15테라바이트가 넘는 데이터를 움직일 수 있는 수준이다.

물론 실제 LLM에서 이 숫자를 그대로 다 쓰는 건 아니다. 그래도 칩 설계에서 계산 능력만큼 데이터를 얼마나 빨리 공급할지가 중요해졌다는 것은 꽤 잘 보인다.

그런데 정말 NVIDIA보다 빠른가?

여기서는 조금 조심해서 봐야 한다.

OpenAI가 8월에 공개한 첫 벤치마크에서는 Jalapeño가 NVIDIA GB200·GB300 기반 시스템보다 특정 LLM 추론 조건에서 좋은 결과를 냈다.

보도된 수치로는 워크로드에 따라 와트당 처리량이 약 1.5~1.9배, end-to-end latency는 약 1.7~3.6배 낮게 측정됐다.

GPT-OSS-120B뿐 아니라 DeepSeek R1과 Kimi K2.5도 시험했다고 한다.

처음 보면

어? 그럼 NVIDIA 끝난 거 아냐?

싶다.

그런데 그렇게 보면 안 될 것 같다.

첫째, Jalapeño는 추론에 특화된 칩이다.

NVIDIA GPU는 학습부터 추론, 연구, 과학 계산까지 훨씬 넓은 작업을 한다.

둘째, 비교 시점의 NVIDIA 제품과 특정 벤치마크 조건에서 나온 결과다.

Jalapeño가 본격적으로 대규모 배포될 때 NVIDIA의 다음 세대 제품도 나온다.

셋째, OpenAI가 자기 워크로드에 맞게 설계한 칩이라는 것 자체가 비교를 조금 다르게 만든다.

그래서 나는 이 결과를

"OpenAI가 NVIDIA보다 좋은 GPU를 만들었다"

보다는

"충분히 큰 단일 워크로드에서는 범용 GPU보다 맞춤형 ASIC이 훨씬 효율적일 수 있다는 실제 사례가 나오기 시작했다"

정도로 이해하는 게 맞아 보였다.

ASIC이라는 말도 여기서 이해됐다

이런 맞춤형 칩을 이야기할 때 **ASIC(Application-Specific Integrated Circuit)**이라는 단어가 자주 나온다.

말 그대로 특정 용도를 위해 만든 집적회로다.

GPU가 여러 종류의 병렬 계산을 처리할 수 있게 만들어진 범용 가속기라면 ASIC은 필요 없는 기능을 덜어내고 특정 작업에 공간과 전력을 집중할 수 있다.

다시 주방으로 생각하면 쉽다.

일반 식당 주방에는 칼도 여러 종류, 오븐, 프라이팬, 냄비, 믹서기까지 있어야 한다.

그런데 하루에 만두만 100만 개 만드는 공장이라면?

칼과 프라이팬을 늘리는 것보다 반죽 → 속 넣기 → 접기 → 찌기를 한 줄로 연결한 전용 기계를 만드는 게 훨씬 효율적이다.

AI 회사들이 자기 칩을 만드는 것도 점점 이쪽에 가까워지는 것 같다.

그러면 결국 NVIDIA에 돈 주기 싫어서 만드는 거 아닌가

이것도 분명 큰 이유다.

최첨단 AI 가속기는 비싸고 공급도 제한적이다.

Reuters에 따르면 Anthropic이 자체 칩 개발을 강화하는 이유 중 하나도 NVIDIA 같은 외부 공급자에 대한 의존도를 줄이고 장기적인 비용을 낮추기 위해서다.

그런데 여기서 중요한 건 구매 가격만 보는 게 아니라는 것이다.

데이터센터에서는 칩을 사고 끝나는 게 아니다.

전기를 먹고,

열이 나고,

냉각해야 하고,

네트워크 장비가 필요하고,

랙 공간을 차지하고,

몇 년 동안 계속 운영한다.

그래서 진짜 비용은 흔히 TCO, 즉 **총소유비용(Total Cost of Ownership)**으로 본다.

예를 들어 칩 A가 싸더라도 전력을 훨씬 많이 먹고 같은 일을 하려면 두 배가 필요하다면 결국 비쌀 수 있다.

반대로 칩 B의 개발비가 엄청나게 비싸도 수백만 번 반복되는 서비스에서 전력과 서버 수를 크게 줄일 수 있다면 장기적으로는 이득일 수 있다.

이게 OpenAI 같은 회사와 내가 집에서 GPU 한 장 사는 상황의 가장 큰 차이인 것 같다.

나는 칩을 직접 만들 이유가 없다.

하지만 OpenAI는 같은 종류의 추론을 전 세계에서 계속 반복한다.

규모가 충분히 커지면 반도체 설계비 자체를 상쇄할 가능성이 생긴다.

전력이 생각보다 훨씬 큰 문제였다

AI 데이터센터 뉴스를 보면 요즘 칩 개수만큼이나 **기가와트(GW)**라는 단위가 자주 나온다.

OpenAI도 Jalapeño를 여러 세대에 걸쳐 gigawatt scale로 배포하겠다고 말한다.

1GW는 10억 와트다.

이 정도가 되면 칩 한 개에서 몇십 와트를 아끼는 것도 전체 시스템에서는 엄청난 차이가 된다.

그리고 전력은 단순히 전기요금 문제가 아니다.

전기를 더 넣으면 열도 더 처리해야 한다.

그러면 냉각 설비가 커지고 데이터센터 설계가 어려워진다.

결국 와트당 얼마나 많은 AI 작업을 처리할 수 있는가가 칩 가격만큼 중요한 숫자가 된다.

OpenAI가 Jalapeño 벤치마크에서 계속 throughput per kilowatt를 강조한 이유도 여기 있는 것 같다.

Anthropic도 같은 방향으로 움직이고 있다

OpenAI만 특이한 일을 하는 건 아니었다.

Reuters는 8월 27일 Anthropic이 AI 칩 스타트업 MatX를 약 70억 달러에 인수하는 방안을 검토했다가 포기했고, 이후 협력 가능성을 논의하고 있다고 보도했다.

MatX는 Google TPU 출신 엔지니어들이 만든 회사다.

Anthropic은 내부 실리콘 팀도 확대하고 있으며 Google과 OpenAI 출신 칩 인력을 채용하고 있다고 한다.

여기서 재미있는 건 Anthropic이 당장 NVIDIA를 버리는 것도 아니라는 점이다.

Reuters에 따르면 Anthropic은 여전히 Google 등의 칩과 외부 클라우드 컴퓨팅에 막대한 돈을 쓸 계획이다.

그러니까 전략이

NVIDIA를 없애자.

가 아니라

NVIDIA만 있어야 돌아가는 회사가 되지는 말자.

에 더 가까워 보인다.

이건 공급망 문제이기도 하다.

내 서비스가 커졌는데 원하는 GPU를 원하는 시점에 충분히 확보하지 못하면, 칩 성능과 상관없이 사업이 막힌다.

자체 칩은 비용 최적화 도구이면서 동시에 공급 선택지를 늘리는 보험이 될 수 있다.

Google과 Amazon은 이미 오래전부터 이 길을 걷고 있었다

생각해보면 이 흐름 자체가 완전히 새로운 것도 아니다.

Google은 TPU를 오래전부터 개발했고, Amazon AWS도 Trainium과 Inferentia 같은 자체 AI 칩을 운영한다.

왜 클라우드 회사들이 이런 일을 먼저 했는지 이제 조금 이해됐다.

이 회사들은 누구보다 엄청나게 반복되는 컴퓨팅 작업을 가지고 있다.

같은 일을 수십만·수백만 서버에서 반복하면 작은 효율 차이가 엄청난 돈이 된다.

AI 모델 회사도 이제 비슷한 규모의 인프라 운영자가 되어가고 있다.

그래서 모델 회사와 반도체 회사의 경계가 흐려지는 것 같다.

OpenAI 공식 설명에도 아예 이런 표현이 나온다.

제품에서 모델을 거쳐 이제 칩까지.

이게 생각보다 중요한 변화 같다.

칩만 직접 만든다고 끝나는 것도 아니었다

처음에는 OpenAI가 회로 설계 파일 하나 만들어서 TSMC에 보내면 되는 줄 알았다.

당연히 그렇게 단순하지 않았다 ㅋㅋ.

Jalapeño만 봐도 OpenAI 혼자 만든 게 아니다.

Broadcom이 실리콘 구현과 네트워킹을 맡고, Celestica가 보드·랙·시스템 통합을 돕는다.

칩 여러 개를 연결하려면 네트워크도 중요하다.

전력 공급도 필요하고 냉각도 필요하다.

HBM도 붙여야 한다.

소프트웨어가 그 칩을 제대로 사용하게 만들어야 한다.

그래서 '자체 칩'이라는 말은 실제로는

자체 아키텍처 + 반도체 파트너 + 메모리 + 네트워크 + 서버 + 컴파일러 + 런타임

전체를 묶는 프로젝트에 가깝다.

OpenAI가 이것을 단순한 chip project가 아니라 full-stack infrastructure strategy라고 부르는 이유가 이해됐다.

그리고 AI가 자기 다음 칩을 만드는 데도 들어갔다

이건 좀 웃기면서도 묘했다.

OpenAI는 Jalapeño의 초기 설계부터 제조용 tape-out까지 약 9개월이 걸렸다고 밝혔다.

Tape-out은 쉽게 말하면 칩 설계를 끝내고 실제 제조에 넘길 최종 설계 데이터를 확정하는 단계다.

OpenAI는 이 과정의 설계와 최적화 일부를 자사 AI 모델로 가속했다고 한다.

즉,

AI를 돌릴 칩을 AI가 만드는 데 도움을 줬다.

그리고 그 칩에서 다음 AI가 돌아간다.

조금 과장해서 그리면 이런 순환이다.

AI 모델 ↓ 칩 설계 보조 ↓ 더 효율적인 AI 칩 ↓ 더 싸고 빠른 추론 ↓ 더 많은 AI 사용 ↓ 다음 모델과 다음 칩

OpenAI가 이것을 flywheel이라고 표현하는 이유도 알 것 같다.

물론 AI가 혼자 반도체를 설계했다는 뜻은 아니다. Broadcom과 수많은 엔지니어의 작업이 핵심이고, AI는 일부 설계·최적화 과정을 가속한 도구다.

그래도 이런 피드백 루프가 실제 제품 개발에 들어가기 시작했다는 건 꽤 재미있다.

그럼 NVIDIA는 위험한가?

여기까지 읽으면 자연스럽게 이 질문이 나온다.

OpenAI도 만들고 Google도 만들고 Amazon도 만들고 Anthropic도 준비하면 NVIDIA는 위험하지 않을까?

아직은 그렇게 단순하게 보이지 않는다.

NVIDIA의 가장 큰 장점은 범용성과 생태계다.

새 모델을 연구하는 단계에서는 앞으로 어떤 연산이 중요해질지 완전히 알 수 없다.

그럴 때 특정 작업에 박아놓은 ASIC보다 프로그래밍 가능한 GPU가 훨씬 편하다.

그리고 CUDA를 중심으로 이미 엄청난 소프트웨어가 쌓여 있다.

NVIDIA는 GPU만 파는 것도 아니다. NVLink, 네트워킹, 랙 시스템, 소프트웨어까지 묶어서 제공한다.

그래서 자체 칩을 만든 회사들도 NVIDIA를 완전히 끊기보다는 특정 워크로드만 자기 칩으로 가져오는 형태가 더 현실적으로 보인다.

OpenAI도 Jalapeño가 모든 인프라를 대체한다고 말하지 않는다.

특히 학습은 여전히 범용 고성능 가속기의 영역이 크다.

내가 보기에는 앞으로

GPU vs 자체 칩

보다는

GPU + 자체 칩 + 다른 가속기

를 워크로드에 맞춰 섞는 방향이 더 자연스러워 보인다.

이걸 보고 DGX Spark 같은 개인 장비를 다시 생각해봤다

여기까지 찾아보고 나니 개인용 AI 장비를 볼 때도 조금 관점이 바뀌었다.

나는 장비를 볼 때 보통

GPU 성능
메모리 용량
가격

부터 본다.

그런데 실제 추론 성능은 그것만으로 결정되지 않는다.

메모리 대역폭, 전력 제한, 소프트웨어 최적화, 모델 형식, 배치 크기까지 같이 영향을 준다.

그래서 어떤 칩이 FLOPS가 높다고 해서 내가 돌릴 LLM도 무조건 비례해서 빨라지는 건 아니다.

반대로 특정 LLM 추론에 잘 맞는 가속기는 스펙표에서 계산 성능이 낮아 보여도 실제 체감에서는 훨씬 효율적일 수 있다.

이건 앞으로 로컬 LLM 하드웨어를 비교할 때도 계속 봐야 할 것 같다.

내가 처음 생각한 답과 지금 답

처음 질문은 이거였다.

NVIDIA GPU가 있는데 왜 AI 회사들은 자기 칩까지 만들려고 할까?

처음 답은

NVIDIA가 비싸니까.

였다.

지금은 조금 다르게 생각한다.

AI 회사가 충분히 커지면 자기 서비스 자체가 하나의 거대한 반복 워크로드가 된다.

그러면 범용 GPU의 유연성보다

전력 효율
메모리 이동
지연시간
실제 칩 사용률
공급 안정성
장기 운영비

을 자기 서비스에 맞춰 최적화하는 가치가 커진다.

즉 자체 칩은 단순한 NVIDIA 가격 협상 카드가 아니라 AI 서비스의 구조를 하드웨어까지 내려가서 최적화하는 단계에 가깝다.

그리고 이게 계속되면 앞으로 AI 회사라는 말의 의미도 조금 달라질 것 같다.

모델만 만드는 회사가 아니라,

데이터센터를 만들고,

네트워크를 설계하고,

전력을 확보하고,

심지어 자기 칩까지 만드는 회사.

생각해보면 꽤 이상하다.

소프트웨어 회사가 커지고 커지다가 결국 발전소와 반도체 이야기까지 하고 있다 ㅋㅋ.

아직 잘 모르겠는 것

이번에 찾아보면서 큰 그림은 조금 이해했지만 아직 궁금한 게 남았다.

가장 궁금한 건 자체 칩 개발비를 어느 정도의 추론량부터 회수할 수 있느냐다.

칩 개발 비용뿐 아니라 소프트웨어, 검증, 패키징, 서버 설계까지 포함하면 진입비가 엄청날 텐데 어느 규모에서 범용 GPU보다 경제적이 되는지는 공개 자료만으로 계산하기 어렵다.

또 Jalapeño의 초기 벤치마크가 실제 대규모 ChatGPT 트래픽에서도 비슷한 효율 차이를 보여주는지도 더 봐야 한다.

OpenAI도 첫 공개 당시 최종 성능 측정이 진행 중이라고 밝혔고, 이제 막 실제 배포가 시작되는 단계다.

그래서 지금 결론은 이 정도가 맞을 것 같다.

자체 AI 칩이 NVIDIA GPU를 없애는 건 아니다.

대신 AI 서비스가 커질수록

어떤 GPU를 살까?

에서 한 단계 더 내려가

우리가 매일 하는 계산에 가장 알맞은 컴퓨터는 애초에 어떤 모양이어야 할까?

를 묻기 시작했다.

나는 그 변화가 칩 자체보다 더 재미있었다.

Sources

OpenAI — OpenAI and Broadcom unveil LLM-optimized inference chip (2026-06-24)
OpenAI — Jalapeño's first results show industry-leading speed and efficiency in AI inference (2026-08-25)
Reuters — Anthropic in talks with chip start up MatX to speed up chip design, sources say (2026-08-27)
Data Center Dynamics — OpenAI details Jalapeño AI chip, with 700W TDP (2026-08-25)
TechCrunch — OpenAI's Jalapeño chip is built for fast inference at scale, benchmarks show (2026-08-25)

NOT FINAL.