8월 11일 Reuters 기사를 보다가 NVIDIA가 Nemotron 4라는 새 모델을 만들고 있고, 가장 큰 모델은 최소 1조(1T) 파라미터 규모가 될 거라는 내용을 봤다.
처음엔 그냥 “1조 파라미터 ㄷㄷ” 하고 넘길 뻔했다.
근데 생각해보니 1조가 실제 컴퓨터 기준으로 어느 정도인지 전혀 감이 없었다.
나는 아직 모델 구조를 잘 아는 편도 아니라서 어려운 용어부터 파기보다 그래서 실제로 얼마나 큰 건지만 따라가보기로 했다.
1조 파라미터라는 숫자는 지금 NVIDIA가 공식 발표한 최종 사양이 아니다. Reuters가 다른 매체의 보도를 인용해 전한 내용이다. NVIDIA가 Nemotron 4를 만들고 있다는 것 자체는 공식적으로 확인된다.
일단 1조 파라미터가 메모리를 얼마나 먹는지 계산해봤다
파라미터는 모델 안에 들어있는 수많은 숫자라고 아주 거칠게 이해하고 있다.
여기서는 이론 공부보다 그냥 파일 크기 감을 잡는 용도로 계산해봤다.
1,000,000,000,000 parameters × 4 bit ÷ 8
= 500,000,000,000 bytes
≈ 500 GB
≈ 465.7 GiB
즉 1T 모델을 4-bit로 저장한다고 가정해도 모델 데이터만 약 500GB다.
8-bit면 약 1TB, 16-bit면 약 2TB가 된다.
물론 실제로 모델을 돌릴 때는 저 파일만 메모리에 올리면 끝나는 건 아니다.
실행하면서 다른 메모리도 더 쓰니까 위 숫자는 그냥 시작점 정도로 보면 될 것 같다.
이 계산은 사이트에 만들어둔 LLM 가중치 메모리 계산기에도 그대로 넣어볼 수 있다.
그럼 DGX Spark에는 당연히 안 들어가는 거 아닌가?
여기서 바로 DGX Spark가 생각났다.
요즘 계속 보고 있던 그 작은 AI 컴퓨터.
NVIDIA 공식 사양을 찾아보니 DGX Spark는 128GB 메모리를 쓰고, 한 대에서 최대 200B급 모델을 다루는 걸 기준으로 잡고 있었다. 두 대를 연결하면 최대 405B까지라고 한다.
그러면 1T 모델 전체를 4-bit로 저장한다고 아주 단순하게 잡아도 약 500GB니까, Spark 한 대에 넣는 그림은 애초에 아니다.
1조 파라미터라는 숫자를 보고 “요즘 로컬 AI 장비 좋아졌으니까 이것도 어떻게 되나?” 싶었는데, Spark와는 급이 다른 이야기였다.
근데 NVIDIA에는 진짜 1조 파라미터 모델을 돌리는 워크스테이션이 있었다
그 다음에 DGX Station 자료를 봤는데 여기서 좀 재밌어졌다.
DGX Station은 최대 748GB 메모리를 제공하고, NVIDIA가 공식적으로 최대 1T 파라미터 모델을 로컬에서 실행할 수 있다고 적어놨다.
1T를 4-bit로 단순 계산한 크기가 약 500GB니까, 적어도 숫자만 놓고 보면 748GB라는 메모리 구성이 왜 나왔는지 감이 온다.
물론 “500GB니까 748GB에 무조건 잘 돌아간다”는 뜻은 아니다.
실제 모델이 어떤 방식으로 만들어졌는지, 얼마나 줄여서 저장하는지, 실행하면서 메모리를 얼마나 더 쓰는지에 따라 달라진다.
그래도 NVIDIA가 아예 1T 모델을 로컬에서 돌리는 용도를 제품 설명에 넣고 있다는 건 확실히 재밌었다.
1조라고 해서 항상 1조를 전부 계산하는 건 아닌 것 같았다
여기서 또 궁금해져서 이전 Nemotron 모델도 찾아봤다.
공식 자료를 보면 이전 모델들은 이름 옆에 적힌 전체 크기와 실제로 한 번 처리할 때 사용하는 양이 꽤 다르다.
자세한 구조 이름은 일단 제쳐뒀다.
내가 이해한 핵심은 하나였다.
모델의 전체 크기와 실제로 한 번 계산할 때 쓰는 양은 다를 수 있다.
그래서 “1T”라는 숫자만 보고 필요한 계산량도 그대로 1T라고 생각하면 틀릴 수 있겠다는 정도로 이해했다.
Nemotron 4가 실제로 어떤 방식으로 만들어졌는지는 아직 구체적으로 공개되지 않았다. 이전 모델이 어떤 방식이었다고 해서 새 모델도 똑같을 거라고 미리 가정하지 않기로 했다.
공식으로 확인되는 것과 아직 보도뿐인 걸 나눠봤다
찾다 보니 이걸 분리해두는 게 제일 중요해 보였다.
처음에는 “NVIDIA가 1조짜리 모델 만든대” 정도로 이해했는데, 찾아보니 아직 공식 발표와 보도 내용을 따로 봐야 하는 단계였다.
이런 건 뉴스 제목만 보고 바로 글을 쓰면 안 되겠다는 생각도 들었다.
찾아보고 나니 숫자보다 실제 사용이 더 궁금해졌다
처음에는 1조라는 숫자 자체가 제일 신기했다.
근데 이제는 실제 모델이 나오면 이런 게 더 궁금하다.
- 실제 파일 크기는 얼마나 되는지
- DGX Station 한 대에서 어느 정도 속도가 나오는지
- 보통 사람이 직접 내려받아 써볼 수 있는 형태인지
- 라이선스가 얼마나 열려 있는지
- 작은 모델과 비교했을 때 진짜 체감 차이가 큰지
일단 지금 단계에서는 “1T Nemotron 4가 확정됐다”라고 쓰는 건 이르다고 보는 게 맞을 것 같다.
실제 모델이 나오면 이 글은 다시 뜯어봐야겠다.
사이트 이름이 NOTFINAL이니까 이런 건 잘 맞는듯.
찾아본 순서
- Reuters — NVIDIA Nemotron 4 관련 보도
- NVIDIA — DGX Spark 공식 페이지
- NVIDIA — DGX Station 공식 페이지
- NVIDIA Docs — DGX Station 시스템 개요
- NVIDIA Research — 이전 Nemotron 모델 자료
기사 하나 보고 시작했는데 결국 메모리 계산이랑 워크스테이션까지 찾아봤다.
이런 식으로 하나 궁금해진 걸 따라가는 글이 생각보다 재밌다.