TOOL 001 / LOCAL LLM

LLM 가중치 메모리
대략 계산기

“32B 4-bit면 VRAM이 얼마나 필요하지?” 같은 걸 빠르게 확인하려고 만든 계산기입니다. 정확한 실행 VRAM이 아니라 모델 가중치 크기부터 대략 보는 용도입니다.

모델 크기

예: 7B, 14B, 32B, 70B 양자화실제 파일 포맷에는 추가 메타데이터가 붙을 수 있습니다. 비교할 GPU VRAM

선택한 GPU에 가중치가 들어갈지 대략 비교합니다.

가중치만 이론상14.9 GiBparameters × bits ÷ 8

20% 여유 포함 참고치17.9 GiB단순 비교를 위한 여유값

GPU VRAM과 비교 중입니다.

왜 ‘가중치만’ 계산하나요?

실제로 LLM을 실행할 때는 모델 가중치 말고도 KV cache, 런타임 버퍼, 컨텍스트 길이, 백엔드 구현 등이 메모리를 더 사용합니다. 그래서 이 계산기로 “24GB면 무조건 된다” 같은 결론을 내리면 안 됩니다.

모델을 처음 볼 때 크기 감을 잡는 데 씁니다. 예를 들어 70B 4-bit가 왜 24GB GPU 한 장에 가볍게 들어가지 않는지, 7B 8-bit가 대략 어느 정도인지 빠르게 비교하기 좋습니다.

계산식 파라미터 수 × 비트 수 ÷ 8 → bytes → GiB 변환

이 값은 대략치입니다. GGUF, GPTQ, AWQ 등 포맷과 모델 구조에 따라 실제 파일 크기와 실행 메모리는 달라질 수 있습니다.