PUBLIC WORKING NOTES

NOTFINAL

일단 만들어보고, 막히면 뜯어봅니다.

RECENT POSTS

최근 글

전체 글 보기 →
DRAFT
LOCAL LLM

LLM은 ‘돌아간다’와 ‘쓸 만하다’가 얼마나 다를까?

모델 크기, 양자화, VRAM부터 실제 체감 속도까지 나눠서 정리해볼 예정입니다.

NEWS NOTES

최근 뉴스

뉴스 전체 보기 →

TOOLS

작은 도구

도구 목록 보기 →

LLM 가중치 메모리 계산기

7B, 32B, 70B 같은 모델이 4-bit나 8-bit일 때 가중치만 대략 몇 GiB인지 계산합니다. GPU VRAM과도 간단히 비교합니다.

계산해보기

WORK NOTES

정리할 것들

완성된 글은 아니고, 지금 손대고 있는 주제들입니다.

진행 중
AI 개발

테트리스 에이전트 만들기

기본 에이전트부터 다시 돌리고, 이후 학습 방식까지.

대기
서버

Dell R720 원격 관리 다시 살리기

iDRAC이 안 보일 때 어디부터 확인해야 하는지 기록.

메모 중
장비

작은 AI 워크스테이션은 어디까지 돈값을 할까?

메모리, 가격, 전력, 실제로 하고 싶은 작업 기준으로 비교.