요즘 AI 모델이 정말 많이 나옵니다.
클로드는 Fable 5랑 Opus 5, OpenAI는 GPT-5.6 Sol, 중국 쪽에서는 Kimi K3랑 GLM 5.2까지 나왔죠.
이 중에 GLM 5.2는 이미 가중치가 공개돼 있고, K3도 곧 공개될 예정입니다.
오픈웨이트라는 건 모델 파일을 그냥 다운받을 수 있다는 뜻입니다.
즉, 이론상으로는 집에서 공짜로 돌릴 수 있다는 얘기죠.
집에 데이터센터가 있다면요.
농담처럼 들리지만 진짜입니다!!
GLM 5.2는 4비트로 꽉 압축해도 376GB고, 이걸 돌리려면 H100 4장이 필요합니다.
압축을 덜 하면 750GB가 넘어가서 H200 8장짜리 서버 한 대가 있어야 하고요.
K3는 파라미터가 2.8조 개라 이보다 더 큽니다.
제 컴퓨터에 꽂혀 있는 건 RTX 3060, VRAM 12GB입니다.
376을 12로 나누면 31입니다. 3060을 31장 꽂으면 되긴 하는데… 네, 그게 데이터센터죠.
그래서 현실적인 얘기를 해보려고 합니다.
소비자용 그래픽카드 한 장으로 돌릴 수 있는 모델 중에서 구글이 최근 공개한 Gemma 4의 12B 버전을 집 컴퓨터에 올려보겠습니다.
실제로 집에 있는 컴퓨터입니다. 개발 겸 일할때 사용하는 PC입니다.
사양은 RTX 3060 12GB, RAM 32GB, 9600X, SSD 1TB 입니다.
먼저 "원활하다"의 기준을 정했습니다
"돌아간다"와 "쓸 만하다"는 다른 얘기입니다.
억지로 올려놓고 "됩니다!" 하면 의미가 없으니, 시작하기 전에 합격 기준부터 정했습니다.
첫번째! 100% GPU로 돌아갈 것
모델이 VRAM에 다 안 들어가면 나머지가 CPU로 넘어갑니다. 이러면 속도가 급격히 느려집니다.
두번째! 생성 속도 20 tok/s 이상
사람이 눈으로 읽는 속도보다 빨라야 답답하지 않습니다.
세번째! 컨텍스트를 어디까지 늘릴 수 있는가
Gemma 4는 최대 26만 토큰까지 지원한다고 돼 있습니다.
하지만 그건 모델 스펙이지 제 그래픽카드 스펙이 아니죠.
컨텍스트가 넓어야 긴 문서를 넣거나 오래 대화할 수 있는데, 이게 전부 VRAM을 잡아먹습니다.
12GB로 실제로 어디까지 버티는지 확인해보겠습니다.
셋 다 통과하면 원활한 거고, 아니면 아닌 겁니다. 결과는 마지막에 정리하겠습니다.
올라마 설치
Ollama
Ollama is the easiest way to automate your work using open models, while keeping your data safe.
ollama.com
모델을 돌리는 방법은 여러 가지가 있는데, 그중 제일 간단한 올라마(Ollama)를 쓰겠습니다.
저는 Powershell에서
irm https://ollama.com/install.ps1 | iex이 명령어 사용해서 간단하게 바로 설치했습니다.
이 명령어는 홈페이지 가시면 바로 뜹니다!
모델 설치
ollama pull gemma4:12b
Gemma4 12b 모델 설치는 위 명령어로 바로 가능합니다.
올라마 설치 후 아래 사진처럼 명령어 입력해서 바로 모델 설치 가능!
명령어 한 줄이면 됩니다!
일단 대화부터
ollama run gemma4:12b이렇게 그래픽카드 VRAM에 모델을 올려서 바로 대화할 수 있습니다.
그런데 여기서 끝내면 안 되겠죠? 화면에 글자가 나온다고 해서 제대로 돌아가는 건 아니거든요.
아까 정한 기준 세 개를 하나씩 확인해보겠습니다.
첫번째, 진짜 GPU로 돌고 있나?
대화가 되니까 잘 돌아가는 줄 알았는데, 알고 보면 절반이 CPU로 새고 있는 경우가 많습니다.
ollama ps
채팅 창을 켜둔 채로 다른 PowerShell에서 ollama ps를 쳐봤습니다.
100% GPU. 모델이 통째로 VRAM에 들어갔다는 뜻입니다.
CPU로 새는 부분 없이 그래픽카드만으로 돌고 있습니다.
크기는 8.1GB. 12GB 중 4GB 가까이 남았습니다.
그리고 오른쪽 CONTEXT가 32768로 잡혀 있는데, 아무 설정도 안 했는데
3만 2천 토큰짜리 대화가 기본으로 가능하다는 얘기입니다.
첫번째 기준 통과입니다!
두번째, 속도는 얼마나 나오나
/set verbose를 켜면 응답마다 속도가 찍힙니다. 같은 질문을 3번 던져서 평균을 냈습니다.
같은 질문 "안녕? 네 이름은 뭐야" 로 3번 물어본 결과입니다!
슬라이드쇼로 3개 질문 결과 값 확인 가능합니다.
/clear로 대화 기록을 지우고, 매번 같은 조건에서 세 번 측정했습니다.
| 회차 | 생성속도 | 출력 토큰 | 총 소요 |
| 1 | 36.58 tok/s | 240 | 7.19초 |
| 2 | 36.25 tok/s | 515 | 14.86초 |
| 3 | 36.17 tok/s | 292 | 8.70초 |
| 평균 | 36.33 tok/s | 349 | 10.25초 |
평균 생성속도 36.33 tok/s 아주 좋죠?
두번째 기준도 통과입니다.
그런데 표를 다시 보면 이상한 게 있습니다.
생성 속도는 세 번 다 36 정도인데, 총 소요 시간은 7.19초, 14.86초, 8.70초로 두 배 넘게 차이납니다.
같은 질문을 대화 기록까지 지우고 물어봤는데도요.
출력 토큰을 보면 답이 나옵니다.
240개, 515개, 292개. 그런데 화면에 나온 답변은 세 번 다 두세 줄이 전부였습니다.
대부분이 답변이 아니라 생각에 쓰인 겁니다.
2회차를 보면 인사말 하나에 초안을 다섯 번 고쳐 씁니다.
"이건 너무 밋밋하다", "정확한데 좀 더 친근하게" 하면서요. 심지어 영어로 생각하고요.
1회차는 두 번만 고치고 끝냈고, 그래서 8초 빨랐습니다!
세번째, 컨텍스트는 어디까지 늘어날까?
ollama show gemma4:12b
눈에 걸리는 게 하나 있습니다. context length 262144
그런데 모델 파일만 7.4GB고, 제 카드는 12GB입니다.
컨텍스트를 늘리면 KV 캐시라는 게 VRAM을 추가로 잡아먹습니다.
대화 내용을 기억해두는 공간이라고 보면 됩니다.
그래서 컨텍스트를 키울수록 VRAM이 늘고, 12GB를 넘는 순간 CPU로 밀려나게 됩니다.
num_ctx 값을 두 배씩 올려가며 어디서 무너지는지 확인해봤습니다.
| 컨텍스트 | VRAM | PROCESSOR |
| 32K (기본) | 8.1 GB | 100% GPU |
| 64K | 8.1 GB | 100% GPU |
| 128K | 8.2 GB | 100% GPU |
| 256K (최대) | 9.9 GB | 29%/71% CPU/GPU |
128K까지는 멀쩡합니다. 그리고 최대치인 256K에서 무너졌습니다.
그런데 더 놀라운 건 VRAM 쪽입니다. 32K에서 128K로 컨텍스트를 네 배 늘렸는데 VRAM은
8.1GB에서 8.2GB, 겨우 100MB 늘었습니다. 보통은 컨텍스트에 비례해서 캐시가 커지는데 말이죠.
Gemma 계열이 메모리를 아끼는 구조로 설계돼서 그렇습니다.
모든 층이 대화 전체를 기억하는 게 아니라, 대부분은 최근 구간만 보고 나머지는 버립니다.
그래서 컨텍스트를 아무리 늘려도 캐시가 무한정 커지지 않습니다.
덕분에 12GB짜리 카드에서 13만 토큰을 GPU만으로 돌릴 수 있었습니다.
웬만한 문서 몇 개는 통째로 넣고 대화할 수 있는 양입니다.
256K에서는 9.9GB를 잡으면서 29%가 CPU로 밀려났습니다.
12GB인데 9.9GB에서 밀려난 게 이상해 보이지만, 표시되는 용량은 모델과 캐시만이고 실제 계산에 쓰는 임시 공간은 여기 안 잡힙니다. 올라마가 미리 계산해보고 안 되겠다 싶어 알아서 나눈 겁니다.
이 상태에서 속도를 재보니 18.77 tok/s. 아까 36.33과 비교하면 딱 절반입니다.
그런데 CPU로 넘어간 건 29%뿐입니다. 30%만 넘겼는데 속도는 50%를 잃은 거죠.
CPU가 맡은 부분을 계산하는 동안 GPU는 그냥 기다려야 하기 때문입니다. 조금만 넘쳐도 크게 손해라는 뜻입니다.
그리고 여기서 두 번째 기준이 같이 무너집니다. 제가 정한 합격선이 20 tok/s였는데, 18.77은 그 밑입니다.
컨텍스트를 무리하게 늘리면 CPU로 밀려나고, 밀려나면 속도가 반토막 나서, 결국 두 번째 기준까지 탈락합니다.
세번째 기준은 128K까지 가능!
스펙시트의 26만은 12GB 카드를 위한 숫자가 아니었습니다.
그래도 13만 토큰이면 나쁘지 않습니다.
한글로 치면 대략 책 한 권 분량이니까, 웬만한 문서 몇 개는 통째로 넣고 대화할 수 있는 셈이죠.
몇 년 전에 게임 하려고 산 그래픽카드 한 장으로 이 정도면 저는 충분히 만족스러웠습니다
결론: 기준 3개 중 3개 모두 통과!!
| 기준 | 결과 | 판정 |
| 첫번째, 100% GPU | 8.1GB로 전부 VRAM에 들어감! | 통과!! |
| 두번째, 20 tok/s 이상 | 36.33 tok/s | 통과!! |
| 세번째, 컨텍스트 한계 | 128K까지 | 통과!! |
결론부터 말하면, Gemma 4 12B는 3060 12GB에서 매우 잘 돌아갑니다.
세 기준 모두 아슬아슬하게 통과한 게 아닙니다. VRAM은 12GB 중 8.1GB만 썼고, 속도는 기준의 1.8배가 나왔고
컨텍스트는 스펙 최대치 바로 아래까지 버텼습니다.
어느 하나 억지로 맞춘 게 없습니다.
12GB짜리 카드를 위해 만든 모델이 아닌가 싶을 정도로 잘 맞습니다.
되는 것
- 모델이 통째로 VRAM에 들어갑니다. 12GB 중 8.1GB만 씁니다
- 초당 36토큰. 빠릅니다!
- 컨텍스트 13만 토큰. 문서 몇 개는 통째로 넣고 대화할 수 있습니다
- 컨텍스트를 네 배 늘려도 VRAM은 100MB밖에 안 늘었습니다
안 되는 것
- 스펙상 최대인 26만 토큰 안되는건 아니지만 CPU로 밀려나면서 속도가 절반으로 떨어집니다.
솔직히 말하면, 이런 모델을 Fable 5나 GPT-5.6 Sol 같은 것과 비교하면 급이 다릅니다.
너무 큰 기대는 하지 않는 게 좋습니다.
하지만 간단한 질문이나 문서 요약, 번역 정도라면 충분히 쓸 만했습니다.
무엇보다 인터넷 없이, 요금 걱정 없이, 내 컴퓨터 안에서 전부 돌아간다는 점이 재밌었습니다.
글에서 GLM 5.2를 돌리려면 데이터센터가 필요하다고 했는데, 데이터센터 없어도 이 정도는 되네요!