올라마1 집 컴퓨터 3060 12GB로 로컬 LLM 돌려보기 (gemma4:12b) 요즘 AI 모델이 정말 많이 나옵니다.클로드는 Fable 5랑 Opus 5, OpenAI는 GPT-5.6 Sol, 중국 쪽에서는 Kimi K3랑 GLM 5.2까지 나왔죠. 이 중에 GLM 5.2는 이미 가중치가 공개돼 있고, K3도 곧 공개될 예정입니다.오픈웨이트라는 건 모델 파일을 그냥 다운받을 수 있다는 뜻입니다.즉, 이론상으로는 집에서 공짜로 돌릴 수 있다는 얘기죠.집에 데이터센터가 있다면요.농담처럼 들리지만 진짜입니다!! GLM 5.2는 4비트로 꽉 압축해도 376GB고, 이걸 돌리려면 H100 4장이 필요합니다.압축을 덜 하면 750GB가 넘어가서 H200 8장짜리 서버 한 대가 있어야 하고요.K3는 파라미터가 2.8조 개라 이보다 더 큽니다.제 컴퓨터에 꽂혀 있는 건 RTX 3060, VRAM.. 2026. 7. 26. 이전 1 다음
