안녕하세요. aivs입니다.
무엇을 다루나
AI 모델을 직접 써보고 기록하는 블로그입니다. 주로 이런 것들을 씁니다.
- 소비자용 그래픽카드로 로컬 LLM 돌려본 실측 기록
- VRAM, 생성 속도, 컨텍스트 한계 같은 실제 수치
- API 모델 비교와 사용 후기
- 로컬 실행에 필요한 하드웨어 정보
왜 쓰나
새 모델이 나올 때마다 “이거 내 컴퓨터에서 돌아가나?”가 궁금했습니다.
그런데 찾아보면 대부분 스펙 소개나 데이터센터급 환경 기준이었습니다.
VRAM 12GB짜리 그래픽카드 한 장으로 뭘 할 수 있는지, 어디서 한계가 오는지
직접 돌려보고 숫자로 남기기로 했습니다.
테스트 환경
- GPU: RTX 3060 12GB
- CPU: Ryzen 5 9600X
- RAM: 32GB
- SSD: 1TB
특별할 것 없는 개인용 데스크톱입니다. 그래서 오히려 참고가 될 거라
생각합니다.
원칙
- 직접 돌려보지 않은 건 쓰지 않습니다
- 측정한 숫자는 그대로 공개합니다. 실패한 결과도 포함해서요
- 안 되는 건 안 된다고 씁니다
연락
제안이나 질문은 문의 페이지를 통해 보내주세요.