LLM 양자화 가이드 — 내 PC로 70B 모델 돌리기
LLM 양자화로 내 PC에서 70B 모델을 실행하는 방법을 정리했습니다. GGUF·GPTQ·AWQ 기법 비교, GPU별 모델 선택법, Ollama 실전 가이드까지 한 번에 안내합니다.
태그 둘러보기
로컬 LLM
1 기사
LLM 양자화로 내 PC에서 70B 모델을 실행하는 방법을 정리했습니다. GGUF·GPTQ·AWQ 기법 비교, GPU별 모델 선택법, Ollama 실전 가이드까지 한 번에 안내합니다.