LLM 양자화 가이드 — 내 PC로 70B 모델 돌리기

왜 지금 LLM 양자화인가

오픈소스 대형 언어 모델(LLM)의 성능이 매년 비약적으로 발전하고 있습니다. 2026년 여름 현재, 오픈소스 모델만으로도 클라우드 유료 API 못지않은 결과물을 얻을 수 있는 시대가 됐습니다. 자연스럽게 “내 PC에서 직접 돌려볼 수 없을까?”라는 질문이 나옵니다. 클라우드 구독료를 아끼고, 민감한 데이터가 외부로 나가지 않아 프라이버시도 지킬 수 있으니까요. 바로 이 욕구를 현실로 만들어 주는 핵심 기술이 LLM 양자화(Quantization)입니다.

그런데 막상 시도하면 벽에 부딪힙니다. 70B(700억 파라미터) 모델을 기본 정밀도(FP16)로 로드하려면 약 140GB의 GPU 메모리(VRAM)가 필요합니다. 시중에서 가장 고사양인 소비자용 GPU RTX 4090도 VRAM이 24GB에 불과하니, 일반 PC에서는 꿈도 꿀 수 없는 수치입니다. 양자화를 적용하면 70B 모델을 35~40GB 수준으로 압축할 수 있고, CPU와 GPU를 함께 활용하는 하이브리드 방식으로 일반 PC에서도 실행이 가능해집니다. 놀라운 건 이 과정에서 모델의 응답 품질이 크게 떨어지지 않는다는 점입니다.

이 글에서는 LLM 양자화의 기본 원리, 실전에서 가장 많이 쓰이는 3대 기법(GGUF, GPTQ, AWQ)의 차이, 내 PC 사양에 맞는 모델 선택법, 그리고 실제로 로컬 LLM을 띄우는 구체적인 방법까지 한 번에 다룹니다. 지금 바로 여러분의 PC에서 AI를 돌려 보세요.

LLM 양자화란 — 숫자 정밀도를 낮춰 모델을 가볍게

신경망의 숫자, 얼마나 정밀해야 할까

LLM의 핵심은 수십억 개의 가중치(weight)입니다. 모델이 학습하는 과정에서 이 가중치들은 보통 32비트 부동소수점(FP32) 숫자로 저장됩니다. FP32 하나가 4바이트를 차지하므로, 7B 모델은 약 28GB, 70B 모델은 약 280GB의 공간이 필요합니다. 학습 시에는 아주 미세한 기울기(gradient) 차이도 모델의 능력을 좌우하기 때문에 이 높은 정밀도가 반드시 필요합니다.

그런데 연구자들이 흥미로운 사실을 발견했습니다. 추론(inference) 단계, 즉 이미 학습이 끝난 모델로 답변을 생성할 때는 FP32 수준의 극도로 높은 정밀도가 필요하지 않다는 것입니다. 약간의 반올림이 최종 출력에 거의 영향을 미치지 않습니다. 이것이 양자화의 핵심 아이디어입니다. 고정밀 숫자(FP32, FP16)를 저정밀 숫자(INT8, INT4)로 변환해서, 모델의 메모리 사용량과 연산량을 대폭 줄이는 것이죠.

일상적인 비유로 설명하면 이렇습니다. 카메라로 찍은 RAW 사진(30MB)을 JPEG로 변환하면 3MB로 줄어들지만, 스마트폰 화면에서 보면 두 사진의 차이를 거의 느끼지 못합니다. LLM 양자화도 마찬가지입니다. “용도에 적합한 수준”으로 정밀도를 낮추면, 실사용 체감 품질은 유지하면서 모델의 크기를 극적으로 줄일 수 있습니다.

PTQ와 QAT — 양자화의 두 갈래

양자화의 구체적인 접근법은 크게 두 가지로 나뉩니다. PTQ(Post-Training Quantization, 학습 후 양자화)는 이미 학습이 끝난 모델을 사후에 양자화하는 방식입니다. 이 글에서 다루는 GGUF, GPTQ, AWQ가 모두 PTQ에 해당합니다. 별도의 재학습 없이 기존 모델을 압축할 수 있어서 비용이 적고, 누구나 접근할 수 있습니다.

반면 QAT(Quantization-Aware Training, 양자화 인지 학습)는 학습 단계부터 “이 모델은 나중에 양자화될 것”을 고려하면서 훈련하는 방식입니다. 양자화로 인한 오차를 학습 과정에서 미리 보상하므로 같은 비트 수에서 PTQ보다 더 높은 품질을 달성할 수 있지만, 학습 비용이 매우 높습니다. 일반 사용자 입장에서는 PTQ 기반으로 이미 양자화된 모델을 다운로드해서 쓰는 것이 현실적이며, 이 글에서도 PTQ에 집중합니다.

숫자 정밀도별 메모리 계산 — 얼마나 줄어들까

각 정밀도가 모델 크기에 어떤 영향을 미치는지 구체적인 숫자로 살펴보겠습니다. 가장 대중적인 7B(70억)와 70B(700억) 모델을 기준으로 합니다.

• FP32 (32비트 부동소수점): 파라미터당 4바이트. 7B = 28GB, 70B = 280GB. 학습 시 사용되는 기본값이지만 추론에는 과도한 정밀도입니다.
• FP16 / BF16 (16비트): 파라미터당 2바이트. 7B = 14GB, 70B = 140GB. 현재 대부분의 모델이 이 형태로 배포됩니다. FP32 대비 품질 차이는 사실상 없습니다.
• INT8 (8비트 정수): 파라미터당 1바이트. 7B = 7GB, 70B = 70GB. 품질 저하가 거의 없어 “안전한 양자화”로 불립니다.
• INT4 (4비트 정수): 파라미터당 0.5바이트. 7B = 3.5GB, 70B = 35GB. FP16 대비 크기가 4분의 1로 줄면서도 실사용에 충분한 품질을 유지합니다.
• INT2 (2비트): 파라미터당 0.25바이트. 아직 실험적 단계이며 품질 저하가 체감됩니다. 일반 사용에는 권장하지 않습니다.

여기서 반드시 알아야 할 주의점이 있습니다. 실제 실행 시에는 모델 가중치 외에도 추가 메모리가 필요합니다. 입력 텍스트의 컨텍스트를 저장하는 KV 캐시(컨텍스트 길이에 비례하여 증가), 중간 연산을 위한 활성화(activation) 메모리, 그리고 추론 프레임워크 자체의 오버헤드가 더해집니다. 경험적으로 가중치 크기의 1.2~1.5배 정도의 총 메모리 여유를 확보하는 것이 안정적인 운영의 기준입니다. 예를 들어, 가중치가 4.5GB인 7B Q4_K_M 모델은 실제로 5.5~7GB 정도의 VRAM을 사용한다고 보면 됩니다.

Q4_K_M, Q5_K_S — GGUF 양자화 레벨 읽는 법

Hugging Face나 Ollama에서 양자화 모델을 다운로드하면 Q4_K_M, Q5_K_S, Q8_0 같은 낯선 이름을 만나게 됩니다. 처음에는 암호처럼 보이지만, 명명 규칙을 알면 모델 선택이 훨씬 수월해집니다.

• Q 뒤의 숫자: 양자화 비트 수입니다. Q4 = 4비트, Q5 = 5비트, Q8 = 8비트. 숫자가 작을수록 더 많이 압축된 것입니다.
• K: K-Quant 방식을 뜻합니다. 모든 레이어를 똑같이 양자화하는 대신, 레이어별 중요도에 따라 서로 다른 비트 수를 적용합니다. 모델 출력에 큰 영향을 주는 레이어는 더 높은 정밀도를 유지하고, 영향이 적은 레이어는 과감하게 낮추는 영리한 전략입니다.
• S / M / L: Small / Medium / Large — 높은 정밀도를 유지하는 레이어의 비율을 나타냅니다. L로 갈수록 더 많은 레이어가 높은 정밀도를 유지하므로 파일 크기가 커지고 품질이 올라갑니다.

구체적으로 가장 인기 있는 Q4 계열을 비교하면 이렇습니다.

• Q4_K_S: 최소한의 레이어만 높은 정밀도 유지. Q4 중 가장 작은 파일 크기. VRAM이 정말 빠듯할 때 선택합니다.
• Q4_K_M: 중간 수준의 레이어 보존. 크기와 품질의 최적 균형점으로, 전 세계적으로 가장 많이 사용되는 양자화 레벨입니다.
• Q4_K_L: 더 많은 레이어를 높은 정밀도로 보존. Q4 계열 중 최고 품질이지만 파일도 가장 큽니다.

실무에서 압도적으로 인기 있는 조합은 단연 Q4_K_M입니다. “일단 양자화 모델을 써보고 싶다”면 Q4_K_M부터 시작하는 것을 추천합니다. 대부분의 사용자가 이 레벨에서 충분히 만족스러운 경험을 합니다.

GGUF vs GPTQ vs AWQ — 3대 LLM 양자화 기법 완전 비교

양자화 기법은 여러 가지가 있지만, 2026년 현재 실전에서 압도적으로 많이 쓰이는 세 가지를 집중 비교하겠습니다. 각 기법은 “어떤 하드웨어에서, 어떤 방식으로 양자화하느냐”에 따라 장단점이 뚜렷하게 갈립니다. 자신의 환경에 맞는 기법을 고르는 것이 첫걸음입니다.

GGUF — CPU에서도 돌아가는 만능 포맷

GGUF(GPT-Generated Unified Format)는 llama.cpp 프로젝트에서 탄생한 모델 포맷입니다. 로컬 LLM 생태계에서 가장 넓은 지지를 받고 있으며, 최대 장점은 하드웨어 호환성입니다.

장점:

• GPU 없이 CPU만으로도 추론 가능합니다. GPU가 없는 사무용 PC나 구형 노트북에서도 LLM을 실행할 수 있습니다.
• CPU+GPU 하이브리드 실행이 가능합니다. 모델의 일부 레이어를 GPU VRAM에, 나머지를 시스템 RAM에 분산 배치하여 VRAM이 부족해도 큰 모델을 실행할 수 있습니다. 예를 들어 24GB VRAM + 64GB RAM 조합이면, 70B Q4 모델도 돌릴 수 있습니다.
• Q2_K부터 Q8_0까지 세분화된 양자화 레벨을 자유롭게 선택할 수 있어서, 자신의 하드웨어 예산에 딱 맞는 모델을 고를 수 있습니다.
• macOS Metal(Apple Silicon), NVIDIA CUDA, Vulkan, OpenCL 등 다양한 GPU 가속 백엔드를 지원합니다.
• 단일 파일 포맷이라 다운로드 한 개면 끝. 배포와 관리가 극도로 간편합니다.

단점:

• GPU 전용 포맷(GPTQ, AWQ)과 비교하면, 같은 GPU에서 순수 추론 속도가 다소 낮을 수 있습니다.
• 동시에 여러 요청을 처리하는 배치(batch) 추론에는 최적화가 덜 되어, API 서버 운영에는 적합하지 않은 편입니다.

추천 상황: GPU가 없거나, VRAM이 부족해 모델 전체를 GPU에 올릴 수 없을 때. 다양한 모델을 간편하게 테스트해 보고 싶을 때. 개인 데스크탑이나 노트북에서 로컬 AI를 시작하는 대부분의 개인 사용자에게 첫 번째 선택지입니다.

GPTQ — GPU 전용 고품질 양자화

GPTQ(Generalized Post-Training Quantization)는 학습이 완료된 모델에 보정(calibration) 데이터셋을 사용해서 양자화 오차를 최소화하는 기법입니다. 단순히 숫자를 반올림하는 것이 아니라, 대표적인 텍스트 데이터를 모델에 통과시키면서 “어떻게 반올림해야 출력의 변화가 최소가 되는지”를 수학적으로 계산합니다. 이 보정 과정 덕분에 같은 비트 수에서 단순 양자화보다 높은 품질을 유지할 수 있습니다.

장점:

• 보정 기반 최적화로 같은 비트 수에서 높은 품질을 유지합니다. 특히 4비트 양자화에서 강점이 두드러집니다.
• NVIDIA GPU(CUDA)에서 빠른 추론 속도를 보여줍니다. 최적화된 GPU 커널 덕분입니다.
• Hugging Face Transformers, vLLM, text-generation-inference(TGI) 등 주요 Python ML 프레임워크와 안정적으로 통합됩니다.

단점:

• GPU(CUDA) 필수입니다. CPU만으로는 추론이 불가능합니다.
• 양자화 과정 자체에 보정 데이터셋과 GPU가 필요합니다. 다만, 이미 양자화된 모델을 Hugging Face에서 다운로드하면 이 단계를 건너뛸 수 있으므로, 대부분의 사용자에게는 문제가 되지 않습니다.
• GGUF와 달리 CPU+GPU 하이브리드 실행이 불가능해서, 모델 전체가 VRAM에 올라가야 합니다.

추천 상황: NVIDIA GPU를 보유하고 모델 전체를 VRAM에 올릴 수 있을 때. 서버나 워크스테이션에서 안정적이고 빠른 추론을 운영할 때. Python 기반 ML 파이프라인에 통합할 때.

AWQ — 속도와 품질의 최신 균형점

AWQ(Activation-aware Weight Quantization)는 “모든 가중치가 똑같이 중요하지는 않다”는 핵심 관찰에서 출발합니다. 모델에 실제 데이터가 흐를 때, 활성화(activation) 값이 유독 큰 특정 채널들이 있습니다. 이 채널들은 최종 출력에 대한 영향력이 크므로, 해당 채널의 가중치는 더 정밀하게 보존하고 나머지는 과감하게 양자화합니다. “중요한 것만 살리고 나머지는 과감히 줄인다”는 전략입니다.

장점:

• GPTQ 대비 양자화 과정 자체가 빠릅니다. 복잡한 보정 절차 대신, 활성화 분포 분석이라는 더 단순한 방법을 사용하기 때문입니다.
• 4비트 양자화에서 GPTQ와 동등하거나 일부 벤치마크에서 더 나은 품질을 보입니다.
• vLLM에서의 추론 속도가 특히 우수합니다. 다수의 동시 요청을 처리하는 서빙 환경에서 높은 처리량(throughput)을 달성합니다.
• 동일 정밀도에서 GPU 메모리 사용 효율이 높은 편입니다.

단점:

• GPU(CUDA) 필수입니다. CPU 추론을 지원하지 않습니다.
• GGUF만큼 폭넓은 도구 생태계를 갖추고 있지는 않습니다. 다만 빠르게 개선되고 있으며, 주요 프레임워크에서의 지원은 이미 안정적입니다.
• GPTQ에 비해 역사가 짧아, 일부 특수한 모델 아키텍처에서의 검증 사례가 적을 수 있습니다.

추천 상황: GPU 서빙 환경에서 동시 처리량을 극대화하고 싶을 때. 최신 모델을 빠르게 양자화해서 프로덕션에 배포할 때. vLLM 기반 API 서버를 운영할 때.

세 기법 한눈에 비교

세 기법의 핵심 차이를 항목별로 정리하면 다음과 같습니다.

하드웨어 유연성:

• GGUF: CPU 단독 실행 가능, CPU+GPU 하이브리드 가능, Apple Silicon Metal 가속 지원, Vulkan/OpenCL 지원
• GPTQ: NVIDIA GPU(CUDA) 필수. AMD ROCm 일부 지원.
• AWQ: NVIDIA GPU(CUDA) 필수

추론 속도 (동일 GPU 기준):

• GGUF: 중간 수준. GPU 전용 최적화가 다른 두 기법보다 약간 부족합니다.
• GPTQ: 빠름. 최적화된 CUDA 커널이 잘 갖춰져 있습니다.
• AWQ: 가장 빠름. 특히 vLLM과 조합할 때 최고의 토큰 생성 속도를 보여줍니다.

양자화 품질 (4비트 기준):

• GGUF (K-Quant): 좋음. 레이어별 차등 양자화(K-Quant)가 단순 반올림보다 확연히 우수합니다.
• GPTQ: 매우 좋음. 보정 데이터 기반 최적화의 효과가 큽니다.
• AWQ: 매우 좋음. 활성화 기반 중요 채널 보존 전략이 효과적입니다.

주요 생태계 도구:

• GGUF: llama.cpp, Ollama, LM Studio, koboldcpp, GPT4All
• GPTQ: Hugging Face Transformers, vLLM, AutoGPTQ, ExLlamaV2
• AWQ: vLLM, TGI(Text Generation Inference), AutoAWQ

결론적으로, 개인 PC 사용자라면 GGUF가 가장 접근성이 높습니다. NVIDIA GPU 서버를 운영하는 환경이라면 AWQ나 GPTQ가 더 효율적입니다. “어떤 걸 골라야 할지 모르겠다”면 일단 GGUF부터 시작하세요. 나중에 GPU 전용 포맷으로 전환하는 것은 언제든 가능합니다.

양자화 모델, 어디서 구하나

좋은 소식은 직접 양자화할 필요가 거의 없다는 것입니다. 커뮤니티에서 이미 다양한 양자화 버전을 제공하고 있어, 다운로드만 하면 바로 사용할 수 있습니다.

• Ollama 모델 라이브러리: ollama.com의 모델 라이브러리에서 인기 모델을 태그 하나로 바로 실행할 수 있습니다. 가장 간편한 방법입니다. 예를 들어 ollama run llama3.1:8b 한 줄이면 다운로드부터 실행까지 자동입니다.
• Hugging Face: 세계 최대의 모델 허브입니다. 검색 필터에서 “GGUF”, “GPTQ”, “AWQ” 키워드를 사용하면 원하는 양자화 포맷의 모델을 바로 찾을 수 있습니다. 모델 카드에서 양자화 레벨별 벤치마크 점수와 파일 크기를 비교할 수 있어 선택에 도움이 됩니다.
• 커뮤니티 양자화 제공자: bartowski, mradermacher 같은 커뮤니티 기여자들이 새 모델이 출시될 때마다 다양한 양자화 버전을 신속하게 올리고 있습니다. Hugging Face에서 이들의 이름으로 검색하면 방대한 양자화 모델 목록을 볼 수 있습니다.

내 PC 사양별 최적 모델 선택 가이드

“내 그래픽카드로 어떤 모델까지 돌릴 수 있나요?” 로컬 LLM을 시작하려는 분들이 가장 많이 하는 질문입니다. 답은 VRAM(비디오 메모리) 용량에 달려 있습니다. 아래 가이드는 GGUF 포맷(Q4_K_M 기준) + Ollama 또는 llama.cpp 환경을 기준으로 하며, KV 캐시와 프레임워크 오버헤드를 포함한 실사용 기준입니다.

NVIDIA GPU별 권장 조합

VRAM 6GB (RTX 2060, GTX 1660 Super)

• 3B~4B 모델 Q4_K_M — 쾌적하게 실행됩니다. 간단한 질의응답, 짧은 번역, 요약 등에 적합합니다.
• 7B Q3_K_S (~3GB 가중치) — 실행은 가능하지만 KV 캐시 여유가 부족해 긴 대화에는 적합하지 않습니다. 컨텍스트를 2048 토큰 이하로 제한하는 것이 안정적입니다.

VRAM 8GB (RTX 3060 8GB, RTX 4060, RTX 4060 Ti 8GB)

• 7B Q4_K_M (~4.5GB 가중치) — 가장 인기 있는 조합입니다. 넉넉한 여유 VRAM 덕분에 4096~8192 토큰의 긴 컨텍스트도 안정적으로 처리합니다. 입문자에게 가장 추천하는 출발점입니다.
• 7B Q5_K_M (~5.5GB) — 더 나은 품질을 원할 때. 여전히 여유 VRAM이 충분합니다.
• 13B Q3_K_S (~6.5GB) — 빠듯하지만 실행 가능합니다. 더 큰 모델의 지식량이 필요할 때 시도해 볼 수 있습니다.

VRAM 12GB (RTX 3060 12GB, RTX 4070, RTX 4070 Super)

• 13B Q4_K_M (~8.5GB) — 쾌적합니다. 7B 대비 눈에 띄는 품질 향상을 체감할 수 있으며, 복잡한 질문에도 더 정확한 답변을 줍니다.
• 7B Q8_0 (~8GB) — 7B 모델의 최고 품질 양자화. 양자화로 인한 품질 손실을 최소화하고 싶을 때.
• 34B 모델 — GPU에 일부 레이어만 올리는 하이브리드 방식으로 실행 가능합니다. GPU 레이어 20~25개 + 나머지 CPU로 분산하면 됩니다.

VRAM 16GB (RTX 4070 Ti, RTX 4080 12GB/16GB, RTX 5060 Ti)

• 13B Q5_K_M (~10GB) — 고품질로 쾌적하게 사용할 수 있습니다.
• 34B Q4_K_M (~20GB 가중치) — GPU에 대부분의 레이어를 올리고 나머지를 CPU에 분산하는 하이브리드가 효과적입니다.
• 70B Q2_K — 실행은 가능하지만 품질 타협이 큽니다. 이 조합보다는 34B Q4를 권장합니다.

VRAM 24GB (RTX 3090, RTX 4090, RTX 5090)

• 34B Q5_K_M (~25GB) — 거의 전체가 GPU에 올라가 매우 쾌적합니다. 속도와 품질 모두 만족스러운 조합입니다.
• 70B Q4_K_M (~42GB 가중치) — GPU에 35~40개 레이어를 올리고 나머지를 RAM에 배치하는 하이브리드. 시스템 RAM이 64GB 이상이어야 안정적입니다. GPU에 올라간 레이어가 많을수록 속도가 빨라집니다.
• 13B Q8_0 (~14GB) — 13B의 최고 품질 + 넉넉한 컨텍스트 여유. 단일 모델로 다양한 작업을 커버하고 싶을 때.

GPU 없이 CPU만으로

GGUF 포맷의 가장 큰 장점 중 하나는 GPU 없이 CPU + 시스템 RAM만으로도 LLM을 실행할 수 있다는 것입니다. 속도는 GPU 대비 상당히 느리지만, “내 노트북에서도 AI를 돌릴 수 있다”는 것 자체가 의미 있습니다. 인터넷 연결 없이도 작동하므로, 비행기 안이나 보안이 엄격한 환경에서 특히 유용합니다.

• RAM 16GB: 7B Q4_K_M — 초당 약 5~10토큰 생성. 질문 하나에 대한 답변이 30초~1분 정도 걸립니다.
• RAM 32GB: 13B Q4_K_M — 초당 약 3~7토큰. 느리지만 의미 있는 품질의 답변을 받을 수 있습니다.
• RAM 64GB: 34B Q4_K_M — 초당 약 2~5토큰. 대기 시간이 길지만, 오프라인에서도 고성능 모델을 활용할 수 있습니다.

CPU 추론은 “즉각적인 대화”보다는 “시간이 걸려도 반드시 로컬에서 처리해야 하는 작업”에 적합합니다. 민감한 문서 요약, 사내 데이터 분석, 오프라인 코드 리뷰 등이 대표적인 활용 사례입니다. CPU 코어 수가 많을수록, 그리고 메모리 대역폭이 높을수록(DDR5 > DDR4) 속도가 향상됩니다.

Apple Silicon — 통합 메모리의 압도적 강점

Apple Silicon(M1/M2/M3/M4 시리즈) Mac은 로컬 LLM에 특히 유리한 하드웨어입니다. CPU와 GPU가 같은 메모리 풀(통합 메모리, Unified Memory)을 공유하므로, 일반 PC처럼 “VRAM”이라는 별도의 제한에 막히지 않습니다. 전체 RAM이 곧 GPU가 사용할 수 있는 메모리입니다. 이 구조적 장점 덕분에 같은 RAM 용량의 Windows PC보다 더 큰 모델을 더 쾌적하게 실행할 수 있습니다.

• M1/M2 8GB: 7B Q4 — Metal 가속으로 초당 15~20토큰. 일상 대화와 간단한 작업에 충분합니다.
• M1/M2 Pro 16~32GB: 13B~34B Q4 — 쾌적한 성능으로 대부분의 작업을 커버합니다.
• M3/M4 Pro 18~36GB: 34B Q4~Q5 — 뛰어난 성능에 배터리 효율까지 우수합니다.
• M2/M3/M4 Max 64~128GB: 70B Q4~Q5 — 데스크탑급 대형 모델을 노트북에서 실행하는 놀라운 경험. 이 조합이면 FP16에 가까운 고품질 양자화도 가능합니다.

실전 예시 — RTX 4060 8GB로 코딩 보조 모델 고르기

예를 들어, RTX 4060(8GB VRAM)으로 코딩 보조 AI를 돌리고 싶다고 가정해 봅시다. 앞에서 정리한 기준을 적용하면 이렇게 됩니다.

• VRAM 8GB → 7B Q4_K_M(~4.5GB) 또는 7B Q5_K_M(~5.5GB) 실행 가능
• 코딩 보조 용도 → 정밀도에 민감하므로 Q5 이상 권장
• 결론: 코딩 특화 모델의 7B Q5_K_M이 가장 적합합니다.

Ollama에서는 한 줄이면 바로 시작할 수 있습니다. VRAM이 넉넉하게 남으므로 4096 토큰 이상의 긴 코드 파일을 컨텍스트에 넣어도 안정적으로 동작합니다. 코드 완성, 리팩터링 제안, 버그 탐색 등을 로컬에서 무료로, 프라이버시 걱정 없이 활용할 수 있습니다.

실전 — 5분 만에 로컬 LLM 띄우기

이론은 충분합니다. 실제로 내 PC에서 양자화 모델을 실행해 봅시다. 가장 간편한 도구부터 고급 옵션까지 순서대로 소개합니다.

Ollama — 가장 쉬운 시작점

Ollama는 로컬 LLM의 “Docker”라고 불릴 만큼 간편한 도구입니다. 복잡한 환경 설정 없이, 설치 후 터미널에서 명령어 한 줄이면 모델 다운로드부터 실행까지 자동으로 처리됩니다.

시작 방법(3단계):

• 1단계: ollama.com에서 자신의 OS(Windows/macOS/Linux)에 맞는 설치 파일을 다운로드하고 설치합니다.
• 2단계: 터미널(Windows의 경우 PowerShell)을 열고 ollama run llama3.1:8b 를 입력합니다.
• 3단계: 모델이 자동 다운로드되고(첫 실행 시에만), 곧바로 대화형 프롬프트가 열립니다. 이것으로 끝입니다.

Ollama의 핵심 장점:

• OpenAI 호환 API 서버 내장: 설치 즉시 http://localhost:11434 에서 OpenAI 포맷의 API가 열립니다. 기존에 OpenAI API를 사용하던 앱이나 플러그인의 엔드포인트만 바꾸면 로컬 모델로 자연스럽게 전환할 수 있습니다. 비용 0원으로 ChatGPT 대체제를 구축하는 셈입니다.
• GPU를 자동으로 감지하고, VRAM 용량에 맞춰 레이어를 GPU와 CPU에 자동 분배합니다. 수동 설정이 필요 없습니다.
• 모델 라이브러리에서 다양한 인기 모델을 태그 하나로 즉시 실행할 수 있습니다.
• Windows, macOS, Linux를 모두 공식 지원합니다.

LM Studio — GUI로 편하게

명령줄이 부담스럽다면 LM Studio가 좋은 대안입니다. 그래픽 인터페이스에서 Hugging Face의 모델을 검색하고, 클릭 한 번으로 다운로드한 뒤, 바로 채팅 화면에서 테스트할 수 있습니다.

LM Studio의 가장 강력한 기능은 모델 비교입니다. 두 개의 모델(예: 7B Q4 vs 13B Q3)을 나란히 배치하고 같은 프롬프트에 대한 응답을 비교할 수 있어서, 내 용도에 가장 맞는 모델을 직접 눈으로 확인하며 고를 수 있습니다. temperature, top_p, repetition_penalty 같은 생성 파라미터도 슬라이더로 조정 가능합니다. 양자화 레벨별 품질 차이를 직접 체험해 보고 싶다면 LM Studio가 가장 편리합니다.

llama.cpp — 세밀한 성능 튜닝이 필요하다면

llama.cpp는 GGUF 포맷의 원류이자, 가장 세밀한 성능 제어가 가능한 도구입니다. C/C++로 작성되어 순수 성능이 뛰어나며, Python 의존성 없이 실행됩니다. 소스에서 직접 빌드해야 하는 초기 진입 장벽이 있지만, 그만큼 하드웨어를 극한까지 활용할 수 있습니다.

GPU에 올릴 레이어 수(-ngl 옵션), 컨텍스트 길이(-c), CPU 스레드 수(-t), 배치 크기(-b) 등을 직접 지정할 수 있어서, 특히 VRAM이 빠듯한 환경에서 “딱 내 하드웨어에 최적화된” 설정을 찾을 수 있습니다. Ollama도 내부적으로 llama.cpp 엔진을 사용하지만, 이런 세부 파라미터를 직접 제어하고 싶을 때는 llama.cpp를 직접 쓰는 것이 유리합니다.

API 서빙 — vLLM과 TGI

로컬 LLM을 팀 내 공유 API 서버로 운영하면서 다수의 클라이언트 요청을 동시에 처리하려면 vLLM이 최선의 선택입니다. PagedAttention(메모리 효율적 어텐션 관리), Continuous Batching(동적 배치 처리) 등 서빙에 최적화된 기술을 적용해 단일 GPU에서 높은 동시 처리량을 달성합니다. GPTQ와 AWQ 양자화 모델과의 궁합이 특히 좋습니다.

Hugging Face의 TGI(Text Generation Inference)도 비슷한 목적의 서빙 프레임워크입니다. Docker 기반 배포가 간편하고, Hugging Face 생태계와의 통합이 자연스럽습니다. 두 도구 모두 NVIDIA GPU 전용이며, 설정이 Ollama보다 복잡하므로 개인 사용보다는 팀/조직 단위 운영에 더 적합합니다.

양자화 품질, 어디까지 괜찮을까

“양자화하면 모델이 바보가 되지 않을까?” 가장 흔한 걱정이고, 가장 합리적인 질문이기도 합니다. 결론부터 말하면, 적절한 양자화 레벨을 선택하면 실사용에서 FP16 원본과의 차이를 느끼기 어렵습니다. 다만 “적절한 레벨”이 작업에 따라 다르므로, 구체적으로 살펴보겠습니다.

벤치마크로 보는 품질 변화

다양한 연구와 커뮤니티의 반복적인 테스트에서 확인된 패턴을 정리합니다. 아래 수치는 MMLU(상식·지식), HellaSwag(언어 이해), ARC(추론), HumanEval(코드 생성) 등 주요 벤치마크의 평균적인 경향입니다. 개별 모델과 벤치마크에 따라 편차가 있으므로, 대략적인 가이드라인으로 참고하세요.

• FP16 → Q8_0: 거의 모든 벤치마크에서 1% 미만 차이. 사실상 무손실로 간주됩니다. VRAM이 넉넉하다면 가장 안전한 선택입니다.
• FP16 → Q6_K: 1~2% 차이. 매우 높은 품질을 유지하면서도 크기를 상당히 줄입니다.
• FP16 → Q5_K_M: 2~3% 차이. 일상적인 사용에서 품질 저하를 체감하기 어렵습니다. 품질과 크기의 우수한 균형점입니다.
• FP16 → Q4_K_M: 3~5% 차이. 일상 대화, 번역, 요약 등에서는 구분이 불가능한 수준이며, 복잡한 수학 문제나 다단계 논리 추론에서 간헐적으로 미세한 차이가 나타날 수 있습니다. 대다수 사용자에게 최적의 선택지입니다.
• FP16 → Q3_K_M: 5~10% 차이. 단순한 질의응답은 여전히 충분하지만, 복잡한 작업에서 품질 저하가 체감됩니다. VRAM이 정말 부족할 때의 차선책입니다.
• FP16 → Q2_K: 10~20% 차이. 품질 저하가 뚜렷합니다. 극한의 메모리 절약이 아니라면 피하는 것이 좋습니다.

용도별 권장 양자화 레벨

모든 작업에 같은 양자화 레벨이 최선은 아닙니다. 작업의 특성에 따라 양자화에 대한 민감도가 다르기 때문입니다.

• 일상 대화 / 챗봇: Q4_K_M이면 충분합니다. 자연어 대화는 양자화에 가장 강건한 영역입니다. 약간의 표현 변화가 대화의 질을 유의미하게 떨어뜨리지 않습니다.
• 번역: Q4_K_M ~ Q5_K_S. 이메일이나 블로그 글의 일상적인 번역은 Q4로 충분합니다. 계약서, 의학 문서, 법률 텍스트 같은 전문 번역에서는 Q5 이상이 오역 위험을 줄여 줍니다.
• 코딩 보조: Q5_K_M 이상 권장. 코드 생성은 정밀도에 매우 민감한 영역입니다. 변수명 한 글자, 괄호 하나의 차이가 컴파일 에러나 논리적 버그로 이어질 수 있습니다.
• 창작 / 글쓰기: Q5_K_M 이상. 문학적 표현의 다양성, 미묘한 감정 뉘앙스, 문체의 일관성 등은 높은 정밀도에서 더 잘 유지됩니다.
• 데이터 분석 / 논리 추론 / 수학: Q6_K 이상. 다단계 논리 체인과 수치 계산은 양자화의 영향을 가장 크게 받는 영역입니다. 정밀도가 낮으면 추론 과정 중간에 오류가 누적될 수 있습니다.

더 큰 모델의 Q4 vs 더 작은 모델의 Q8 — 어느 쪽이 나을까

같은 VRAM 예산에서 자주 등장하는 고민입니다. “7B Q8이 나을까, 13B Q4가 나을까?” 둘 다 약 8GB의 VRAM을 사용합니다.

일반적인 경험 법칙: 더 큰 모델의 Q4가 더 작은 모델의 Q8보다 대부분의 작업에서 우수합니다. 그 이유는 간단합니다. 모델 크기(파라미터 수)를 늘리면 벤치마크 점수가 10~20% 이상 올라가는 반면, Q8에서 Q4로 양자화하면 3~5%만 떨어집니다. 투자 대비 수익이 압도적으로 모델 크기 쪽에 유리한 것입니다.

직관적으로 비유하면 이렇습니다. 더 크고 지식이 풍부한 사람이 약간 성의 없이 말하는 것(큰 모델 Q4)이, 작고 지식이 제한된 사람이 최선을 다해 말하는 것(작은 모델 Q8)보다 대개 더 유용한 답을 줍니다.

물론 예외가 있습니다. 특히 코딩처럼 정밀도에 극도로 민감한 작업에서는, 작은 모델의 Q8이 큰 모델의 Q3~Q4보다 더 정확한 코드를 생성하는 경우도 있습니다. 또한 특정 모델 계열이 특정 작업에 특화되어 있다면(예: 코딩 특화 7B vs 범용 13B), 파라미터 수만으로 판단하기 어렵습니다. 가장 확실한 방법은 자신의 실제 작업으로 두 모델을 직접 비교해 보는 것입니다. LM Studio를 사용하면 같은 프롬프트에 대한 두 모델의 응답을 나란히 비교할 수 있어 매우 편리합니다.

마무리 — 로컬 AI 시대, 양자화가 열쇠다

2026년 여름, 로컬 LLM 생태계는 그 어느 때보다 성숙해졌습니다. LLM 양자화 기술의 눈부신 발전 덕분에, 몇백 달러짜리 그래픽카드로도, 심지어 GPU 없는 노트북으로도 수십억 파라미터의 대형 언어 모델을 내 손 안에서 실행할 수 있게 되었습니다.

이 글의 핵심을 다시 한번 정리합니다.

• 양자화는 모델 가중치의 숫자 정밀도를 낮춰 크기와 연산량을 줄이는 핵심 기술입니다. FP16 대비 4분의 1 크기로 줄여도 실사용 품질은 충분히 유지됩니다.
• GGUF는 CPU+GPU 하이브리드의 범용성에, GPTQ와 AWQ는 GPU 전용 고속 추론에 각각 강점이 있습니다.
• Q4_K_M이 파일 크기와 응답 품질의 최적 균형점이며, 대부분의 일상 작업에 부족함이 없습니다.
• 같은 VRAM 예산이면 큰 모델 Q4가 작은 모델 Q8보다 일반적으로 더 나은 결과를 보여줍니다.
• Ollama를 설치하면 명령어 한 줄로 5분 안에 로컬 LLM을 시작할 수 있습니다.

클라우드 API 비용이 부담되거나, 민감한 데이터의 프라이버시가 중요하거나, 비행기 안처럼 인터넷 없는 환경에서도 AI를 활용하고 싶다면 — 양자화된 로컬 LLM이 바로 그 답입니다. 여러분의 PC는 이미 충분히 강력합니다. 오늘 Ollama를 설치하고, 첫 로컬 AI와 대화를 시작해 보세요.

자주 묻는 질문

70B LLM 모델을 내 PC에서 돌리려면 VRAM이 얼마나 필요한가요?

70B 모델을 기본 정밀도(FP16)로 로드하면 약 140GB의 VRAM이 필요하지만, 양자화를 적용하면 35~40GB 수준으로 압축할 수 있습니다. 이 경우 CPU와 GPU를 함께 활용하는 하이브리드 방식으로 RTX 4090(24GB) 같은 소비자용 GPU가 장착된 일반 PC에서도 실행이 가능해집니다.

LLM 양자화하면 모델 성능이 많이 떨어지나요?

양자화를 적용해도 모델의 응답 품질이 크게 떨어지지 않습니다. 이미 학습이 끝난 모델로 답변을 생성하는 추론 단계에서는 FP32 수준의 극도로 높은 정밀도가 필요하지 않으며, 약간의 반올림이 최종 출력에 거의 영향을 미치지 않기 때문입니다. RAW 사진을 JPEG로 변환해도 스마트폰에서 차이를 느끼기 어려운 것과 같은 원리입니다.

GGUF, GPTQ, AWQ 양자화 방식의 차이점은 무엇인가요?

GGUF, GPTQ, AWQ는 모두 학습 후 양자화(PTQ) 방식에 해당하며, 이미 학습이 끝난 모델을 사후에 양자화합니다. 별도의 재학습 없이 기존 모델을 압축할 수 있어 비용이 적고 누구나 접근할 수 있다는 공통점이 있으며, 실전에서 가장 많이 쓰이는 3대 기법입니다.

---