LLM 파인튜닝 실전 5단계 — 2026 LoRA 완벽 가이드

범용 LLM을 업무에 도입해 보신 적 있으신가요? 처음에는 놀라운 결과물에 감탄하다가도, 시간이 지나면 아쉬운 점들이 하나둘 눈에 들어오기 시작합니다. 우리 회사만의 전문 용어를 정확하게 이해하지 못하거나, 원하는 톤과 형식을 매번 긴 프롬프트로 설명해 줘야 하거나, 특정 도메인의 미묘한 맥락을 반복적으로 놓치는 상황 말입니다. 프롬프트를 아무리 정교하게 다듬어도 해결되지 않는 이런 근본적인 한계, 어떻게 넘을 수 있을까요? 바로 LLM 파인튜닝이 그 답입니다.

파인튜닝은 이미 방대한 데이터로 사전학습된 범용 모델을 가져와서, 내가 가진 데이터로 추가 학습시켜 특정 작업이나 도메인에 특화된 모델로 만드는 과정입니다. 마치 의대를 졸업한 일반의가 레지던트 수련 과정을 거쳐 전문의가 되는 것과 비슷합니다. 기본 의학 지식은 그대로 유지하면서, 심장외과나 피부과 같은 특정 분야에서의 판단력과 정확도가 비약적으로 높아지는 거죠.

2026년 여름 현재, 파인튜닝을 둘러싼 환경은 불과 2~3년 전과는 완전히 달라졌습니다. LoRA(Low-Rank Adaptation)와 QLoRA 같은 효율적 학습 기법 덕분에 소비자용 GPU 한 장으로도 수백억 파라미터 모델을 파인튜닝할 수 있게 되었고, Hugging Face의 오픈소스 생태계는 코드 몇 줄로 학습을 시작할 수 있을 만큼 성숙해졌습니다. 더 이상 구글이나 메타 같은 대형 AI 연구소만의 영역이 아닙니다. 이 글에서는 LLM 파인튜닝의 핵심 원리부터, 프롬프트 엔지니어링·RAG와의 전략적 비교, 핵심 기법인 LoRA·QLoRA의 작동 원리, 그리고 실전에서 바로 적용할 수 있는 5단계 워크플로까지 체계적으로 안내합니다.

LLM 파인튜닝, 정확히 무엇이 일어나는 걸까

파인튜닝을 제대로 활용하려면, 먼저 LLM이 어떻게 만들어지는지 큰 그림을 이해할 필요가 있습니다. LLM의 생애는 크게 두 단계로 나뉘는데요, 바로 사전학습(Pre-training)과 파인튜닝(Fine-tuning)입니다.

사전학습 — 세상의 언어를 배우는 단계

사전학습은 인터넷에서 수집한 수조 개의 텍스트 토큰을 모델에 학습시키는 단계입니다. 이 과정에서 모델은 언어의 문법 구조, 상식적 지식, 논리적 추론 패턴, 세계에 대한 광범위한 지식 등을 습득합니다. GPT 시리즈, LLaMA, Mistral 같은 모델들이 놀라울 정도로 똑똑한 이유는, 이 사전학습 단계에서 인류가 쌓아온 방대한 텍스트 지식을 흡수했기 때문입니다.

문제는 이 과정에 드는 비용입니다. 사전학습에는 수천 대의 고성능 GPU가 수 주에서 수 개월 동안 풀가동해야 합니다. 비용은 모델 규모에 따라 수백만 달러에서 수천만 달러에 달하며, 학습 데이터의 수집과 정제에도 별도의 막대한 인프라가 필요합니다. 당연히 개인이나 일반 기업이 밑바닥부터 시작할 수 있는 영역이 아닙니다.

파인튜닝 — 전문가로 특화시키는 단계

파인튜닝은 이미 사전학습이 완료된 모델, 즉 베이스 모델(Base Model)을 출발점으로 삼습니다. 이 베이스 모델에 내가 원하는 도메인의 데이터를 추가로 학습시켜서, 특정 작업에서의 성능을 끌어올리는 과정이죠. 사전학습에서 축적한 방대한 기본 역량은 고스란히 유지되면서, 새로운 전문 지식과 행동 패턴이 자연스럽게 덧입혀집니다.

구체적으로 파인튜닝 과정에서 모델에는 이런 변화들이 일어납니다.

• 도메인 지식 주입: 의학, 법률, 금융, 제조업 등 특정 분야의 전문 용어, 핵심 개념, 판단 기준을 새롭게 습득합니다. 예를 들어 법률 문서에 파인튜닝된 모델은 “과실상계”, “채무불이행” 같은 용어를 정확한 맥락에서 사용할 수 있게 됩니다.
• 출력 형식 학습: JSON, 마크다운 표, 특정 보고서 양식 등 원하는 출력 포맷을 프롬프트 지시 없이도 일관되게 생성합니다.
• 톤과 스타일 내재화: 격식체, 친근한 구어체, 기술 문서의 건조한 문체 등 원하는 어조를 모델이 기본 행동으로 받아들입니다.
• 작업 정확도 향상: 감성 분석, 요약, 번역, 코드 생성, 분류 등 특정 작업에서의 정확도와 신뢰도가 집중적으로 높아집니다.

핵심은 이 모든 것이 사전학습에 비해 훨씬 적은 데이터와 컴퓨팅 자원으로 가능하다는 점입니다. 사전학습이 수조 토큰과 수천 GPU를 요구한다면, 파인튜닝은 수천~수만 개의 고품질 예시와 GPU 1~8대로도 충분한 경우가 대부분입니다.

SFT와 RLHF — 파인튜닝의 대표적 방식

파인튜닝은 목적과 방법론에 따라 다시 세분화됩니다. 실무에서 가장 많이 마주치는 두 가지를 알아두면 좋습니다.

SFT(Supervised Fine-Tuning, 지도 파인튜닝)는 “질문-답변” 또는 “명령-수행” 형태의 데이터 쌍으로 모델을 학습시키는 가장 기본적인 방식입니다. Instruction Tuning이라고도 불리며, 우리가 일상적으로 사용하는 챗봇형 AI가 자연스럽게 대화하는 것도, 사전학습 후 이 SFT 과정을 거쳤기 때문입니다. 실무에서 “파인튜닝”이라 하면 거의 대부분 이 SFT를 가리킵니다.

RLHF(Reinforcement Learning from Human Feedback)와 이를 단순화한 DPO(Direct Preference Optimization)는 사람의 선호도 피드백을 학습에 반영하는 고급 기법입니다. 두 개의 응답 중 어느 것이 더 나은지 사람이 판단한 데이터를 사용해, 모델이 더 유용하고, 안전하고, 정확한 답변을 생성하도록 정렬(align)합니다. 구현 복잡도가 SFT보다 높지만, DPO의 등장으로 진입 장벽이 상당히 낮아졌습니다. 그래도 대부분의 실무 파인튜닝 프로젝트에서는 SFT로 충분한 성과를 얻을 수 있으므로, 우선 SFT에 집중하는 것을 추천합니다.

프롬프트 엔지니어링 vs RAG vs LLM 파인튜닝 — 언제 무엇을 선택할까

LLM의 성능을 높이는 방법은 파인튜닝만 있는 것이 아닙니다. 프롬프트 엔지니어링과 RAG(Retrieval-Augmented Generation)도 매우 강력한 도구입니다. 실무에서는 이 세 가지 접근법을 정확히 이해하고, 상황에 맞게 선택하거나 조합하는 것이 핵심입니다.

프롬프트 엔지니어링 — 모델은 그대로, 질문을 바꾼다

프롬프트 엔지니어링은 모델 자체를 전혀 건드리지 않고, 입력하는 프롬프트(지시문)를 정교하게 설계해서 원하는 결과를 이끌어내는 방법입니다. 시스템 프롬프트에 역할과 규칙을 상세히 명시하거나, 몇 가지 예시를 함께 제공하는 Few-shot Learning, 또는 Chain-of-Thought 같은 단계별 추론 유도 기법을 적용하는 식이죠.

적합한 상황: 범용 모델이 이미 기본적으로 잘 아는 영역에서, 출력 형식이나 톤만 약간 조정하면 되는 경우에 가장 효과적입니다. 프로토타이핑 단계에서 빠르게 가능성을 확인하고 싶을 때, 또는 모델에게 보여줄 예시 데이터가 프롬프트 길이 안에 충분히 들어갈 정도로 적을 때 최적의 선택입니다.

한계: 컨텍스트 윈도우 크기에 제약을 받습니다. 매 요청마다 긴 시스템 프롬프트를 반복 전송해야 하므로 토큰 비용과 지연 시간이 계속 누적됩니다. 그리고 모델이 근본적으로 알지 못하는 도메인 지식은, 아무리 프롬프트를 잘 짜도 해결이 안 됩니다.

RAG — 외부 지식을 실시간으로 주입한다

RAG는 사용자의 질문과 관련된 문서를 벡터 데이터베이스 등에서 검색해서, 그 내용을 프롬프트에 첨부한 뒤 모델에게 답변을 생성하게 하는 방식입니다. 모델이 학습하지 않은 최신 정보나 사내 문서의 내용까지 실시간으로 활용할 수 있게 해주는 강력한 기법입니다.

적합한 상황: 최신 정보 반영이 중요한 업무, 사내 매뉴얼·FAQ·정책 문서 등 대규모 텍스트를 기반으로 정확하게 답변해야 하는 시나리오, 그리고 참조할 지식이 수시로 갱신되어 모델을 매번 재학습시키기 어려운 경우에 빛을 발합니다.

한계: 검색 품질에 크게 의존합니다. 관련 문서를 정확히 찾지 못하거나, 엉뚱한 문서를 가져오면 답변의 질이 급격히 떨어집니다. 그리고 모델의 근본적인 행동 패턴 — 문체, 추론 방식, 출력 형식 같은 것들은 RAG로 바꿀 수 없습니다.

파인튜닝 — 모델 자체를 바꾼다

파인튜닝은 모델의 가중치(weight)를 직접 업데이트하여, 모델이 “아는 것”과 “행동하는 방식” 자체를 변경합니다. 프롬프트나 검색으로 해결되지 않는, 모델의 근본적인 능력 개선이 필요할 때 선택하는 마지막 카드입니다.

적합한 상황: 특정 도메인의 전문 용어와 맥락을 모델이 기본적으로 체화하길 원할 때. 매 요청마다 긴 시스템 프롬프트를 보내는 비용과 지연 시간을 구조적으로 줄이고 싶을 때. 일관된 출력 형식이나 톤을 별도 지시 없이도 유지하고 싶을 때. 그리고 수천~수만 건의 동종 작업을 자동화하여 건당 비용을 최소화해야 할 때 진가를 발휘합니다.

한계: 초기 학습 비용(GPU 시간, 데이터 준비 인력)이 선행 투자로 필요합니다. 학습 데이터의 품질이 나쁘면 오히려 베이스 모델보다 성능이 떨어질 수 있습니다. 학습 시점에 지식이 고정되므로, 정보가 수시로 바뀌는 영역에서는 파인튜닝 단독으로 쓰기 어렵습니다.

전략적 의사결정 순서

세 가지 방법은 상호 배타적이 아닙니다. 실무에서는 오히려 조합해서 쓰는 경우가 훨씬 많습니다. 의사결정의 순서를 정리하면 이렇습니다.

• 1단계: 프롬프트 엔지니어링으로 먼저 시도합니다. 비용이 가장 낮고 결과를 즉시 확인할 수 있습니다. 놀랍게도, 잘 설계한 프롬프트만으로 목표의 80%를 달성하는 경우가 많습니다.
• 2단계: 프롬프트만으로 부족하고 외부 지식이 필요하다면, RAG 파이프라인을 추가합니다. 벡터 DB에 문서를 색인하고 검색-생성 파이프라인을 구성합니다.
• 3단계: 모델의 근본적인 행동 변화가 필요하거나, 매 요청의 토큰 비용이 사업적으로 부담이 된다면, 파인튜닝을 본격 검토합니다.
• 4단계: 최적의 결과를 위해, 파인튜닝된 모델에 RAG를 결합합니다. 예를 들어 의료 도메인에 파인튜닝된 모델이 최신 임상 가이드라인을 RAG로 참조하는 구성은, 전문 지식과 최신 정보를 동시에 갖춘 가장 강력한 조합입니다.

핵심 원칙은 단순합니다. 가장 비용이 낮은 방법부터 시도하고, 정말 필요할 때만 다음 단계로 올라가세요. 파인튜닝은 강력하지만, 프롬프트 엔지니어링으로 충분히 해결되는 문제에 적용하면 순수한 시간·비용 낭비입니다.

파인튜닝 핵심 기법 — Full Fine-tuning, LoRA, QLoRA 완전 비교

파인튜닝을 하기로 결정했다면, 다음으로 선택해야 할 것은 “어떤 방식으로” 파인튜닝할 것인가입니다. 크게 세 가지 기법이 있으며, 각각의 성능 수준, 비용, 하드웨어 요구사항이 크게 다릅니다. 2026년 현재 가장 현실적인 선택지를 중심으로 비교해 보겠습니다.

Full Fine-tuning — 모든 파라미터를 학습

가장 전통적이고 직관적인 방식입니다. 모델의 모든 파라미터(가중치)를 새 학습 데이터로 업데이트합니다. 70억(7B) 파라미터 모델이라면, 70억 개의 숫자가 전부 조정 대상이 됩니다.

장점: 이론적으로 가장 높은 성능 천장을 가집니다. 모델의 모든 부분이 새로운 작업에 최적화될 수 있으니까요. 대규모 학습 데이터(수십만 건 이상)가 있을 때 가장 큰 효과를 발휘합니다.

단점: 엄청난 GPU 메모리가 필요합니다. 학습 중에는 모델 가중치, 그래디언트(gradient), 옵티마이저 상태(optimizer state)를 모두 메모리에 동시에 올려야 하기 때문에, 파라미터 수의 약 4~8배에 달하는 VRAM이 요구됩니다. 7B 모델의 Full Fine-tuning에는 최소 A100 80GB GPU 2~4장이 권장되며, 70B 모델은 사실상 개인이 시도하기 어렵습니다. 또한 치명적 망각(Catastrophic Forgetting)의 위험이 있습니다. 새로운 데이터에 과하게 최적화되면, 사전학습에서 쌓은 범용 능력이 심각하게 손상될 수 있습니다.

LoRA — 핵심만 골라서 효율적으로 학습

2021년 마이크로소프트 연구팀이 발표한 LoRA(Low-Rank Adaptation)는 파인튜닝의 판도를 완전히 바꿔 놓은 혁신적인 기법입니다. 핵심 아이디어는 놀라울 정도로 단순합니다. 모델의 원래 가중치는 전혀 건드리지 않고 완전히 고정(frozen)한 채로, 아주 작은 크기의 추가 행렬만 학습시키는 것입니다.

좀 더 구체적으로 설명하겠습니다. Transformer 모델의 어텐션(Attention) 레이어에는 거대한 가중치 행렬 W가 있습니다. 예를 들어 크기가 4096×4096이라면, 이 하나의 행렬에만 약 1,670만 개의 파라미터가 존재합니다. LoRA는 이 W를 직접 수정하는 대신, 훨씬 작은 두 개의 행렬 A(4096×r)와 B(r×4096)를 별도로 추가합니다. 여기서 r은 “랭크(rank)”라고 불리는 하이퍼파라미터로, 보통 4, 8, 16, 32 같은 작은 수를 사용합니다.

r=16일 경우를 계산해 보면, A와 B의 파라미터 수는 4096×16 + 16×4096 = 약 13만 개에 불과합니다. 원래 W의 1,670만 개에 비하면 1%도 안 되는 극소량이죠. 학습할 때는 오직 이 A와 B만 업데이트하고, 실제 추론(inference) 시에는 원래 W에 A×B의 곱을 더해(W + A×B) 사용합니다. 추가된 경로가 원래 행렬의 행동을 미세하게 조정하는 역할을 하는 셈입니다.

이것이 가능한 이론적 근거가 있습니다. 대규모 사전학습 모델의 가중치 변화는 실제로 저랭크(low-rank) 구조를 가진다는 연구 결과에 기반합니다. 다시 말해, 모델을 새로운 작업에 적응시키는 데 필요한 핵심적인 변화는, 수천만 개의 파라미터 전체가 아니라 그중 아주 적은 차원의 부분 공간에 집중되어 있다는 것입니다.

LoRA의 장점을 정리하면 이렇습니다.

• 학습 파라미터 수가 전체의 0.1~1% 수준으로 급감하여, GPU 메모리 사용량이 대폭 줄어듭니다.
• 7B 모델 기준, 단일 A100 40GB 또는 RTX 4090 24GB로도 학습이 가능합니다.
• 원래 가중치를 건드리지 않으므로 치명적 망각의 위험이 구조적으로 크게 줄어듭니다.
• 학습된 LoRA 어댑터(A, B 행렬)는 수십 MB 크기의 별도 파일로 저장되므로, 같은 베이스 모델에 여러 어댑터를 용도별로 교체하며 사용할 수 있습니다. 마치 같은 스마트폰에 업무용 케이스, 등산용 케이스를 바꿔 끼우듯이요.
• 학습 속도가 Full Fine-tuning보다 빠르고, 실험 반복 주기를 크게 단축할 수 있습니다.

단점: 이론적으로는 Full Fine-tuning보다 표현력이 제한됩니다. 하지만 수많은 실제 벤치마크에서 LoRA는 Full Fine-tuning의 95~99% 성능을 달성하는 것으로 보고되고 있어, 비용 대비 효율은 압도적입니다.

QLoRA — LoRA에 양자화를 결합한 궁극의 효율

QLoRA(Quantized LoRA)는 LoRA의 효율성을 한 단계 더 끌어올린 기법입니다. 핵심 아이디어는 베이스 모델의 가중치를 4비트(4-bit)로 양자화(quantization)해서 메모리에 올리고, 실제 학습 연산은 LoRA 방식으로 16비트 정밀도에서 수행하는 것입니다.

양자화란 쉽게 말해, 숫자의 정밀도를 의도적으로 낮추는 것입니다. 일반적으로 모델 가중치는 16비트(FP16, BF16) 부동소수점으로 저장됩니다. 이를 4비트로 줄이면 메모리 사용량이 약 4분의 1로 감소합니다. 당연히 정밀도가 떨어지면 성능 손실이 우려되지만, QLoRA는 “NF4(NormalFloat 4-bit)”라는 특수한 데이터 타입과 “이중 양자화(Double Quantization)” 기법을 사용하여 정보 손실을 놀라울 정도로 최소화합니다.

결과는 극적입니다. 650억(65B) 파라미터 모델도 단일 48GB GPU(예: A6000)에서 파인튜닝할 수 있게 되었습니다. 7B 모델이라면 RTX 3090 24GB는 물론, 16GB 급 GPU에서도 학습이 가능합니다. 이는 대학원생, 스타트업, 개인 개발자도 대형 모델을 자신만의 데이터로 커스터마이징할 수 있다는 뜻입니다. QLoRA의 발표 이후 오픈소스 LLM 파인튜닝 커뮤니티가 폭발적으로 성장한 것은 결코 우연이 아닙니다.

세 기법 비교 — 어떤 걸 선택해야 할까

실무에서의 선택 기준을 정리하면 이렇습니다.

• Full Fine-tuning: 충분한 GPU 클러스터(A100 다수)를 보유한 기업 환경에서, 대규모 학습 데이터(수만~수십만 건)와 함께 최대한의 성능을 추구할 때 선택합니다. 일반적인 실무 파인튜닝에서는 이 방식까지 갈 필요가 거의 없습니다.
• LoRA: 2026년 현재 가장 보편적인 선택입니다. 단일 고성능 GPU(A100, RTX 4090)로 7B~13B 모델을 효율적으로 파인튜닝할 수 있으며, 성능과 비용의 최적 균형점을 제공합니다.
• QLoRA: GPU 메모리가 제한적이거나, 더 큰 모델(30B 이상)을 다루고 싶을 때 선택합니다. LoRA 대비 학습 속도는 양자화/역양자화 연산 때문에 다소 느릴 수 있지만, 메모리 효율은 독보적입니다.

처음 파인튜닝에 입문하신다면, QLoRA로 시작하는 것을 강력히 추천합니다. 가장 낮은 하드웨어 요구사항으로 파인튜닝의 전체 과정을 경험할 수 있고, 나중에 더 많은 자원이 확보되면 LoRA나 Full Fine-tuning으로 자연스럽게 스케일업하면 됩니다.

LLM 파인튜닝 실전 5단계 워크플로

이론은 충분히 다뤘으니, 이제 실전으로 넘어가겠습니다. 파인튜닝은 크게 다섯 단계로 나뉘며, 각 단계에서 어떤 결정을 내려야 하고 어떤 도구를 활용할 수 있는지 구체적으로 안내합니다.

1단계: 목표 정의와 성공 기준 설정

파인튜닝에서 가장 중요한 단계는 GPU를 돌리는 것이 아니라, 명확한 목표를 세우는 것입니다. 놀랍도록 많은 프로젝트가 실패하는 이유는 기술적 문제가 아니라, “정확히 무엇을 달성하고 싶은가”를 정의하지 않고 시작하기 때문입니다.

시작하기 전에 스스로에게 이런 질문을 던져보세요.

• 범용 모델로 이 작업을 이미 시도해 봤는가? 프롬프트 엔지니어링이나 Few-shot Learning만으로는 정말 부족한가?
• 파인튜닝으로 개선하고 싶은 구체적인 지표는 무엇인가? (정확도? 형식 일관성? 특정 용어 사용률? 응답 속도?)
• 성공과 실패를 판단할 정량적 기준은 무엇인가? (예: “의료 코딩 정확도 95% 이상”, “고객 문의 분류 F1 스코어 0.9 이상”)
• 파인튜닝된 모델이 실제로 사용될 환경의 제약은? (최대 허용 지연 시간, 배포 인프라, 동시 요청 수 등)

이 질문들에 구체적인 답이 있어야 합니다. “일단 파인튜닝해보면 더 좋아지겠지”라는 막연한 기대로 시작하면, GPU 비용만 소모하고 프롬프트 엔지니어링 대비 유의미한 차이를 증명하지 못하는 경우가 생각보다 흔합니다.

2단계: 데이터 수집과 전처리

파인튜닝의 성패를 좌우하는 가장 핵심적인 요소는 학습 데이터의 품질입니다. 양이 아닙니다. 이 점은 아무리 강조해도 지나치지 않습니다. 1만 개의 저품질 데이터보다 1천 개의 고품질 데이터가 훨씬 좋은 결과를 냅니다.

데이터 형식: 대부분의 SFT 학습은 대화 형식의 데이터를 사용합니다. 각 샘플은 세 가지 요소로 구성됩니다. 시스템 프롬프트(선택사항)는 모델의 역할과 컨텍스트를 설정하고, 사용자 입력(user)은 실제 사용자가 보낼 법한 질문이나 명령이며, 어시스턴트 출력(assistant)은 모델이 생성해야 할 이상적인 답변입니다. 이 세 요소가 하나의 학습 샘플을 이룹니다.

데이터 확보 방법을 현실적으로 정리하면 이렇습니다.

• 실제 업무 데이터: 고객 상담 로그와 상담사 답변, 의료 기록과 진단 코드, 법률 문서와 요약문 등 실제 업무에서 축적된 데이터입니다. 가장 가치가 높지만, 개인정보 비식별화 등 전처리에 주의가 필요합니다.
• 전문가 수작업 생성: 도메인 전문가가 질문-답변 쌍을 직접 작성합니다. 품질이 가장 높고 신뢰할 수 있지만, 시간과 인건비가 상당히 소요됩니다.
• 합성 데이터(Synthetic Data): 강력한 범용 LLM을 사용해 학습용 데이터를 자동 생성하는 방법입니다. Seed 데이터 몇십 건에서 출발해 수천 건으로 증폭할 수 있어 양을 빠르게 확보할 수 있지만, 반드시 사람이 품질을 검수해야 합니다.
• 공개 데이터셋: Hugging Face Hub에는 다양한 도메인과 언어의 학습 데이터셋이 공개되어 있습니다. 기초 실험이나 프로토타이핑에 매우 유용합니다.

데이터 전처리에서 놓치기 쉬운 핵심 사항들을 짚겠습니다.

• 중복 제거: 같거나 거의 동일한 샘플이 반복되면 과적합의 주요 원인이 됩니다. 텍스트 유사도 기반으로 중복을 걸러내세요.
• 품질 필터링: 오탈자가 심하거나, 질문과 답변의 맥락이 맞지 않거나, 불완전한 샘플은 과감히 제거합니다. 나쁜 데이터는 나쁜 모델을 만듭니다.
• 카테고리 균형: 특정 유형의 데이터만 편중되지 않도록 카테고리별 비율을 의식적으로 조정합니다. 예를 들어 고객 문의 분류 모델이라면, 각 문의 카테고리의 비율이 극단적으로 치우치지 않아야 합니다.
• 학습/검증 분할: 전체 데이터의 80~90%를 학습용, 나머지를 검증용으로 나눕니다. 검증 셋은 학습 중 과적합 여부를 실시간으로 모니터링하는 데 쓰이며, 학습 데이터와 절대 겹치면 안 됩니다.

데이터 규모의 일반적인 가이드라인입니다. 단순한 형식 변환이나 톤 조정은 500~1,000개 샘플로도 효과를 볼 수 있습니다. 도메인 특화 지식 주입에는 3,000~10,000개가 권장됩니다. 복잡한 추론이나 생성 작업은 10,000개 이상이 필요할 수 있습니다. 다만 이는 일반적인 참고치일 뿐, 실제 필요 데이터량은 작업의 난이도와 베이스 모델의 기본 역량에 따라 크게 달라집니다.

3단계: 베이스 모델 선택

파인튜닝의 출발점인 베이스 모델을 고르는 것도 결과에 큰 영향을 미치는 중요한 결정입니다. 2026년 현재 오픈소스 LLM 생태계는 매우 풍성합니다. 선택 시 고려해야 할 핵심 요소를 정리합니다.

• 모델 크기: 일반적으로 모델이 클수록 기본 성능이 높지만, 학습과 추론에 더 많은 자원이 필요합니다. 실무에서는 7B~13B 모델이 성능과 효율의 최적 균형점으로 가장 많이 선택됩니다. 특정 작업에서는 3B 수준의 작은 모델도 파인튜닝 후 놀라운 전문 성능을 보이기도 합니다.
• 라이선스: 상용 서비스에 사용할 계획이라면 라이선스를 반드시 확인하세요. Apache 2.0 라이선스의 모델은 상용 이용이 자유롭지만, 일부 모델은 연구 목적으로만 허용되거나 사용 규모에 따라 별도 라이선스가 필요한 경우도 있습니다.
• 벤치마크 성능: MMLU, HumanEval, MT-Bench 같은 표준 벤치마크 점수를 참고하되, 맹신하지는 마세요. 벤치마크 점수가 높아도 내 특정 작업에서 반드시 좋은 결과를 보장하지는 않습니다. 후보 모델 2~3개를 골라 내 데이터로 빠르게 프로토타이핑해 보는 것이 가장 확실합니다.
• 커뮤니티 생태계: 해당 모델에 대한 파인튜닝 가이드, 성공 사례, 도구 지원이 풍부한지 확인하세요. 문제가 생겼을 때 참고할 자료가 많은 모델이 실무에서는 훨씬 유리합니다.
• 다국어 지원: 한국어 작업이 목적이라면 반드시 확인해야 할 항목입니다. 사전학습 데이터에 한국어가 충분히 포함된 모델을 선택해야 합니다. 영어 위주로만 학습된 모델에 한국어 데이터를 파인튜닝하면, 기대한 만큼의 성능 향상이 나오지 않는 경우가 많습니다.

4단계: 학습 실행과 하이퍼파라미터 설정

데이터와 모델이 준비되었다면 드디어 실제 학습을 실행합니다. Hugging Face의 PEFT(Parameter-Efficient Fine-Tuning) 라이브러리와 TRL(Transformer Reinforcement Learning) 라이브러리가 사실상의 업계 표준 도구입니다. 이 두 라이브러리를 조합하면 LoRA/QLoRA 기반 SFT를 코드 50줄 이내로 구현할 수 있습니다.

핵심 하이퍼파라미터를 하나씩 짚겠습니다.

• 학습률(Learning Rate): 파인튜닝에서는 사전학습보다 훨씬 낮은 학습률을 사용합니다. 일반적으로 1e-4에서 2e-5 사이가 좋은 출발점입니다. 너무 높으면 기존에 학습된 지식이 파괴되고(치명적 망각), 너무 낮으면 새로운 패턴을 충분히 흡수하지 못합니다. 초보자라면 2e-5에서 시작하세요.
• 에포크(Epochs): 전체 데이터셋을 몇 번 반복해서 학습할지를 결정합니다. 파인튜닝에서는 1~5 에포크가 일반적이며, 3 에포크가 많은 실험에서 무난한 기본값입니다. 데이터가 적을수록 에포크를 줄이는 것이 과적합 방지에 도움이 됩니다.
• 배치 크기(Batch Size): GPU 메모리가 허용하는 범위에서 가능한 크게 설정합니다. 메모리가 부족하면 Gradient Accumulation 기법으로 가상의 큰 배치를 시뮬레이션할 수 있습니다. 예를 들어 GPU에 배치 2만 올라가지만 accumulation steps를 8로 설정하면, 유효 배치 크기는 16이 됩니다.
• LoRA 랭크(r): r=8이 가장 검증된 시작점입니다. 작업의 복잡도가 높다면 16이나 32로 올려볼 수 있지만, r이 커질수록 학습 파라미터 수와 메모리 사용량이 선형으로 증가하므로, 무작정 올리는 것은 비효율적입니다.
• LoRA 알파(alpha): 보통 r의 2배로 설정합니다. r=8이면 alpha=16이 표준적인 시작점이며, 이 비율이 학습 안정성 측면에서 가장 많이 검증되었습니다.
• 타겟 모듈: LoRA를 모델의 어느 레이어에 적용할지 선택합니다. 일반적으로 어텐션 레이어의 Q(Query), K(Key), V(Value), O(Output) 프로젝션에 적용하는 것이 기본이며, 성능을 더 높이고 싶다면 MLP(Feed-Forward) 레이어까지 확장합니다.

학습 중 모니터링이 필수입니다. 반드시 지켜봐야 할 지표는 학습 손실(Training Loss)과 검증 손실(Validation Loss)입니다. 정상적인 학습이라면 두 손실 모두 에포크가 진행됨에 따라 점차 감소합니다. 학습 손실은 계속 내려가는데 검증 손실이 상승하기 시작하면, 그것이 바로 과적합의 확실한 신호입니다. 이 시점에서 학습을 멈추는 것(Early Stopping)이 정답입니다. Weights & Biases(W&B)나 TensorBoard 같은 실험 추적 도구를 사용하면, 학습 곡선을 실시간으로 시각화하고 여러 실험의 결과를 한 화면에서 비교할 수 있어 매우 편리합니다.

5단계: 평가와 배포

학습이 완료된 모델의 성능을 반드시 체계적으로 평가해야 합니다. “답변이 그럴듯해 보이는지” 눈으로 몇 개 확인하는 것만으로는 절대 충분하지 않습니다.

정량적 평가에서는 1단계에서 정의한 성공 기준에 따른 지표(정확도, F1 스코어, BLEU, ROUGE 등)를 테스트셋으로 측정합니다. 파인튜닝 전의 베이스 모델과 프롬프트 엔지니어링 결과를 같은 테스트셋으로 비교하여, 파인튜닝이 실질적인 가치를 가져왔는지 확인합니다.

정성적 평가에서는 도메인 전문가에게 모델의 출력을 평가받습니다. 숫자로 포착되지 않는 뉘앙스, 전문적 정확성, 자연스러움을 점검할 수 있습니다. 또한 엣지 케이스(극단적이거나 예외적인 입력)에서의 동작을 확인하고, 유해하거나 편향된 응답이 생성되지 않는지 안전성 테스트도 병행합니다.

배포 시에는, LoRA/QLoRA 방식으로 학습했다면 어댑터를 베이스 모델에 병합(merge)하여 단일 모델로 만들 수도 있고, 어댑터를 분리한 채로 유지할 수도 있습니다. 분리 유지의 장점은 여러 어댑터를 용도별로 교체할 수 있다는 것이고, 병합의 장점은 추론 시 추가 연산 없이 최적 성능을 내면서 서빙 인프라를 단순화할 수 있다는 것입니다. 추론 서빙에는 vLLM, TGI(Text Generation Inference), Ollama 같은 최적화된 프레임워크를 활용하면 지연 시간을 최소화하면서 대규모 트래픽도 안정적으로 처리할 수 있습니다.

파인튜닝에서 흔히 저지르는 5가지 실수

수많은 파인튜닝 프로젝트의 성공과 실패 사례를 관찰하면, 반복적으로 나타나는 실수 패턴이 있습니다. 미리 인식해 두면 불필요한 시행착오를 크게 줄일 수 있습니다.

실수 1: 데이터 품질보다 양에 집착한다

“데이터가 많으면 많을수록 좋겠지”라는 직관으로, 품질 검수 없이 대량의 데이터를 투입하는 경우입니다. 오류가 포함된 데이터, 서로 모순되는 데이터, 의미 없는 반복 데이터는 모델을 혼란시키고 성능을 떨어뜨립니다. 전문가가 직접 검증한 500개의 고품질 데이터가, 웹에서 자동 수집한 5만 개의 노이즈 섞인 데이터보다 압도적으로 낫습니다.

해결책: 소량의 핵심 데이터로 시작해 결과를 확인하고, 품질이 검증된 데이터를 점진적으로 추가하는 반복적(iterative) 접근을 취하세요. 양을 늘리는 것은, 품질이 확보된 이후에 해도 늦지 않습니다.

실수 2: 과적합을 모니터링하지 않는다

검증 손실(Validation Loss)을 추적하지 않고, 학습 손실(Training Loss)만 보면서 에포크를 계속 돌리는 경우입니다. 학습 데이터에 대한 성능은 올라가지만, 학습 데이터에 없는 새로운 입력에 대한 일반화 능력이 지속적으로 하락합니다. 극단적으로는 학습 데이터를 거의 암기 수준으로 외우면서, 조금만 다르게 물어보면 엉뚱한 답을 내놓는 상황이 됩니다.

해결책: 학습/검증 데이터를 반드시 분리하고, 검증 손실이 상승하기 시작하는 시점에 학습을 중단(Early Stopping)합니다. LoRA 설정에서 드롭아웃(dropout)을 0.05~0.1로 설정하면 과적합 위험을 추가로 줄일 수 있습니다.

실수 3: 프롬프트로 충분한 문제에 파인튜닝을 적용한다

앞서 의사결정 프레임워크에서 강조한 내용이지만, 실제로 이 실수가 가장 빈번합니다. “출력 형식을 항상 JSON으로 고정하고 싶다”, “답변을 3줄 이내로 제한하고 싶다”, “매번 존댓말을 쓰게 하고 싶다” 같은 요구사항은 시스템 프롬프트에 명확히 지시하는 것만으로 대부분 해결됩니다.

해결책: 파인튜닝에 착수하기 전에, 최소 3일 이상 프롬프트 엔지니어링과 Few-shot Learning으로 한계를 먼저 확인하세요. 그래도 근본적으로 부족할 때만 파인튜닝으로 진행합니다.

실수 4: 베이스라인 없이 학습한다

파인튜닝 전의 베이스라인(기준 성능)을 측정해 두지 않으면, 파인튜닝이 실제로 성능을 향상시켰는지 객관적으로 검증할 수 없습니다. “감각적으로 좋아진 것 같다”는 주관적 인상은 편향되기 쉽고, 이해관계자를 설득할 근거도 되지 못합니다.

해결책: 학습을 시작하기 전에 반드시 테스트셋과 평가 지표를 정의하고, 베이스 모델(파인튜닝 전)의 성능을 기록합니다. 프롬프트 엔지니어링만 적용한 결과도 함께 기록하면 더 좋습니다. 파인튜닝 후 동일한 테스트셋으로 정량 비교를 수행합니다.

실수 5: 하이퍼파라미터에 과도하게 시간을 투자한다

학습률, LoRA 랭크, 배치 크기 등의 최적 조합을 찾겠다며 수십 번의 실험을 반복 실행하는 경우입니다. 물론 하이퍼파라미터가 중요하지만, 실증적으로 성능 차이의 대부분은 데이터의 품질과 양에서 비롯됩니다. 하이퍼파라미터 미세 조정으로 개선할 수 있는 폭은 대개 마지막 5~10% 영역입니다.

해결책: 커뮤니티에서 검증된 기본값(학습률 2e-5, LoRA r=8, alpha=16, epochs=3)으로 시작하세요. 첫 번째 투자 시간은 하이퍼파라미터가 아니라 데이터 품질 개선에 쓰는 것이 효율적입니다. 하이퍼파라미터 튜닝은 데이터가 충분히 좋은 상태에서, 마지막 성능 끌어올리기 단계에 수행합니다.

마무리 — 나만의 AI 모델, 생각보다 가까이에

LLM 파인튜닝은 한때 소수의 AI 연구자만이 접근할 수 있었던 전문 영역이었습니다. 하지만 LoRA와 QLoRA 같은 파라미터 효율적 학습 기법, Hugging Face를 중심으로 한 풍부한 오픈소스 도구 생태계, 그리고 점점 저렴해지는 클라우드 GPU 인프라 덕분에, 이제는 명확한 목표와 양질의 데이터만 있으면 누구나 도전할 수 있는 시대가 되었습니다.

이 글에서 다룬 핵심을 다시 한번 정리합니다. 파인튜닝은 사전학습된 모델에 내 데이터를 추가 학습시켜 전문화하는 과정입니다. 프롬프트 엔지니어링이나 RAG로 해결되지 않는 근본적인 성능 향상이 필요할 때, 가장 비용이 낮은 방법부터 시도한 뒤 마지막 카드로 선택합니다. LoRA와 QLoRA를 사용하면 개인용 GPU 한 장으로도 수십억 파라미터 모델을 커스터마이징할 수 있습니다. 그리고 성공의 핵심은 화려한 기술 스택이 아니라, 명확한 목표 설정과 철저한 데이터 품질 관리입니다.

처음 시작하실 때 추천하는 경로는 이렇습니다. Hugging Face Hub에서 한국어를 잘 지원하는 7B급 오픈소스 모델을 하나 골라, 여러분의 도메인에 맞는 500~1,000개의 고품질 데이터를 직접 만들고, QLoRA로 학습시켜 보세요. Colab의 무료 GPU로도 첫 실험을 완료할 수 있습니다. 전체 과정이 하루 안에 끝날 수도 있고, 그 첫 경험이 나만의 AI를 만드는 여정의 확실한 출발점이 될 것입니다.

중요한 것은 완벽한 첫 결과가 아니라 시작 자체입니다. 파인튜닝은 본질적으로 반복적인 과정이며, 데이터를 보강하고 실험을 거듭할수록 모델은 점점 더 여러분의 필요에 정확하게 맞춰 진화합니다. 올여름, 나만의 AI 모델 프로젝트를 직접 시작해 보시는 건 어떨까요?

---