내 PC에서 AI 무료로 돌리기 – Ollama 로컬 LLM 완벽 입문

클라우드 AI 말고, 내 컴퓨터에서 직접 AI를 실행할 수 있다고?

ChatGPT나 Claude 같은 AI 서비스는 편리하지만, 사용량 제한이 있고 민감한 정보를 입력하기 꺼려질 때가 있죠. 그런데 사실 요즘은 로컬 LLM을 활용해 내 노트북이나 데스크탑에서 AI 모델을 직접 실행하는 게 충분히 가능해졌습니다.

이걸 가능하게 해주는 도구가 바로 Ollama입니다. 복잡한 설치 과정 없이, 마치 앱 설치하듯 AI 모델을 내려받아 오프라인에서 자유롭게 사용할 수 있어요. 인터넷 연결도 필요 없고, 사용 횟수 제한도 없습니다.

이번 글에서는 Ollama가 무엇인지, 어떻게 설치하고 활용하는지 초보자도 따라할 수 있게 차근차근 설명해 드릴게요.

로컬 LLM이란? 왜 주목받고 있을까

LLM(Large Language Model)은 ChatGPT처럼 텍스트를 이해하고 생성하는 대형 언어 모델입니다. 보통은 OpenAI나 Anthropic의 서버에서 실행되어 인터넷을 통해 결과를 받아오는 방식이죠.

반면 로컬 LLM은 이 모델을 내 컴퓨터에 저장하고 직접 실행하는 방식입니다. 2024~2025년을 거치면서 Meta의 Llama, Google의 Gemma, Microsoft의 Phi 등 오픈소스 AI 모델들이 폭발적으로 발전했고, 일반 PC에서도 충분히 쓸 만한 성능을 내게 됐습니다.

• 완전 무료 – 사용량 제한 없이 무한정 사용 가능
• 프라이버시 보호 – 입력한 내용이 외부 서버로 전송되지 않음
• 오프라인 사용 – 인터넷 없이도 동작
• 커스터마이징 – 모델 설정을 자유롭게 조절 가능

Ollama란 무엇인가요?

Ollama는 로컬 LLM을 가장 쉽게 설치하고 실행할 수 있게 해주는 오픈소스 도구입니다. 마치 Docker가 컨테이너 실행을 쉽게 만들어준 것처럼, Ollama는 AI 모델 실행을 단순하게 만들어줍니다.

명령어 한 줄로 원하는 모델을 내려받고, 바로 대화를 시작할 수 있어요. Windows, macOS, Linux 모두 지원합니다.

내 PC 사양이 괜찮을까? 최소 요구사항 확인

로컬 LLM은 RAM(메모리)을 많이 사용합니다. 사용할 모델 크기에 따라 다르지만 일반적인 기준은 아래와 같습니다.

• RAM 8GB – 소형 모델(1~3B) 사용 가능. 기본적인 질답, 번역, 요약 가능
• RAM 16GB – 중형 모델(7~8B) 사용 가능. 실용적인 수준의 AI 성능
• RAM 32GB 이상 – 대형 모델(13B~) 사용 가능. 클라우드 AI에 근접한 성능

GPU가 있으면 훨씬 빠르지만, GPU 없이 CPU만으로도 충분히 동작합니다. 응답 속도가 조금 느릴 뿐이에요. 요즘 출시되는 소형 모델들은 성능 대비 크기가 매우 효율적이라 8GB RAM으로도 꽤 쓸만합니다.

Ollama 설치부터 첫 대화까지 – 단계별 가이드

1단계: Ollama 설치

Ollama 공식 사이트(ollama.com)에 접속해 본인 운영체제에 맞는 설치 파일을 내려받습니다. Windows 기준으로는 .exe 파일을 실행하면 자동으로 설치됩니다. 설치가 완료되면 백그라운드에서 Ollama 서버가 자동으로 실행됩니다.

2단계: AI 모델 내려받기

터미널(명령 프롬프트 또는 PowerShell)을 열고 아래 명령어를 입력합니다.

추천 입문 모델: Gemma3 (Google 제작, 한국어 성능 우수)

• ollama pull gemma3:4b – 약 3GB, RAM 8GB 이상 권장
• ollama pull gemma3:12b – 약 8GB, RAM 16GB 이상 권장

다운로드는 모델 크기에 따라 수 분~수십 분 소요됩니다. 한 번 내려받으면 이후엔 인터넷 없이 사용 가능합니다.

3단계: 대화 시작

다운로드가 완료되면 바로 대화를 시작할 수 있습니다.

• ollama run gemma3:4b 입력 후 엔터
• 프롬프트가 뜨면 한국어로 질문 입력
• 종료는 /bye 입력

처음 실행하면 모델을 메모리에 로딩하는 시간이 약간 걸리지만, 이후 대화는 빠르게 진행됩니다.

더 편하게 쓰는 방법 – 웹 UI 활용

터미널 대화가 불편하다면 Open WebUI를 설치해보세요. ChatGPT처럼 브라우저에서 편하게 AI와 대화할 수 있는 인터페이스를 제공합니다. Docker가 설치돼 있다면 아래 명령어 하나로 실행됩니다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main

설치 후 브라우저에서 http://localhost:3000으로 접속하면 ChatGPT와 거의 같은 UI로 로컬 AI를 사용할 수 있습니다. 대화 기록 저장, 다중 모델 전환, 파일 첨부 등 다양한 기능도 지원합니다.

실제로 어디에 활용하면 좋을까?

• 민감한 문서 요약·번역 – 사내 자료, 개인 정보가 담긴 문서를 외부 서버 노출 없이 처리
• 코드 작성 보조 – Codellama, Deepseek-coder 같은 코딩 특화 모델 활용
• 문서 작성 초안 – 보고서, 이메일, 블로그 글 초안 작성
• 언어 학습 – 영어 회화 연습, 문법 교정을 인터넷 없이
• 아이디어 브레인스토밍 – 횟수 제한 없이 자유롭게 아이디어 발산

마무리 – 로컬 LLM으로 내 AI를 직접 소유하는 시대

불과 2년 전만 해도 AI 모델을 개인 PC에서 돌린다는 건 특수한 연구자들의 영역이었습니다. 하지만 지금은 일반 사용자도 충분히 시도해볼 수 있는 환경이 갖춰졌습니다.

처음엔 응답 속도나 성능이 클라우드 AI보다 부족하게 느껴질 수 있어요. 하지만 내 데이터를 지키면서, 비용 걱정 없이, 오프라인에서도 AI를 쓸 수 있다는 점은 분명한 장점입니다. Ollama와 Gemma3 조합으로 오늘 바로 시작해보세요!

Photo by cottonbro studio on Pexels