왜 Mac Studio를 LLM 전용 머신으로 선택했나

로컬 LLM을 돌리겠다고 마음먹으면 대부분 NVIDIA GPU부터 떠올립니다. RTX 4090 두 장이면 70B 모델도 돌릴 수 있으니까요. 하지만 저는 다른 길을 택했습니다. Mac Studio M4 Ultra, 통합 메모리 512GB 구성입니다.

이유는 단순했습니다. 집에서 24시간 켜두는 워크스테이션인데, 전기세와 소음이 현실적으로 감당이 안 됐거든요. RTX 4090 두 장이면 풀로드 시 TDP만 900W 이상, 여기에 CPU·메모리·쿨링까지 합치면 벽 콘센트 하나를 혼자 쓰는 수준입니다. Mac Studio는 풀로드에서도 약 120~150W. 이 차이가 매달 전기요금 청구서에 직접 찍힙니다.

512GB 통합 메모리, 어디서 빛나고 어디서 한계인가

빛나는 지점: 초대형 모델 로딩

통합 메모리의 가장 큰 장점은 VRAM 제한 없이 모델을 통째로 메모리에 올릴 수 있다는 겁니다. NVIDIA GPU는 VRAM이 24GB(4090 기준)로 고정되어 있어서, 70B 이상 모델은 양자화를 하거나 여러 GPU에 분산해야 합니다.

• Llama 3.1 405B Q4_K_M – 약 230GB. Mac Studio 512GB에서는 그냥 올라갑니다. GPU 서버에서는 A100 80GB 3장 이상이 필요한 모델입니다.
• Qwen2.5 72B Q8_0 – 약 75GB. 양자화 손실 없이 Q8로 돌릴 수 있어서 응답 품질이 확연히 다릅니다.
• DeepSeek-V3 671B Q2_K – 이론상 올라가지만 실사용은 어렵습니다. 이건 아래에서 다시 이야기합니다.

한계 지점: 메모리 대역폭

여기서 현실을 직시해야 합니다. M4 Ultra의 메모리 대역폭은 약 800GB/s입니다. 반면 RTX 4090 한 장의 GDDR6X 대역폭은 약 1,008GB/s이고, 두 장이면 단순 합산 2TB/s 이상입니다.

LLM 추론은 본질적으로 메모리 대역폭에 병목이 걸리는 작업입니다. 토큰 하나를 생성할 때마다 모델의 가중치를 메모리에서 읽어와야 하기 때문입니다. 결론적으로:

• 모델이 VRAM 안에 들어가는 크기라면, NVIDIA GPU가 토큰/초(tok/s) 기준으로 2~3배 빠릅니다.
• 모델이 VRAM을 초과하면 CPU RAM으로 오프로드되면서 NVIDIA 쪽 성능이 급락하고, Mac Studio가 역전합니다.

즉, “모델 크기 대비 얼마나 큰 VRAM을 가졌느냐”가 승부를 가릅니다. 70B 이상 대형 모델을 양자화 최소화하며 돌리고 싶다면 Mac Studio의 512GB 통합 메모리가 진가를 발휘합니다.

Ollama vs MLX: 실측 성능 비교

Mac에서 로컬 LLM을 돌리는 대표적인 두 프레임워크, Ollama와 MLX를 직접 비교해봤습니다. 테스트 환경은 Mac Studio M4 Ultra 512GB, macOS 15.4입니다.

Ollama (llama.cpp 기반)

Ollama는 내부적으로 llama.cpp의 Metal 백엔드를 사용합니다. 설치와 사용이 매우 간편하고, 모델 허브에서 원클릭으로 다양한 모델을 받을 수 있습니다.

모델	양자화	Prompt 처리(tok/s)	생성 속도(tok/s)
Llama 3.1 8B	Q4_K_M	약 280	약 52
Llama 3.1 70B	Q4_K_M	약 48	약 12
Qwen2.5 72B	Q4_K_M	약 45	약 11
Llama 3.1 405B	Q4_K_M	약 8	약 2.5

MLX (Apple 공식 ML 프레임워크)

MLX는 Apple이 Apple Silicon에 최적화하여 만든 ML 프레임워크입니다. mlx-lm 패키지를 통해 LLM 추론을 지원합니다.

모델	양자화	Prompt 처리(tok/s)	생성 속도(tok/s)
Llama 3.1 8B	4bit MLX	약 350	약 68
Llama 3.1 70B	4bit MLX	약 62	약 16
Qwen2.5 72B	4bit MLX	약 58	약 15
Llama 3.1 405B	4bit MLX	약 10	약 3.2

결론: MLX가 20~30% 빠르다

동일 모델, 동일 양자화 수준에서 MLX가 Ollama 대비 약 20~30% 더 빠른 토큰 생성 속도를 보여줬습니다. 특히 프롬프트 처리(prefill) 단계에서 차이가 두드러집니다.

이유는 명확합니다. MLX는 Apple Silicon의 통합 메모리 아키텍처와 GPU 코어를 네이티브로 활용하도록 설계됐고, llama.cpp의 Metal 백엔드는 범용 크로스플랫폼 코드를 Metal로 변환하는 방식이라 오버헤드가 있습니다.

다만 Ollama의 장점도 분명합니다:

• 모델 관리가 압도적으로 편합니다. ollama pull 한 줄이면 끝.
• OpenAI 호환 API 서버를 기본 내장하고 있어서, 기존 도구와의 연동이 쉽습니다.
• 커뮤니티와 생태계가 훨씬 넓습니다.

제 결론은 이렇습니다: 성능이 중요한 본작업은 MLX, 빠른 테스트와 실험은 Ollama. 둘 다 설치해두고 용도에 따라 쓰는 게 최선입니다.

소음과 전력: 데스크톱 GPU 대비 트레이드오프

소음

Mac Studio를 24시간 켜두고 LLM을 돌리면서 가장 만족스러운 부분입니다. 유휴 상태에서는 사실상 무소음이고, 70B 모델 풀로드에서도 35~40dB 수준입니다. 책상 위에 올려두고 바로 옆에서 작업해도 전혀 거슬리지 않습니다.

반면 RTX 4090 기반 워크스테이션은 GPU 팬이 본격적으로 회전하면 55~65dB까지 올라갑니다. 같은 방에서 화상회의가 불가능한 수준이죠. 별도의 서버룸이 있다면 문제 없겠지만, 집에서 책상 옆에 두는 환경에서는 치명적입니다.

전력 소비

실측 기준으로 정리하면:

구분	Mac Studio M4 Ultra	RTX 4090 x2 워크스테이션
유휴 시	약 25W	약 120W
70B 모델 추론	약 120W	약 650W
월 전기요금 (하루 8시간 추론 기준)	약 8,000원	약 45,000원

연간으로 환산하면 약 44만 원의 전기요금 차이가 납니다. Mac Studio가 비싸다고 하지만, 장기적으로 보면 운영비에서 상당 부분을 회수할 수 있습니다.

성능 트레이드오프 정리

공정하게 정리하면 이렇습니다:

• Mac Studio가 유리한 경우: 70B 이상 대형 모델, 24시간 상시 가동, 소음·전력 민감 환경, RAG 파이프라인처럼 긴 컨텍스트를 자주 사용하는 경우
• GPU 서버가 유리한 경우: 13B 이하 소형 모델 대량 서빙, 파인튜닝(학습), 배치 처리 속도가 핵심인 경우, 멀티 유저 동시 접속

실전 세팅 팁

1. 스왑 메모리 설정 확인

512GB 메모리라도 405B급 모델을 올리면 시스템 전체 메모리가 빡빡해집니다. macOS가 스왑을 시작하면 성능이 급락하므로, Activity Monitor에서 Memory Pressure를 항상 모니터링하세요. 노란색이 뜨면 모델 크기를 줄이거나 다른 앱을 정리해야 합니다.

2. MLX 모델 변환

Hugging Face에 올라온 모델을 MLX 포맷으로 변환해야 합니다. mlx-lm 패키지의 convert 명령을 사용하면 되는데, 변환 시 양자화 비트 수를 지정할 수 있습니다. 개인적으로 메모리 여유가 있다면 8bit를 추천합니다. 4bit 대비 응답 품질 차이가 체감됩니다.

3. 서빙 구성

저는 Ollama를 API 게이트웨이로 두고, 성능이 중요한 모델만 MLX로 별도 서빙하는 구조를 사용합니다. Ollama의 OpenAI 호환 API 덕분에 ChatGPT 클라이언트, Continue(VS Code 확장), Open WebUI 등 대부분의 도구가 별도 설정 없이 연결됩니다.

마치며

Mac Studio를 LLM 워크스테이션으로 쓴 지 약 3개월, 솔직한 감상은 “생각보다 훨씬 실용적이다”입니다. 절대 성능에서는 NVIDIA GPU 서버에 밀리지만, 소음·전력·유지보수를 종합하면 개인 사용자에게는 최고의 선택지 중 하나입니다.

특히 512GB 통합 메모리 덕분에 70B~405B급 모델을 양자화 최소화하면서 돌릴 수 있다는 건 GPU 서버에서는 수백만 원을 더 투자해야 가능한 영역입니다. 로컬 AI에 관심 있는 분이라면, Mac Studio는 충분히 고려할 가치가 있습니다.

Photo by Pavel Danilyuk on Pexels