AI 이미지 생성, 이제 내 PC에서 무료로 할 수 있습니다

Midjourney, DALL-E, Adobe Firefly 같은 AI 이미지 생성 서비스를 한 번쯤 써보셨을 겁니다. 놀라운 결과물에 감탄하다가도, 매달 나가는 구독료와 생성 횟수 제한에 아쉬움을 느끼셨을 수도 있고요. 혹시 ‘내 컴퓨터에서 이런 이미지를 무제한으로 만들 수 있다면?’이라고 생각해 보신 적 있으신가요?

2026년 현재, 로컬 AI 이미지 생성 기술은 놀라울 정도로 성숙해졌습니다. 특히 ComfyUI라는 오픈소스 도구는 노드 기반의 직관적인 워크플로우 편집기를 제공하면서도, 전문가 수준의 이미지 생성 파이프라인을 자유자재로 구성할 수 있게 해줍니다. 구독료 0원, 생성 횟수 무제한, 그리고 내 데이터가 외부로 나가지 않는 완전한 프라이버시까지 보장됩니다.

이 글에서는 AI 이미지 생성이 처음인 분도 따라 할 수 있도록, ComfyUI의 설치부터 첫 이미지 생성, 그리고 실전에서 바로 활용할 수 있는 워크플로우까지 단계별로 안내해 드리겠습니다. 블로그 썸네일, SNS 콘텐츠, 프레젠테이션 이미지 등 일상에서 바로 써먹을 수 있는 실용적인 내용 위주로 구성했습니다.

ComfyUI란 무엇인가 – 다른 도구와의 차이점

ComfyUI의 핵심 개념

ComfyUI는 Stable Diffusion 기반의 이미지 생성 모델을 실행할 수 있는 노드 기반 그래픽 인터페이스입니다. ‘노드 기반’이라고 하면 어렵게 느껴질 수 있지만, 쉽게 말해 레고 블록처럼 기능 블록들을 연결해서 이미지 생성 과정을 눈으로 보면서 조립하는 방식입니다.

예를 들어 ‘텍스트 입력’ 블록에 원하는 이미지 설명을 적고, ‘모델 로드’ 블록에서 사용할 AI 모델을 선택하고, ‘이미지 생성’ 블록을 연결한 뒤, ‘이미지 저장’ 블록까지 이어주면 하나의 워크플로우가 완성됩니다. 이 워크플로우를 한 번 만들어 두면 텍스트만 바꿔가며 무한히 이미지를 생성할 수 있습니다.

WebUI와 ComfyUI, 어떤 게 나을까?

로컬 AI 이미지 생성 도구로는 크게 Automatic1111 WebUI(또는 후속작 Forge)와 ComfyUI 두 가지가 대표적입니다. 각각의 특징을 비교해 보겠습니다.

• Automatic1111 WebUI / Forge: 전통적인 폼 기반 UI로, 설정값을 입력하고 버튼을 누르는 방식입니다. 초보자에게 직관적이지만, 복잡한 워크플로우를 구성하기 어렵고 커스터마이징에 한계가 있습니다.
• ComfyUI: 노드 기반 UI로 초기 학습 곡선이 있지만, 한번 익히면 어떤 복잡한 파이프라인도 자유롭게 구성할 수 있습니다. 메모리 효율이 뛰어나 같은 GPU에서 더 큰 이미지를 생성할 수 있고, 처리 속도도 일반적으로 더 빠릅니다.

2026년 현재 커뮤니티의 흐름은 확실히 ComfyUI 쪽으로 기울고 있습니다. 새로운 모델이나 기법이 나오면 ComfyUI용 커스텀 노드가 가장 먼저 공개되는 경우가 많고, 워크플로우를 파일로 저장하고 공유할 수 있어서 다른 사람이 만든 고급 워크플로우를 그대로 불러와 사용할 수 있다는 것도 큰 장점입니다.

클라우드 서비스 대비 로컬 생성의 장점

Midjourney나 DALL-E 같은 클라우드 서비스 대비 ComfyUI를 내 PC에서 돌리면 얻는 이점을 정리해 보겠습니다.

• 비용: 초기 GPU 투자 외에 추가 비용이 전혀 없습니다. Midjourney 기본 플랜이 월 10달러, 프로 플랜이 월 60달러인 것을 감안하면 몇 달만 사용해도 충분히 본전을 뽑습니다.
• 생성 횟수 제한 없음: 클라우드 서비스는 플랜별 생성 횟수가 정해져 있지만, 로컬에서는 전기세 외에 제한이 없습니다.
• 프라이버시: 생성한 이미지와 프롬프트가 외부 서버로 전송되지 않습니다. 민감한 비즈니스 이미지나 개인적인 창작물을 안심하고 만들 수 있습니다.
• 자유도: 클라우드 서비스에는 콘텐츠 정책에 따른 제한이 있지만, 로컬에서는 합법적인 범위 내에서 원하는 스타일의 이미지를 자유롭게 생성할 수 있습니다.
• 오프라인 사용: 인터넷 없이도 이미지를 생성할 수 있습니다. 모델 파일만 미리 다운로드해 두면 됩니다.

ComfyUI 설치 – 윈도우 PC 기준 완전 가이드

최소 사양과 권장 사양

ComfyUI를 원활하게 사용하기 위한 PC 사양을 먼저 확인해 보겠습니다.

• 최소 사양: NVIDIA GPU (VRAM 4GB 이상), RAM 8GB, 저장 공간 20GB 이상
• 권장 사양: NVIDIA RTX 3060 12GB 이상, RAM 16GB 이상, SSD 저장 공간 50GB 이상
• 쾌적한 사용: NVIDIA RTX 4070 이상 (VRAM 12GB+), RAM 32GB, NVMe SSD

VRAM(비디오 메모리)이 가장 중요한 요소입니다. VRAM이 클수록 더 큰 해상도의 이미지를 빠르게 생성할 수 있습니다. 최신 SDXL 기반 모델은 최소 8GB VRAM을 권장하며, Flux 모델 계열은 12GB 이상이면 쾌적합니다.

AMD GPU를 사용하시는 분도 DirectML 백엔드를 통해 ComfyUI를 실행할 수 있지만, NVIDIA CUDA 대비 속도가 느리고 일부 기능에 제한이 있을 수 있습니다. 가능하다면 NVIDIA GPU 환경을 추천드립니다.

설치 방법 1: 원클릭 설치 패키지 (초보자 추천)

ComfyUI는 Python 환경 위에서 동작하지만, 직접 Python을 설치하고 의존성을 관리할 필요 없이 원클릭 설치 패키지를 사용하면 매우 간편하게 시작할 수 있습니다.

1단계: ComfyUI 포터블 패키지 다운로드

ComfyUI 공식 GitHub 저장소의 Releases 페이지에서 최신 Windows 포터블 패키지를 다운로드합니다. 파일명은 보통 ComfyUI_windows_portable_nvidia.7z 형태입니다. 압축 파일 크기가 약 1.5GB 정도이니 여유 있는 저장 공간에 다운로드해 주세요.

2단계: 압축 해제

다운로드한 7z 파일을 원하는 위치에 압축 해제합니다. 경로에 한글이나 특수문자가 포함되지 않도록 주의해 주세요. 예를 들어 D:\ComfyUI 같은 경로가 이상적입니다. 압축 해제 후 폴더 구조는 다음과 같습니다.

• ComfyUI/: 메인 프로그램 폴더
• python_embeded/: 내장 Python 환경
• run_nvidia_gpu.bat: 실행 파일

3단계: 첫 실행

run_nvidia_gpu.bat 파일을 더블클릭하면 콘솔 창이 열리면서 ComfyUI가 시작됩니다. 처음 실행 시 필요한 파일을 자동으로 다운로드하므로 인터넷 연결이 필요합니다. 콘솔에 “To see the GUI go to: http://127.0.0.1:8188” 메시지가 나타나면, 웹 브라우저에서 해당 주소로 접속하면 ComfyUI 인터페이스가 열립니다.

설치 방법 2: 수동 설치 (고급 사용자)

이미 Python과 Git이 설치되어 있고, 가상 환경 관리에 익숙한 분이라면 수동 설치도 가능합니다.

먼저 터미널에서 ComfyUI 저장소를 클론합니다. 그런 다음 해당 폴더로 이동하여 Python 가상 환경을 생성하고 활성화합니다. pip로 PyTorch(CUDA 버전)와 ComfyUI의 requirements.txt를 설치한 후, python main.py 명령으로 실행하면 됩니다.

수동 설치의 장점은 Python 버전이나 PyTorch 버전을 세밀하게 제어할 수 있다는 점이고, 여러 AI 프로젝트와 환경을 분리해서 관리할 수 있다는 점입니다.

ComfyUI Manager 설치 – 필수 확장 프로그램

ComfyUI를 설치했다면 바로 다음에 해야 할 것은 ComfyUI Manager를 설치하는 것입니다. ComfyUI Manager는 커스텀 노드(확장 기능)의 설치, 업데이트, 삭제를 UI에서 간편하게 할 수 있게 해주는 필수 도구입니다.

설치 방법은 간단합니다. ComfyUI를 종료한 상태에서 ComfyUI/custom_nodes/ 폴더로 이동한 뒤, ComfyUI-Manager 저장소를 git clone으로 받으면 됩니다. 이후 ComfyUI를 다시 시작하면 인터페이스 우측 상단에 Manager 버튼이 추가된 것을 확인할 수 있습니다.

Manager 버튼을 클릭하면 다음과 같은 기능을 사용할 수 있습니다.

• Install Custom Nodes: 수백 가지 커스텀 노드를 검색하고 원클릭으로 설치
• Install Models: 체크포인트, LoRA, VAE 등 모델 파일을 직접 다운로드
• Update All: 설치된 모든 커스텀 노드를 최신 버전으로 업데이트
• Install Missing Nodes: 불러온 워크플로우에 필요한 미설치 노드를 자동 감지하고 설치

AI 이미지 생성 모델 이해하기 – 어떤 모델을 써야 할까

Stable Diffusion 모델의 세대별 특징

ComfyUI에서 사용할 수 있는 이미지 생성 모델은 매우 다양합니다. 대표적인 모델 계열과 특징을 정리해 보겠습니다.

SD 1.5 계열

• 가장 오래된 모델이지만 여전히 활발하게 사용됩니다.
• VRAM 4GB로도 실행 가능하여 저사양 PC에 적합합니다.
• 기본 해상도 512×512로, 업스케일을 함께 사용하는 것이 일반적입니다.
• 커뮤니티에서 만든 파생 모델(체크포인트)과 LoRA가 가장 풍부합니다.
• 대표 모델: Realistic Vision, DreamShaper, Deliberate 등

SDXL 계열

• SD 1.5의 후속 모델로, 이미지 품질이 크게 향상되었습니다.
• 기본 해상도 1024×1024, VRAM 8GB 이상을 권장합니다.
• 텍스트 이해력이 좋아져서 복잡한 프롬프트도 잘 반영합니다.
• 대표 모델: Juggernaut XL, RealVisXL, DreamShaper XL 등

Flux 계열 (2024~2025)

• Black Forest Labs에서 개발한 차세대 모델입니다.
• 텍스트 렌더링 능력이 획기적으로 개선되어, 이미지 안에 글자를 자연스럽게 넣을 수 있습니다.
• 프롬프트 이해력이 매우 뛰어나 자연어에 가까운 설명으로도 원하는 이미지를 생성합니다.
• VRAM 12GB 이상을 권장하며, FP8 양자화 버전을 사용하면 8GB로도 실행 가능합니다.
• 대표 모델: Flux.1 Dev, Flux.1 Schnell(빠른 생성용) 등

Stable Diffusion 3.5 / SD Ultra (2025~2026)

• Stability AI의 최신 모델로, 기존 SD 시리즈의 정통 후속작입니다.
• MMDiT(Multi-Modal Diffusion Transformer) 아키텍처를 사용합니다.
• 다양한 크기 변형이 제공되어 하드웨어에 맞게 선택할 수 있습니다.
• VRAM 요구 사양은 모델 크기에 따라 8GB~16GB입니다.

모델 다운로드와 설치

모델 파일은 주로 Civitai와 Hugging Face에서 다운로드할 수 있습니다. Civitai는 커뮤니티 기반 플랫폼으로 각 모델의 예시 이미지와 사용자 리뷰를 확인할 수 있어 초보자에게 특히 유용합니다. Hugging Face는 공식 모델 배포에 주로 사용됩니다.

다운로드한 모델 파일은 ComfyUI 폴더 내 적절한 위치에 넣어야 합니다.

• 체크포인트 모델(.safetensors, .ckpt): ComfyUI/models/checkpoints/
• LoRA 모델: ComfyUI/models/loras/
• VAE 모델: ComfyUI/models/vae/
• ControlNet 모델: ComfyUI/models/controlnet/
• 업스케일 모델: ComfyUI/models/upscale_models/

처음 시작하신다면 Flux.1 Dev FP8 또는 Juggernaut XL 중 하나를 추천드립니다. Flux.1 Dev FP8은 파일 크기 약 11GB로 프롬프트 반응이 매우 좋고, Juggernaut XL은 약 6.5GB로 사실적인 이미지 생성에 특화되어 있습니다.

LoRA란 무엇인가

LoRA(Low-Rank Adaptation)는 기본 모델에 추가로 적용하는 소형 보조 모델입니다. 기본 모델을 교체하지 않고도 특정 스타일, 캐릭터, 개념을 학습시킨 LoRA를 얹어서 이미지의 스타일이나 내용을 세밀하게 조절할 수 있습니다.

예를 들어 기본 모델로 사실적인 사진 스타일의 이미지를 생성하되, 수채화 스타일 LoRA를 적용하면 수채화 느낌의 이미지가 나옵니다. LoRA 파일은 보통 10~200MB 정도로 가벼우며, 여러 LoRA를 동시에 적용하는 것도 가능합니다. 각 LoRA의 영향력(가중치)을 0에서 1 사이로 조절할 수 있어서, 미세한 스타일 조정이 가능합니다.

ComfyUI 인터페이스 완전 정복

기본 화면 구성

ComfyUI에 처음 접속하면 노드들이 연결된 기본 워크플로우가 보입니다. 처음에는 복잡해 보일 수 있지만, 각 노드의 역할만 이해하면 금방 익숙해집니다.

기본 워크플로우의 노드 구성

• Load Checkpoint: 사용할 AI 모델을 선택하는 노드입니다. 드롭다운에서 models/checkpoints/ 폴더에 넣어둔 모델을 선택합니다.
• CLIP Text Encode (Positive): 원하는 이미지를 설명하는 프롬프트를 입력하는 노드입니다. 여기에 생성하고 싶은 이미지의 특징을 영어로 적습니다.
• CLIP Text Encode (Negative): 이미지에 포함하고 싶지 않은 요소를 적는 네거티브 프롬프트 노드입니다.
• KSampler: 실제 이미지 생성을 담당하는 핵심 노드입니다. 샘플링 단계 수, 생성 방법(샘플러), CFG 스케일 등을 설정합니다.
• Empty Latent Image: 생성할 이미지의 해상도를 설정하는 노드입니다.
• VAE Decode: AI가 생성한 잠재 공간(latent) 데이터를 실제 이미지로 변환하는 노드입니다.
• Save Image / Preview Image: 최종 이미지를 저장하거나 미리보기하는 노드입니다.

노드 연결의 원리

각 노드에는 입력(왼쪽)과 출력(오른쪽) 포트가 있으며, 같은 색상의 포트끼리 연결할 수 있습니다. 색상별 데이터 타입은 다음과 같습니다.

• 보라색: MODEL (AI 모델 데이터)
• 노란색: CLIP (텍스트 인코딩)
• 빨간색: VAE (이미지 인코더/디코더)
• 주황색: CONDITIONING (프롬프트 조건)
• 분홍색: LATENT (잠재 이미지 데이터)
• 초록색: IMAGE (최종 이미지)

노드 사이의 연결선(와이어)을 통해 데이터가 흐르는 방향을 시각적으로 확인할 수 있으므로, 전체 이미지 생성 파이프라인의 흐름을 한눈에 파악할 수 있습니다. 이것이 ComfyUI의 가장 큰 장점입니다.

필수 단축키와 조작법

ComfyUI를 효율적으로 사용하기 위해 반드시 알아야 할 조작법을 정리합니다.

• 빈 공간 더블클릭: 노드 검색 및 추가 메뉴 열기
• Ctrl + Enter: 워크플로우 실행 (이미지 생성 시작)
• Ctrl + S: 현재 워크플로우를 JSON 파일로 저장
• Ctrl + O: 저장된 워크플로우 JSON 파일 불러오기
• Ctrl + D: 선택한 노드 복제
• Delete / Backspace: 선택한 노드 삭제
• Ctrl + M: 선택한 노드 음소거 (비활성화)
• 마우스 휠: 캔버스 확대/축소
• 마우스 우클릭: 컨텍스트 메뉴 (노드 추가, 연결 관리 등)
• Ctrl + A: 모든 노드 선택

첫 번째 이미지 생성 – 단계별 실습

기본 워크플로우로 이미지 만들기

ComfyUI를 처음 실행하면 기본 워크플로우가 로드되어 있습니다. 이 상태에서 바로 이미지를 생성해 보겠습니다.

Step 1: 모델 선택

Load Checkpoint 노드에서 다운로드해 둔 모델을 선택합니다. 처음이라면 Flux.1 Dev 또는 SDXL 계열 모델을 선택해 보세요.

Step 2: 프롬프트 작성

Positive 프롬프트 노드에 원하는 이미지를 설명합니다. 처음에는 간단하게 시작하는 것이 좋습니다. 예를 들어 이렇게 작성해 볼 수 있습니다.

예시 프롬프트: “A cozy Korean cafe interior, warm afternoon sunlight streaming through large windows, wooden furniture, potted plants, a cup of coffee on the table, realistic photo style, high quality, detailed”

프롬프트는 영어로 작성하는 것이 결과가 좋습니다. 한글 프롬프트를 지원하는 모델도 있지만, 대부분의 모델은 영어 데이터셋으로 학습되어 있어 영어 프롬프트에서 최상의 결과를 보여줍니다.

Step 3: 네거티브 프롬프트 설정

Negative 프롬프트 노드에는 원하지 않는 요소를 적습니다. 일반적으로 많이 사용하는 네거티브 프롬프트의 예시는 다음과 같습니다.

“blurry, low quality, distorted, deformed, ugly, watermark, text, signature, cropped”

단, Flux 모델 계열은 네거티브 프롬프트가 작동하지 않으므로 비워두어도 됩니다.

Step 4: 해상도 설정

Empty Latent Image 노드에서 생성할 이미지의 해상도를 설정합니다. 모델별 권장 해상도는 다음과 같습니다.

• SD 1.5: 512×512, 512×768
• SDXL: 1024×1024, 832×1216, 1216×832
• Flux: 1024×1024, 768×1360, 1360×768

모델의 학습 해상도에 맞추는 것이 중요합니다. 학습 해상도와 크게 다른 해상도를 설정하면 이상한 구도나 반복 패턴이 나타날 수 있습니다.

Step 5: KSampler 설정

KSampler 노드의 주요 파라미터를 살펴보겠습니다.

• seed: 이미지 생성의 시드값입니다. 같은 시드와 같은 설정이면 동일한 이미지가 생성됩니다. randomize로 설정하면 매번 다른 이미지가 나옵니다.
• steps: 이미지 생성에 사용할 단계 수입니다. 높을수록 품질이 좋아지지만 생성 시간이 길어집니다. 보통 20~30이 적당합니다.
• cfg: 프롬프트 반영 강도입니다. 높을수록 프롬프트에 충실하지만 너무 높으면 이미지가 부자연스러워집니다. 일반적으로 5~8 사이를 권장합니다. Flux 모델은 1~2로 낮게 설정합니다.
• sampler_name: 샘플링 알고리즘입니다. euler, dpmpp_2m, dpmpp_sde 등이 있으며, 각각 결과물의 느낌이 약간씩 다릅니다. 초보자는 euler 또는 dpmpp_2m을 추천합니다.
• scheduler: 노이즈 스케줄링 방식입니다. normal, karras, sgm_uniform 등이 있으며, karras가 일반적으로 좋은 결과를 보여줍니다.

Step 6: 이미지 생성 실행

모든 설정이 끝났으면 Ctrl + Enter를 누르거나 상단의 Queue Prompt 버튼을 클릭합니다. GPU가 작동하면서 이미지가 생성되기 시작하고, 몇 초에서 몇십 초 후 결과 이미지가 Preview Image 노드에 표시됩니다.

첫 이미지가 마음에 들지 않더라도 걱정하지 마세요. seed를 randomize로 설정하고 여러 번 생성해 보면서 마음에 드는 결과를 찾아가는 것이 일반적인 작업 방식입니다.

프롬프트 작성 팁 – 원하는 이미지를 얻는 비법

좋은 이미지를 생성하기 위한 프롬프트 작성 요령을 알려드리겠습니다.

구조화된 프롬프트 작성법

프롬프트는 다음 순서로 작성하면 효과적입니다.

• 주제: 무엇을 그릴 것인가 (예: a Korean woman, a mountain landscape)
• 상세 묘사: 구체적인 특징 (예: wearing a blue dress, cherry blossoms in bloom)
• 환경/배경: 장소와 분위기 (예: in a traditional Korean garden, golden hour lighting)
• 스타일/품질: 원하는 스타일과 품질 키워드 (예: professional photograph, cinematic lighting, 8k detailed)

효과적인 키워드

• 품질 향상: masterpiece, best quality, highly detailed, professional, sharp focus
• 조명: natural lighting, golden hour, soft light, dramatic lighting, studio lighting
• 카메라: shot on Canon EOS R5, 85mm lens, shallow depth of field, bokeh
• 스타일: photorealistic, oil painting style, watercolor, anime style, illustration

Flux 모델 전용 팁

Flux 모델은 기존 모델과 다르게 자연어 문장으로 프롬프트를 작성하는 것이 더 효과적입니다. 키워드를 나열하는 대신 “A photograph of a cozy Korean cafe with warm sunlight coming through the windows, shot in the style of a lifestyle magazine, with a shallow depth of field focusing on a latte art coffee cup”처럼 문장으로 써보세요. Flux는 이런 자연어 설명을 매우 잘 이해합니다.

실전 워크플로우 – 바로 써먹는 활용 사례

활용 1: 블로그 썸네일 이미지 만들기

블로그 운영자에게 가장 실용적인 활용 사례입니다. 매번 무료 스톡 이미지를 찾아 헤매는 대신, 글의 주제에 딱 맞는 썸네일을 직접 생성할 수 있습니다.

블로그 썸네일 생성 워크플로우 구성

• 해상도: 1200×630 (소셜 미디어 공유에 최적화된 비율) 또는 1920×1080
• 모델: Flux.1 Dev (텍스트가 들어간 썸네일) 또는 Juggernaut XL (사실적인 이미지)
• 프롬프트 패턴 예시: “A clean and modern blog thumbnail image about [주제], minimalist design, professional look, vibrant colors, high contrast”

여행 블로그 글의 썸네일이라면 “A stunning aerial view of Jeju Island coastline, turquoise ocean, volcanic rocks, sunny spring day, travel photography style”과 같이 구체적으로 묘사하면 됩니다. 카페 리뷰 글이라면 “A beautiful latte art in a ceramic cup, cozy cafe background with warm tones, food photography, soft natural light” 같은 프롬프트를 사용할 수 있습니다.

활용 2: SNS 콘텐츠용 이미지

인스타그램, 페이스북 등 SNS에 올릴 이미지를 AI로 제작할 수 있습니다. 특히 제품 홍보, 이벤트 안내, 감성 이미지 등에 유용합니다.

인스타그램 피드용 설정

• 해상도: 1024×1024 (정사각형) 또는 864×1080 (4:5 세로)
• 스타일에 따라 다양한 LoRA를 활용합니다. 예를 들어 플랫 일러스트 스타일, 수채화 스타일, 네온사인 스타일 등 원하는 분위기의 LoRA를 적용하면 일관된 피드 톤을 만들 수 있습니다.

활용 3: 프레젠테이션 비주얼 자료

발표 자료에 들어갈 비주얼 이미지를 AI로 만들면, 기존 스톡 이미지와는 차별화된 인상적인 프레젠테이션을 만들 수 있습니다. 특히 추상적인 개념(혁신, 성장, 연결 등)을 시각화할 때 매우 유용합니다.

예를 들어 ‘디지털 전환’ 관련 발표라면 “Abstract concept of digital transformation, interconnected nodes of light flowing from traditional brick building to futuristic holographic displays, blue and purple tones, corporate presentation style” 같은 프롬프트로 멋진 개념 이미지를 만들 수 있습니다.

활용 4: ControlNet으로 정밀한 이미지 제어

단순히 텍스트로만 이미지를 생성하는 것에는 한계가 있습니다. 특정 포즈, 구도, 윤곽선을 따라 이미지를 생성하고 싶다면 ControlNet을 사용하면 됩니다.

ControlNet은 참조 이미지의 특정 정보(윤곽선, 깊이, 포즈 등)를 추출하여 이를 가이드로 삼아 새로운 이미지를 생성하는 기술입니다. 주요 ControlNet 프리프로세서와 활용 방법은 다음과 같습니다.

• Canny Edge: 참조 이미지의 윤곽선을 추출합니다. 특정 구도나 형태를 유지하면서 스타일만 바꾸고 싶을 때 사용합니다.
• Depth: 참조 이미지의 깊이 정보를 추출합니다. 실내 공간이나 건축물의 구조를 유지하면서 인테리어 스타일을 바꿀 때 유용합니다.
• OpenPose: 인물의 자세와 포즈 정보를 추출합니다. 특정 포즈를 재현하거나, 여러 인물이 있는 장면을 구성할 때 사용합니다.
• Scribble: 대략적인 스케치를 기반으로 이미지를 생성합니다. 간단한 손그림만으로도 완성도 높은 이미지를 만들 수 있습니다.

ComfyUI에서 ControlNet을 사용하려면 ControlNet 전용 모델을 다운로드하여 models/controlnet/ 폴더에 넣고, Apply ControlNet 노드를 워크플로우에 추가하여 연결하면 됩니다.

활용 5: 이미지 업스케일 – 저해상도를 고해상도로

AI로 생성한 이미지를 더 큰 해상도로 확대하고 싶을 때 업스케일 기능을 사용합니다. 단순 확대가 아니라 AI가 디테일을 추가하면서 확대하기 때문에 매우 깨끗한 결과를 얻을 수 있습니다.

업스케일 워크플로우 구성

• 방법 1 – 모델 기반 업스케일: RealESRGAN, 4x-UltraSharp 같은 업스케일 전용 모델을 사용하는 방법입니다. 빠르고 간편하며, 단순 확대에 적합합니다.
• 방법 2 – Hires Fix (고해상도 재생성): 이미지를 확대한 뒤 다시 AI 샘플링을 거쳐 디테일을 추가하는 방법입니다. 시간이 더 걸리지만 결과물의 품질이 매우 높습니다.

일반적으로 방법 1로 먼저 업스케일한 뒤 방법 2를 적용하는 2단계 업스케일이 가장 좋은 결과를 보여줍니다. KSampler의 denoise 값을 0.3~0.5 정도로 설정하면 원본의 구도를 유지하면서 디테일만 보강됩니다.

고급 기능과 커스텀 노드 추천

필수 커스텀 노드 TOP 5

ComfyUI의 진정한 힘은 커뮤니티에서 만든 수백 가지 커스텀 노드에 있습니다. 그중에서 실사용에서 특히 유용한 것들을 추천드립니다.

1. WAS Node Suite

이미지 처리, 텍스트 조작, 수학 연산 등 200개 이상의 유틸리티 노드를 제공하는 종합 패키지입니다. 이미지 크기 조절, 텍스트 합성, 배치 처리 등 기본적인 작업에 필수적입니다.

2. ComfyUI Impact Pack

얼굴 인식 및 보정(FaceDetailer), 영역별 세밀한 제어(SAM Detector), 마스크 기반 부분 재생성 등 고급 기능을 제공합니다. 특히 FaceDetailer는 인물 이미지에서 얼굴 품질을 자동으로 향상시켜줘서 거의 필수입니다.

3. ComfyUI Essentials

이미지 합성, 마스크 처리, 배치 작업 등 워크플로우 구성에 필요한 핵심 유틸리티를 제공합니다. 특히 이미지 블렌딩과 마스크 연산 기능이 자주 쓰입니다.

4. rgthree’s ComfyUI Nodes

워크플로우의 가독성과 편의성을 높여주는 노드 모음입니다. 여러 LoRA를 한 노드에서 관리하는 Power Lora Loader, 시각적으로 깔끔한 Reroute 노드 등이 포함되어 있습니다.

5. ComfyUI IPAdapter Plus

참조 이미지의 스타일이나 구성 요소를 새로운 이미지에 반영할 수 있는 노드입니다. ControlNet이 구조적 특징을 제어한다면, IPAdapter는 스타일적 특징(색감, 분위기, 질감 등)을 제어합니다. 특정 브랜드의 톤앤매너를 일관되게 유지하면서 다양한 이미지를 생성하는 데 매우 유용합니다.

워크플로우 공유와 커뮤니티 활용

ComfyUI의 가장 큰 장점 중 하나는 워크플로우를 JSON 파일로 저장하고 공유할 수 있다는 점입니다. 다른 사람이 만든 고급 워크플로우를 그대로 불러와서 바로 사용할 수 있습니다.

워크플로우를 찾을 수 있는 곳

• OpenArt.ai: ComfyUI 워크플로우 전문 공유 플랫폼으로, 수천 가지 워크플로우를 카테고리별로 찾을 수 있습니다.
• Civitai: 모델과 함께 해당 모델에 최적화된 워크플로우를 공유하는 경우가 많습니다.
• Reddit r/comfyui: 사용자들이 자신만의 워크플로우를 공유하고 토론하는 커뮤니티입니다.
• YouTube: 워크플로우 구축 과정을 영상으로 설명하는 튜토리얼이 풍부합니다.

워크플로우 JSON 파일을 불러올 때 누락된 커스텀 노드가 있으면 ComfyUI Manager의 Install Missing Nodes 기능으로 한 번에 설치할 수 있어서, 다른 사람의 워크플로우를 바로 사용하는 것이 매우 간편합니다.

배치 생성과 자동화

ComfyUI에서는 여러 이미지를 한 번에 생성하는 배치 작업도 가능합니다. Queue Prompt 옆의 숫자를 늘리면 해당 횟수만큼 연속으로 이미지를 생성합니다. seed를 randomize로 설정해 두면 매번 다른 이미지가 생성되므로, 잠깐 자리를 비운 사이에 수십 장의 이미지를 만들어 놓고 그중에서 마음에 드는 것을 고를 수 있습니다.

더 고급 자동화를 원한다면 ComfyUI의 API 모드를 활용할 수 있습니다. ComfyUI는 웹소켓 기반 API를 제공하므로, Python 스크립트나 다른 애플리케이션에서 프롬프트와 설정을 프로그래밍적으로 전송하여 이미지를 자동 생성할 수 있습니다. 이를 활용하면 스프레드시트의 제품 목록을 읽어서 각 제품별 이미지를 자동 생성하는 것도 가능합니다.

성능 최적화 – 더 빠르고 효율적으로

VRAM 절약 팁

VRAM이 부족하면 이미지 생성 중 오류가 발생하거나 속도가 크게 저하됩니다. VRAM을 효율적으로 사용하기 위한 팁을 알려드립니다.

• FP8 양자화 모델 사용: FP16 모델 대비 VRAM 사용량이 절반으로 줄어들면서 품질 차이는 거의 없습니다. 특히 Flux 모델은 FP8 버전 사용을 강력히 권장합니다.
• –lowvram 또는 –medvram 옵션: ComfyUI 실행 시 이 옵션을 추가하면 모델의 일부를 시스템 RAM으로 오프로드하여 VRAM 사용량을 줄입니다. 속도는 다소 느려지지만 VRAM 부족 오류를 방지할 수 있습니다.
• VAE 타일링: 대용량 이미지의 VAE 디코딩 시 메모리 부족 오류가 발생할 때, VAE Decode (Tiled) 노드를 사용하면 이미지를 타일 단위로 나눠서 처리하므로 VRAM을 절약할 수 있습니다.
• 불필요한 프로그램 종료: 크롬 브라우저나 다른 GPU 가속 프로그램이 VRAM을 점유하고 있을 수 있습니다. 이미지 생성 시에는 불필요한 프로그램을 종료하면 더 많은 VRAM을 확보할 수 있습니다.

속도 향상 팁

• xformers 또는 PyTorch 2.0+ Attention: ComfyUI는 기본적으로 최적화된 어텐션 메커니즘을 사용하지만, xformers를 설치하면 추가적인 속도 향상을 얻을 수 있습니다.
• 적절한 Steps 수 설정: Steps를 무작정 높이는 것은 시간 낭비입니다. 대부분의 모델은 20~30 Steps에서 충분히 좋은 결과를 보여줍니다. Flux Schnell 모델은 4~8 Steps만으로도 괜찮은 이미지를 생성합니다.
• 프리뷰 활용: 낮은 Steps(10~15)로 빠르게 여러 장을 생성하여 구도와 분위기를 확인한 뒤, 마음에 드는 시드로 Steps를 높여서 최종 이미지를 생성하는 전략이 효율적입니다.
• 모델 캐싱: ComfyUI는 한 번 로드한 모델을 메모리에 유지합니다. 같은 모델을 계속 사용하면 모델 로딩 시간이 절약됩니다. 모델을 자주 바꾸면 그만큼 로딩 시간이 추가되니, 한 모델로 집중 작업하는 것이 효율적입니다.

결과물 품질 향상 팁

• FaceDetailer 활용: 인물 이미지에서 얼굴이 뭉개지거나 비대칭이 나타날 때, Impact Pack의 FaceDetailer를 사용하면 얼굴 영역만 자동으로 감지하여 고품질로 재생성합니다.
• 2단계 생성: 먼저 기본 해상도로 이미지를 생성한 뒤, 그 이미지를 img2img 방식으로 업스케일하면서 디테일을 추가하는 2단계 방식이 가장 좋은 품질을 보여줍니다.
• LoRA 조합: 기본 모델에 스타일 LoRA와 디테일 LoRA를 적절히 조합하면 원하는 느낌의 이미지를 더 정확하게 얻을 수 있습니다. 각 LoRA의 가중치를 0.5~0.8 사이로 조절하면서 최적의 조합을 찾아보세요.

자주 묻는 질문과 문제 해결

설치 및 실행 관련 문제

Q: “CUDA out of memory” 오류가 발생합니다.

VRAM이 부족할 때 나타나는 오류입니다. 해상도를 낮추거나, FP8 양자화 모델을 사용하거나, –lowvram 옵션으로 실행해 보세요. 그래도 해결되지 않으면 SD 1.5 계열의 가벼운 모델을 사용하는 것을 권장합니다.

Q: 이미지 생성 속도가 너무 느립니다.

Steps 수를 줄여보세요. 20 Steps 정도면 대부분 충분합니다. 또한 해상도를 모델의 기본 해상도에 맞추고, 업스케일은 별도 단계로 처리하는 것이 효율적입니다. NVIDIA GPU 드라이버가 최신 버전인지도 확인해 보세요.

Q: ComfyUI가 실행되지 않거나 브라우저에서 접속이 안 됩니다.

콘솔 창의 오류 메시지를 확인하세요. 포트 충돌이라면 –port 옵션으로 다른 포트를 지정할 수 있습니다. Windows 방화벽이 차단하는 경우도 있으니 방화벽 설정도 확인해 보세요.

이미지 품질 관련 문제

Q: 인물 이미지에서 손가락이 이상하게 나옵니다.

AI 이미지 생성의 고질적인 문제이지만, 최신 모델(Flux 계열)에서는 크게 개선되었습니다. 네거티브 프롬프트에 “bad hands, extra fingers, mutated hands”를 추가하고, FaceDetailer와 유사한 방식의 HandDetailer를 적용해 볼 수 있습니다.

Q: 생성된 이미지가 프롬프트와 전혀 다릅니다.

CFG 스케일을 조절해 보세요. 너무 낮으면(1~3) 프롬프트 반영이 약하고, 너무 높으면(15 이상) 이미지가 부자연스러워집니다. 또한 프롬프트가 너무 길면 뒷부분이 무시될 수 있으니, 핵심 키워드를 앞에 배치하세요.

Q: 같은 프롬프트인데 매번 다른 결과가 나옵니다.

이것은 정상입니다. seed 값이 달라지면 다른 이미지가 생성됩니다. 마음에 드는 결과가 나왔을 때 해당 seed 값을 기록해 두면, 나중에 같은 이미지를 다시 생성하거나 비슷한 변형을 만들 수 있습니다.

모델 및 워크플로우 관련

Q: 워크플로우를 불러왔는데 빨간색 노드가 보입니다.

해당 노드에 필요한 커스텀 노드가 설치되지 않은 것입니다. ComfyUI Manager의 Install Missing Nodes를 사용하면 자동으로 필요한 커스텀 노드를 찾아서 설치해 줍니다.

Q: 어떤 모델을 써야 할지 모르겠습니다.

사실적인 사진 스타일이면 Juggernaut XL이나 RealVisXL을, 다목적 고품질 이미지는 Flux.1 Dev를, 빠른 테스트용이라면 Flux.1 Schnell을 추천합니다. Civitai에서 각 모델의 예시 이미지를 확인하고 원하는 스타일에 맞는 모델을 선택하세요.

저작권과 상업적 사용 시 주의사항

AI로 생성한 이미지를 사용할 때 저작권 문제는 반드시 알아두어야 할 부분입니다.

모델별 라이선스 확인

• Stable Diffusion 계열: 대부분 CreativeML Open RAIL-M 라이선스로, 상업적 사용이 가능하지만 불법적인 콘텐츠 생성은 금지됩니다.
• Flux.1 Dev: 비상업적 라이선스입니다. 상업적 사용을 위해서는 별도 라이선스가 필요합니다. 개인 블로그나 비영리 목적이라면 자유롭게 사용 가능합니다.
• Flux.1 Schnell: Apache 2.0 라이선스로, 상업적 사용이 자유롭습니다.

한국에서의 AI 생성 이미지 저작권

2026년 현재 한국 저작권법상 AI가 자율적으로 생성한 이미지는 저작권이 인정되지 않는 것이 일반적 해석입니다. 다만, 사람이 창작적 기여(프롬프트 설계, 후보정, 편집 등)를 상당 부분 했다면 저작권이 인정될 여지가 있습니다. 이 분야의 법적 해석은 계속 발전하고 있으므로, 상업적으로 중요한 이미지는 법률 전문가의 조언을 받는 것이 안전합니다.

개인 블로그, SNS 포스팅, 프레젠테이션 자료 등 일상적인 용도로 사용하는 것은 대부분 문제가 없습니다.

ComfyUI와 함께하는 창작의 시작

여기까지 ComfyUI의 설치부터 실전 활용까지 전반적인 내용을 살펴보았습니다. 처음에는 노드 기반 인터페이스가 낯설게 느껴질 수 있지만, 기본 워크플로우를 이해하고 나면 레고 블록을 조립하듯 자유롭게 이미지 생성 파이프라인을 구성할 수 있게 됩니다.

중요한 것은 일단 시작해 보는 것입니다. 기본 워크플로우에서 프롬프트만 바꿔가며 이미지를 생성해 보세요. 어떤 키워드가 어떤 효과를 내는지 직접 눈으로 확인하다 보면 자연스럽게 감이 잡힙니다. 그 다음에 LoRA를 추가해 보고, ControlNet도 시도해 보고, 커뮤니티의 워크플로우를 불러와서 분석해 보면서 조금씩 영역을 넓혀 가면 됩니다.

블로그 썸네일, SNS 콘텐츠, 프레젠테이션 자료 등 일상에서 이미지가 필요한 순간에 스톡 이미지 사이트를 뒤지는 대신 ComfyUI를 열어보세요. 내가 원하는 바로 그 이미지를, 내 PC에서, 무료로, 무제한으로 만들 수 있다는 것은 생각보다 훨씬 큰 자유입니다.

2026년은 AI 이미지 생성 기술이 전문가의 영역에서 일상의 도구로 완전히 자리잡은 해입니다. ComfyUI로 그 흐름에 올라타 보시기 바랍니다.

이미지는 Claude AI 로 생성되었습니다.