[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 13/14화: LLM 가드레일·평가 아키텍처 — Qwen3 온프레미스 안전 설계
Qwen3 온프레미스 AI의 입출력 가드레일, PII 마스킹, 휴먼인더루프, 감사 로그, 골든셋·LLM-as-Judge 평가, GPU·비용 관측 아키텍처를 설계합니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 12/14화: Qwen3 Function Calling·MCP·에이전트 오케스트레이션 실전 설계
Qwen3의 Function Calling 신뢰도를 3중 전략으로 확보하고, MCP로 사내 시스템을 안전하게 연동하며, ReAct·Plan-Execute·멀티 에이전트 패턴으로 온프레미스 AI 에이전트를 설계하는 실전 가이드입니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 11/14화: LLM 메모리 아키텍처 실전 — 단기·장기·세션 기억 설계
Qwen3 기반 온프레미스 AI Assistant의 단기·세션·장기 3계층 메모리 아키텍처를 설계합니다. 슬라이딩 윈도우, 사실 추출, 벡터 검색 인출, PII 마스킹까지 실전 코드와 스키마 포함.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 10/14화: Graph RAG·멀티모달 RAG 실전 — 고급 검색 아키텍처
단순 벡터 검색의 한계를 넘는 고급 RAG 기법 — 쿼리 재작성, 메타데이터 필터링, Graph RAG, 멀티홉, Qwen3-VL 멀티모달 RAG를 온프레미스 Qdrant·Neo4j 위에서 구축합니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 9/14화: 온프레미스 RAG 파이프라인 — bge-m3·Qdrant 자체 호스팅 실전
bge-m3 임베딩, Qdrant 자체 호스팅, RRF 하이브리드 검색, 리랭킹까지 — 외부 API 없이 온프레미스에서 완성하는 Qwen3 RAG 파이프라인 전체 구축 가이드입니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 8/14화: Qwen3 프롬프트·컨텍스트 아키텍처 실전 설계
Qwen3 Chat Template 해부, 시스템 프롬프트 4계층 설계, 토큰 예산 관리, Thinking 모드 비용 제어, 프롬프트 Git 버전 관리까지 — 컨텍스트 윈도우를 자원으로 다루는 실전 파이프라인을 구현합니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 7/14화: Qwen3-VL 서빙 실전 — 멀티모달 추론과 Visual Agent 통합 설계
Qwen3-VL 8B·30B-A3B를 vLLM으로 서빙하고, Visual Agent와 금융 문서 파이프라인을 통합하는 멀티모달 아키텍처를 설계합니다. KV 캐시 관리부터 감사 로그까지 실전 포인트를 다룹니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 6/14화: LLM 게이트웨이 구축 — 모델 라우팅과 폴백 설계
Qwen3-8B 라우터로 요청을 분류하고, LiteLLM 게이트웨이로 Mac Studio MLX·CUDA vLLM 백엔드를 통합하는 하이브리드 추론 파이프라인 설계 가이드
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 5/14화: vLLM으로 Qwen3 서빙 — FP8·텐서 병렬 실전 구축
vLLM의 PagedAttention과 Continuous Batching으로 Qwen3-30B-A3B를 듀얼 RTX 4090에서 고처리량 서빙하는 실전 구축 가이드. FP8 양자화, 텐서 병렬, KV 캐시 튜닝, Xid 장애 대응까지 다룹니다.
[온프레미스 AI Assistant 아키텍처 — Qwen3·Qwen3-VL 14일 설계] 4/14화: mlx-lm으로 Qwen3 서빙 — Mac Studio 실전 가이드
mlx-lm으로 Mac Studio에 Qwen3를 서빙하는 전 과정을 다룹니다. 메모리 계산, OpenAI 호환 서버, 벤치마크, 프로덕션 래퍼까지 완전 실전 가이드.