Transformer 구조를 알면 KV 캐시는 당연해진다 — LLM 추론 속도의 비밀
Transformer 구조를 알면 KV 캐시는 당연해진다 — LLM 추론 속도의 비밀에 1개 댓글
Transformer의 Q·K·V 구조를 이해하면 KV 캐시는 자기회귀 생성의 필연적 귀결로 자연스럽게 따라옵니다. 구조 토대 위에서 메모리 공식, GQA, PagedAttention까지 하나의 인과로 연결하는 실무…
RAG 청킹 전략 가이드, 문서 분할이 성능을 바꾼다
RAG 시스템에서 문서를 어떻게 나누느냐가 답변 품질을 결정합니다. 고정 크기부터 시맨틱, 컨텍스추얼 청킹까지 실전 전략을 총정리합니다.
Mac Studio M4 Ultra 512GB, LLM 돌려보니 GPU 서버가 부럽지 않더라 – 실측 비교 정리
Mac Studio M4 Ultra 512GB로 로컬 LLM을 돌리며 겪은 실전 경험을 정리했습니다. Ollama와 MLX의 성능 차이, 대형 모델에서의 통합 메모리 장점, 그리고 GPU 서버 대비 소음·전력 트레이드오프까지 실측 데이터와 함께…
[AI시대 1인 창업으로 수익내기] 1/5화: AI 1인 창업 시대, LLM이 바꾼 게임의 룰
LLM이 창업의 최소 단위를 팀에서 개인으로 바꿨습니다. 20년 금융IT 경력의 현직 개발자가 직장인을 위한 AI 1인 창업 실전 가이드를 시작합니다.