Transformer 구조를 알면 KV 캐시는 당연해진다 — LLM 추론 속도의 비밀
Transformer 구조를 알면 KV 캐시는 당연해진다 — LLM 추론 속도의 비밀에 1개 댓글
Transformer의 Q·K·V 구조를 이해하면 KV 캐시는 자기회귀 생성의 필연적 귀결로 자연스럽게 따라옵니다. 구조 토대 위에서 메모리 공식, GQA, PagedAttention까지 하나의 인과로 연결하는 실무…