breakinglog
샤오미 MiMo 팀이 다음 모델 MiMo-V3에 적용할 새 어텐션 구조 HySparse2를 공개했습니다. 연구진이 공개한 80B-A3B 실험 모델은 100만 토큰 입력에서 MiMo-V2.6 계열이 사용하는 Hybrid SWA와 비교해 prefill FLOPs를 5.02배 줄였고, FP8 KV 캐시는 12.09GB에서 2.69GB로 약 4.5배 줄였습니다.
다만 이것은 MiMo-V3 완성 모델의 출시나 실제 서비스 속도 측정 결과가 아닙니다. HySparse2 논문에서 같은 규모의 실험 모델을 비교한 결과이며, MiMo 팀의 Fuli Luo도 MiMo-V3에 새 구조가 들어간다고 발표했을 뿐 모델 가중치나 API, 출시일은 아직 공개하지 않았습니다.
에이전트는 답보다 입력을 계속 다시 읽는 시간이 커집니다
일반적인 채팅은 사용자가 질문하고 모델이 답을 만드는 흐름이지만, 긴 에이전트 작업은 짧은 도구 호출 뒤에 검색 결과, 웹페이지, 코드 실행 로그처럼 훨씬 긴 관찰값이 돌아오는 일이 반복됩니다. 대화가 길어질수록 새로 들어온 긴 내용을 prefill해야 하고 이전 문맥의 KV 캐시도 계속 유지해야 해서 입력 처리 계산량과 메모리 사용량이 함께 커집니다.
HySparse2는 이 문제를 두 단계의 KV 공유로 줄입니다. 먼저 self-decoder의 full-attention 층에서 만든 hidden state를 cross-decoder가 다시 활용하는 KV Bridging을 쓰고, 각 hybrid block에서는 sparse-attention 층이 앞선 full-attention 층의 KV 캐시와 선택 인덱스를 재사용하는 KV Reuse를 사용합니다. 이 구조 덕분에 prefill 단계는 self-decoder가 끝난 뒤 cross-decoder 전체를 다시 돌지 않고 종료할 수 있습니다.
100만 토큰에서 계산량과 캐시가 얼마나 달라졌나
| 구조 | Prefill FLOPs | FP8 KV 캐시 |
|---|---|---|
| HySparse2 | 기준 1 | 2.69GB |
| HySparse | HySparse2의 2.92배 | 6.72GB |
| Hybrid SWA | HySparse2의 5.02배 | 12.09GB |
MiMo 팀이 공개 글에서 강조한 “5.02배 적은 prefill FLOPs, 4.5배 작은 KV 캐시”는 Hybrid SWA와의 비교입니다. HySparse와 비교하면 prefill FLOPs 차이는 2.92배이고, 캐시는 6.72GB에서 2.69GB로 줄었습니다. 따라서 모든 기존 구조보다 정확히 5배 줄었다고 일반화하면 안 됩니다.
긴 문맥 검색 성능도 같이 올랐지만 실제 지연시간은 아직 모릅니다
효율만 줄이고 검색 성능을 포기한 구조는 아닙니다. 논문의 동일한 light post-training 조건에서 HySparse2는 MRCR-v2와 RULER-v2, AgentPPL, LongPPL 등 긴 문맥 평가에서 HySparse와 Hybrid SWA보다 전반적으로 좋은 결과를 냈습니다. 예를 들어 256K 문맥의 RULER-v2는 HySparse2가 58.45, HySparse가 32.61이었습니다.
반대로 이 수치를 곧바로 “실제 에이전트가 5배 빨라진다”로 바꾸면 안 됩니다. 논문이 측정한 것은 prefill FLOPs와 KV 캐시 크기이며 실제 wall-clock 지연시간을 직접 측정한 결과는 아닙니다. 일반 성능 평가에서도 모든 항목이 일방적으로 좋아진 것은 아니고, DROP에서는 HySparse가 더 높은 결과를 보였습니다.
캐시 차이에는 MQA와 GQA 설정 차이도 섞여 있습니다
또 하나 중요한 조건은 HySparse2 실험 모델이 MQA를 사용한 반면 비교 대상인 HySparse와 Hybrid SWA는 GQA를 사용했다는 점입니다. 논문도 이 설정이 KV 캐시를 더 작게 만들고 token-sparse kernel 효율에 영향을 준다고 설명합니다. 그래서 12.09GB에서 2.69GB로 줄어든 전체 차이를 두 단계 KV 공유만의 효과라고 볼 수는 없습니다.
이번 공개의 의미는 긴 에이전트 작업에서 커지는 입력 처리와 메모리 병목을 모델 구조 자체에서 줄이려는 방향을 샤오미가 다음 MiMo-V3에 넣겠다고 예고했다는 데 있습니다. 현재 실제로 사용할 수 있는 모델은 MiMo V2.6 Pro와 Flash이고, MiMo-V3의 모델 크기, 공개 가중치, API 가격과 출시 시점은 다음 발표를 기다려야 합니다.
