Tencent Hy4 Flash - 100만 토큰 컨텍스트를 지원하는 저비용 멀티모달 모델
Tencent가 Hy4 flash 를 공개함. 약 2,200억 파라미터 중 토큰당 120억 개를 활성화하며, 네이티브 멀티모달과 100만 토큰 컨텍스트 를 지원함 API 요금은 100만 토큰당 입력 0.070달러, 출력 0.281달러 로, Hy4보다 크게 낮음 하이브리드 어텐션, LatentMoE, Engram으로 KV 캐시를 Hy4의 1/6 로 줄이고,