👍 快搞成混合注意力， 社区会嗷嗷叫的

👍 快搞成混合注意力， 社区会嗷嗷叫的 【引用 @waterluffy】：@karminski3 8Bit 量化做了：https://huggingface.co/IFM/K2-Horizon-7B-FP8。4Bit在赶工。 我们还有显存拯救计划正在进行中。