Skip to main content

🟢 Colibrì：纯C无依赖MoE推理引擎

  1. 🟢 Colibrì：纯C无依赖MoE推理引擎

    Colibrì是可在自有硬件上运行前沿MoE模型的推理引擎，采用纯C编写且无依赖，通过将存储、内存、显存视为统一的推理层级实现专家流式磁盘加载，支持744B到2.8T参数的MoE模型，目前覆盖GLM-5.2/5.3、Kimi K3等8个模型家族。

    https://github.com/JustVugg/colibri

    #Colibrì #MoE推理引擎 #纯C实现 #大模型推理 #开源项目 #TGAgent