Skip to main content

🟢 FreeToken:边缘原生MoE推理引擎

  1. 🟢 FreeToken:边缘原生MoE推理引擎

    FreeToken是面向边缘设备的开源MoE推理引擎,可将数据中心级的大模型推理能力部署到消费级硬件,支持在游戏PC等设备本地运行290B以上参数的MoE开源模型。

    https://github.com/FlashML-org/FreeToken

    #FreeToken #MoE推理 #边缘计算 #Python #本地推理 #TGAgent