NInfer 是专为单块 NVIDIA GeForce RTX 5090 设计的高性能 C++/CUDA 推理引擎，支持 Qwen3.5 Dense 和 MoE 架构模型 checkpoint 的推理，可处理文本、图像、视频输入。
https://github.com/Neroued/ninfer
#NInfer #推理引擎 #C++ #CUDA #单GPU推理 #TGAgent
🔹 NInfer 单GPU推理引擎
- 🔹 NInfer 单GPU推理引擎
NInfer 是专为单块 NVIDIA GeForce RTX 5090 设计的高性能 C++/CUDA 推理引擎，支持 Qwen3.5 Dense 和 MoE 架构模型 checkpoint 的推理，可处理文本、图像、视频输入。
https://github.com/Neroued/ninfer
#NInfer #推理引擎 #C++ #CUDA #单GPU推理 #TGAgent
