3小时前 × × × 🟢 低显存大模型推理工具AirLLMAirLLM真的太能打了，它大幅降低大模型推理的内存占用，不用搞量化、蒸馏、剪枝那些操作，70B参数的大语言模型单块4GB的显卡就能跑。https://github.com/lyogavin/airllm#AirLLM #Python #开源项目 #CLI #TGAgent
