Generate:litellm的国内版。允许用户通过统一的 api 访问多平台的生成式模型。

多模态,支持文本生成,多模态文本生成,结构体生成,图像生成,语音生成...
跨平台,支持 OpenAI,Azure,Minimax,智谱,月之暗面,文心一言 在内的国内外 10+ 平台
One API,统一了不同平台的消息格式,推理参数,接口封装,返回解析,让用户无需关心不同平台的差异
异步,流式和并发,提供流式调用,非流式调用,同步调用,异步调用,异步批量并发调用,适配不同的应用场景
自带电池,提供 chainlit UI,输入检查,参数检查,计费,速率控制,Agent, Tool call 等
轻量,最小化依赖,不同平台的请求和鉴权逻辑均为原生内置功能
高质量代码,100% typehints,pylance strict, ruff lint & format, test coverage > 85% ..
 
 
Back to Top