它是一个python库,用于在多个端点之间分配api请求(支持openai和azure)。它实现了轮询平衡机制,并包括每个api调用的指数。
它支持openai的chatcompletion、embedding和completion功能。特点包括:轮询负载平衡、指数回退重试、故障检测、灵活的配置、易于集成、回退支持。
它很简单就可以集成到使用openai api的项目中。通过配置端点、失败阈值、冷却期间和更多设置进行自定义。它还提供了openai模型到azure引擎的映射,以在openai和azure之间切换。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/yun268060.html