bug: all balances exhausted or unavailable

[XuHaoRran]

Current Behavior

确信调用通义千问官方的api调用和apikey都正常，且在容器里面curl发送chat正常。但是使用ai服务功能，返回all balances exhausted or unavailable

Expected Behavior

No response

Error Logs

No response

Steps to Reproduce

No response

Environment

• APINTO Dashboard version:
• Operating system (run uname -a):

[Dot-Liu]

麻烦提供一下版本号，包括apipark的版本号和apinto的版本号
可以通过docker images获取

[XuHaoRran]

麻烦提供一下版本号，包括apipark的版本号和apinto的版本号 可以通过docker images获取

在2月20日的时候通过docker-compsoe 安装的版本(https://docs.apipark.com/zh-Hans/docs/1.4-beta/deploy#docker-compose%E9%83%A8%E7%BD%B2)
apipark/apipark:v1.4.4-beta
eolinker/apinto-gateway:latest
这个版本访问api时返回：all balances exhausted or unavailable

发现在2.21有更新到v1.5.0-beta
eolinker/apinto-gateway:0.21.1
然后刚刚更新了apipark和apinto，目前部署使用ollama的问答没有问题。但是使用厂商服务（如通义、硅基流动）返回是空的

---

另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！

[Dot-Liu]

好的，我们排查一下最新版本，看看能否复现

[jeak01]

另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！

会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。
不过为啥不用ollama的？因为需要翻墙的问题？

[XuHaoRran]

另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！

会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？

其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。
我的想法应该跟这位朋友一样
#194 (comment)

[jeak01]

另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！

会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？

其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 #194 (comment)

理解的，但是完全自定义的对接的话，有一个比较大的问题是如何确保接口的输入和输出格式一致。目前我们是根据不同的供应商做一层映射的，因为不同的供应商或者说渠道，他们的接口格式有差异。
我可以下个版本先做一个默认自定义供应商的功能，只需要填写base_url和apikey，但是这个供应商的原接口格式要符合openai才行，不然要用户自己配置映射的话会比较复杂。xinference的调用和响应就是符合Openai格式的，估计这样就能满足你的需求。

[XuHaoRran]

另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！

会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？

其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 #194 (comment)

理解的，但是完全自定义的对接的话，有一个比较大的问题是如何确保接口的输入和输出格式一致。目前我们是根据不同的供应商做一层映射的，因为不同的供应商或者说渠道，他们的接口格式有差异。 我可以下个版本先做一个默认自定义供应商的功能，只需要填写base_url和apikey，但是这个供应商的原接口格式要符合openai才行，不然要用户自己配置映射的话会比较复杂。xinference的调用和响应就是符合Openai格式的，估计这样就能满足你的需求。

！！谢谢答复