将 LiteLLM 接入 Open Flow

选择模型、起草回复或生成文本向量,同时查询当前密钥可用的模型与额度。

每月 20,000 次免费应用调用(付费服务另计)

可以做什么

连接 LiteLLM 网关,调用聊天和消息模型、生成向量、比较模型能力与价格,并查看密钥消费。

生成内容与向量

调用聊天、消息和向量模型。

查询模型与预算

读取模型名称、能力、价格及虚拟密钥消费。

所有工具

6 个工具

Create Chat Completion

通过 LiteLLM 兼容 OpenAI 的 /v1/chat/completions 接口生成回复,沿用网关的路由、负载均衡、回退及预算检查。

litellm.create_chat_completion

Create Message

通过 LiteLLM /v1/messages 接口向网关支持的模型发送 Anthropic 格式消息。

litellm.create_message

Create Embedding

通过 LiteLLM 兼容 OpenAI 的 /v1/embeddings 接口生成向量。

litellm.create_embedding

List Models

列出此 LiteLLM 密钥可调用的模型名称。

litellm.list_models

Get Model Info

读取模型部署的上下文窗口、输出限制、单 token 价格与能力,供调用前选择模型。

litellm.get_model_info

Get Key Info

读取连接所用虚拟密钥的消费、剩余预算、速率限制和可用模型。主密钥没有存储记录,此操作需要虚拟密钥。

litellm.get_key_info

将 LiteLLM 接入 Open Flow

连接 LiteLLM

每月 20,000 次免费应用调用(付费服务另计)