将 LiteLLM 接入 Open Flow
选择模型、起草回复或生成文本向量,同时查询当前密钥可用的模型与额度。
每月 20,000 次免费应用调用(付费服务另计)
可以做什么
连接 LiteLLM 网关,调用聊天和消息模型、生成向量、比较模型能力与价格,并查看密钥消费。
生成内容与向量
调用聊天、消息和向量模型。
查询模型与预算
读取模型名称、能力、价格及虚拟密钥消费。
所有工具
6 个工具
Create Chat Completion
通过 LiteLLM 兼容 OpenAI 的 /v1/chat/completions 接口生成回复,沿用网关的路由、负载均衡、回退及预算检查。
litellm.create_chat_completionCreate Message
通过 LiteLLM /v1/messages 接口向网关支持的模型发送 Anthropic 格式消息。
litellm.create_messageCreate Embedding
通过 LiteLLM 兼容 OpenAI 的 /v1/embeddings 接口生成向量。
litellm.create_embeddingList Models
列出此 LiteLLM 密钥可调用的模型名称。
litellm.list_modelsGet Model Info
读取模型部署的上下文窗口、输出限制、单 token 价格与能力,供调用前选择模型。
litellm.get_model_infoGet Key Info
读取连接所用虚拟密钥的消费、剩余预算、速率限制和可用模型。主密钥没有存储记录,此操作需要虚拟密钥。
litellm.get_key_info没有符合搜索条件的工具。
将 LiteLLM 接入 Open Flow
连接 LiteLLM
每月 20,000 次免费应用调用(付费服务另计)