最快、最轻量的 AI 网关。采用 Rust 核心,搭配 Python SDK。支持以 OpenAI(或原生)格式调用 100 多种 LLM API,同时具备成本追踪、限制机制、负载均衡及日志记录功能 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
OTHERPythonai-gatewayanthropicazure-openaibedrockgatewaylangchainlitellmllm
docs.litellm.ai/docs