Infinity ♾️

Infinity 是一个高吞吐量、低延迟的 REST API，用于提供 text-embeddings、reranking 模型、clip、clap 和 colpali。Infinity 在 MIT License 下开发。

为什么选择 Infinity

• 部署来自 HuggingFace 的任意模型：部署来自 HuggingFace 的任意 embedding、reranking、clip 和 sentence-transformer 模型
• 快速推理后端：推理服务器基于 PyTorch、optimum (ONNX/TensorRT) 和 CTranslate2 构建，使用 FlashAttention 以充分利用您的 NVIDIA CUDA、AMD ROCM、CPU、AWS INF2 或 APPLE MPS 加速器。Infinity 使用在 worker 线程中进行的专用动态批处理和分词。
• 多模态和多模型：混合搭配多个模型。Infinity 对它们进行编排。
• 经过测试的实现：经过单元测试和端到端测试。通过 infinity 生成的 Embeddings 被正确嵌入。让 API 用户创建 embeddings 直至 infinity 和 beyond。
• 易于使用：基于 FastAPI 构建。Infinity CLI v2 允许通过环境变量或参数启动所有参数。OpenAPI 与 OpenAI 的 API 规范 对齐。在 https://michaelfeil.github.io/infinity 查看文档了解如何开始。

最新消息 🔥

• [2025/07] Blackwell 支持
• [2024/11] AMD、CPU、ONNX docker 镜像
• [2024/10] pip install infinity_client
• [2024/07] 通过 Modal 和 免费 GPU 部署 的推理部署示例
• [2024/06] 支持多模态：clip、文本分类 & 从环境变量启动所有参数
• [2024/05] 使用 v2 cli 启动多个模型，包括 --api-key
• [2024/03] infinity 支持实验性 int8 (cpu/cuda) 和 fp8 (H100/MI300) 支持
• [2024/03] 文档已上线：https://michaelfeil.github.io/infinity/latest/
• [2024/02] 在 Run:AI Infra Club 举办社区见面会
• [2024/01] TensorRT / ONNX 推理
• [2023/10] 初始发布

快速入门

通过 pip install 启动 cli

pip install infinity-emb[all]

在你的 pip 安装完成后，激活你的 venv，你可以直接运行 CLI。

infinity_emb v2 --model-id BAAI/bge-small-en-v1.5

查看 v2 --help 命令以获取所有参数的描述。

infinity_emb v2 --help

使用预构建的 docker 容器启动 CLI（推荐）

除了通过 pip 安装 CLI，你还可以使用 docker 来运行 michaelf34/infinity。 确保你挂载了你的加速器（即安装 nvidia-docker 并通过 --gpus all 激活）。

port=7997
model1=michaelfeil/bge-small-en-v1.5
model2=mixedbread-ai/mxbai-rerank-xsmall-v1
volume=$PWD/data

docker run -it --gpus all \
 -v $volume:/app/.cache \
 -p $port:$port \
 michaelf34/infinity:latest \
 v2 \
 --model-id $model1 \
 --model-id $model2 \
 --port $port

docker 容器内的缓存路径由环境变量 HF_HOME 设置。

专用 docker 镜像

docker run -it \
-v $volume:/app/.cache \
-p $port:$port \
michaelf34/infinity:latest-cpu \
v2 \
--engine optimum \
--model-id $model1 \
--model-id $model2 \
--port $port

docker run -it \
-v $volume:/app/.cache \
-p $port:$port \
michaelf34/infinity:latest-trt-onnx \
v2 \
--engine optimum \
--device cuda \
--model-id $model1 \
--port $port

使用 Docker 容器运行本地模型

若要使用 Docker 容器部署本地模型，你需要将模型挂载到容器内部，并在启动命令中指定容器内的路径。

示例：

git lfs install 
cd /tmp
mkdir models && cd models && git clone https://huggingface.co/BAAI/bge-small-en-v1.5
docker run -it   -v /tmp/models:/models  -p 8081:8081  michaelf34/infinity:latest v2  --model-id "/models/bge-small-en-v1.5" --port 8081

高级 CLI 用法

# Disable
export INFINITY_ANONYMOUS_USAGE_STATS="0"

Infinity 支持的任务和模型

Infinity 旨在成为支持嵌入、重排序及相关 RAG 任务最多功能的推理服务器。以下 Infinity 在 Github CI 中测试了 15 种以上架构以及以下所有情况。 点击以下部分以查找任务和经过验证的示例模型。

通过 Python API 使用 Infinity

代替 cli 和 RestAPI，通过 Python API 使用 infinity 的接口。 这提供了最大的灵活性。Python API 基于 asyncio 及其 await/async 特性，以允许并发处理请求。CLI 的参数也可以通过 Python 使用。

嵌入

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["Embed this is sentence via Infinity.", "Paris is in France."]
array = AsyncEngineArray.from_args([
  EngineArgs(model_name_or_path = "BAAI/bge-small-en-v1.5", engine="torch", embedding_dtype="float32", dtype="auto")
])

async def embed_text(engine: AsyncEmbeddingEngine): 
    async with engine: 
        embeddings, usage = await engine.embed(sentences=sentences)
    # or handle the async start / stop yourself.
    await engine.astart()
    embeddings, usage = await engine.embed(sentences=sentences)
    await engine.astop()
asyncio.run(embed_text(array[0]))

重排序

Reranking 为您提供查询与多个文档之间相似度的评分。 请将其与 VectorDB+Embeddings 结合使用，或针对少量文档作为独立组件使用。 请从 huggingface 中选择一个兼容 AutoModelForSequenceClassification 的单分类模型。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine
query = "What is the python package infinity_emb?"
docs = ["This is a document not related to the python package infinity_emb, hence...", 
    "Paris is in France!",
    "infinity_emb is a package for sentence embeddings and rerankings using transformer models in Python!"]
array = AsyncEmbeddingEngine.from_args(
  [EngineArgs(model_name_or_path = "mixedbread-ai/mxbai-rerank-xsmall-v1", engine="torch")]
)

async def rerank(engine: AsyncEmbeddingEngine): 
    async with engine:
        ranking, usage = await engine.rerank(query=query, docs=docs)
        print(list(zip(ranking, docs)))
    # or handle the async start / stop yourself.
    await engine.astart()
    ranking, usage = await engine.rerank(query=query, docs=docs)
    await engine.astop()

asyncio.run(rerank(array[0]))

使用 CLI 时，使用此命令启动 rerankers：

infinity_emb v2 --model-id mixedbread-ai/mxbai-rerank-xsmall-v1

Image-Embeddings: CLIP 模型

CLIP 模型能够同时编码图像和文本。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["This is awesome.", "I am bored."]
images = ["http://images.cocodataset.org/val2017/000000039769.jpg"]
engine_args = EngineArgs(
    model_name_or_path = "wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M", 
    engine="torch"
)
array = AsyncEngineArray.from_args([engine_args])

async def embed(engine: AsyncEmbeddingEngine): 
    await engine.astart()
    embeddings, usage = await engine.embed(sentences=sentences)
    embeddings_image, _ = await engine.image_embed(images=images)
    await engine.astop()

asyncio.run(embed(array["wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M"]))

音频嵌入：CLAP 模型

CLAP 模型能够同时编码音频和文本。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine
import requests
import soundfile as sf
import io

sentences = ["This is awesome.", "I am bored."]

url = "https://bigsoundbank.com/UPLOAD/wav/2380.wav"
raw_bytes = requests.get(url, stream=True).content

audios = [raw_bytes]
engine_args = EngineArgs(
    model_name_or_path = "laion/clap-htsat-unfused",
    dtype="float32", 
    engine="torch"

)
array = AsyncEngineArray.from_args([engine_args])

async def embed(engine: AsyncEmbeddingEngine): 
    await engine.astart()
    embeddings, usage = await engine.embed(sentences=sentences)
    embedding_audios = await engine.audio_embed(audios=audios)
    await engine.astop()

asyncio.run(embed(array["laion/clap-htsat-unfused"]))

文本分类

使用 Infinity 的 classify 功能进行文本分类，该功能支持情感分析、情绪检测以及更多分类任务。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["This is awesome.", "I am bored."]
engine_args = EngineArgs(
    model_name_or_path = "SamLowe/roberta-base-go_emotions", 
    engine="torch", model_warmup=True)
array = AsyncEngineArray.from_args([engine_args])

async def classifier(engine: AsyncEmbeddingEngine): 
    async with engine:
        predictions, usage = await engine.classify(sentences=sentences)
    # or handle the async start / stop yourself.
    await engine.astart()
    predictions, usage = await engine.classify(sentences=sentences)
    await engine.astop()
asyncio.run(classifier(array["SamLowe/roberta-base-go_emotions"]))

通过 Python 客户端使用 Infinity

Infinity 提供了用于 RestAPI 客户端使用的生成客户端代码。

如果您想通过 RestAPI 调用远程 infinity 实例，请在本地安装以下软件包：

pip install infinity_client

有关更多信息，请查看 Client Readme https://github.com/michaelfeil/infinity/tree/main/libs/client_infinity/infinity_client

集成：

• 在 Runpod 上进行 Serverless 部署
• Truefoundry Cognita
• Langchain 示例
• imitater - 基于 vllm 和 infinity 构建的统一语言模型服务器。
• Dwarves Foundation：使用 Modal.com 的部署示例
• infiniflow/Ragflow
• SAP Core AI
• gpt_server - gpt_server 是一个专为 LLM（大语言模型）或 Embeddings 的生产级部署而设计的开源框架。
• KubeAI：用于推理的 Kubernetes AI Operator
• LangChain
• Batched，对 Infinity 中 Batching 算法的修改

文档

在 https:///michaelfeil.github.io/infinity 查看文档，了解如何入门。 启动后，Swagger Ui 将在 {url}:{port}/docs 下可用，在此情况下为 http://localhost:7997/docs。您还可以在此处找到交互式预览：https://infinity.modal.michaelfeil.eu/docs（以及 https://michaelfeil-infinity.hf.space/docs）

贡献与开发

在 Ubuntu 22.04 上通过 Poetry 1.8.1 和 Python3.11 安装

cd libs/infinity_emb
poetry install --extras all --with lint,test

要通过 CI：

cd libs/infinity_emb
make precommit

所有贡献必须以与本仓库 MIT 许可证兼容的方式进行。

引用

@software{feil_2023_11630143,
  author       = {Feil, Michael},
  title        = {Infinity - To Embeddings and Beyond},
  month        = oct,
  year         = 2023,
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.11630143},
  url          = {https://doi.org/10.5281/zenodo.11630143}
}

💚 当前贡献者