# SOME DESCRIPTIVE TITLE.
# Copyright (C) 2023, Xorbits Inc.
# This file is distributed under the same license as the Xinference package.
# FIRST AUTHOR <EMAIL@ADDRESS>, 2024.
#
msgid ""
msgstr ""
"Project-Id-Version: Xinference\n"
"Report-Msgid-Bugs-To: \n"
"POT-Creation-Date: 2024-05-31 11:46+0800\n"
"PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n"
"Last-Translator: FULL NAME <EMAIL@ADDRESS>\n"
"Language-Team: de <LL@li.org>\n"
"Language: de\n"
"MIME-Version: 1.0\n"
"Content-Type: text/plain; charset=utf-8\n"
"Content-Transfer-Encoding: 8bit\n"
"Plural-Forms: nplurals=2; plural=(n != 1);\n"
"Generated-By: Babel 2.18.0\n"

#: ../../source/development/xinference_internals.rst:3
msgid "The internals of Xinference"
msgstr "Die Interna von Xinference"

#: ../../source/development/xinference_internals.rst:6
msgid "Table of contents:"
msgstr "Inhaltsverzeichnis"

#: ../../source/development/xinference_internals.rst:9
msgid "Overview"
msgstr "Überblick"

#: ../../source/development/xinference_internals.rst:10
msgid ""
"Xinference leverages `Xoscar <https://github.com/xorbitsai/xoscar>`_, an "
"actor programming framework we designed, as its core component to manage "
"machines, devices, and model inference processes. Each actor serves as a "
"basic unit for model inference and various inference backends can be "
"integrate into the actor, enabling us to support multiple inference engines "
"and hardware. These actors are hosted and scheduled within actor pools, "
"which are designed to be asynchronous and non-blocking and function as "
"resource pools."
msgstr ""
"Xinference verwendet das von uns entwickelte Actor-Programmierframework "
"`Xoscar <https://github.com/xorbitsai/xoscar>`_ als Kernkomponente zur "
"Verwaltung von Maschinen, Geräten und Modellinferenzprozessen. Jeder Actor "
"ist eine grundlegende Einheit der Modellinferenz, und verschiedene Inferenz-"
"Backends können in den Actor integriert werden, sodass wir mehrere Inferenz-"
"Engines und Hardware unterstützen können. Diese Actors werden in Actor-Pools"
" gehostet und geplant, wobei die Actor-Pools die Funktion von "
"Ressourcenpools haben. Das Design der Actors ist asynchron und nicht "
"blockierend."

#: ../../source/development/xinference_internals.rst:22
msgid ""
"Both supervisor and worker are actor instances. Initially, an actor pool, "
"serving as a resource pool, needs to be created on each server; and each "
"actor can utilize a CPU core or a GPU device. Each server has its own "
"address (IP address or hostname), so actors on different computing nodes can"
" communicate with each other through these addresses. See `Actor`_ for more "
"information."
msgstr ""
"Supervisor und Worker sind beides Actor-Instanzen. Zuerst muss auf jedem "
"Server ein Actor-Pool als Ressourcenpool erstellt werden; jeder Actor kann "
"einen CPU-Kern oder eine GPU-Einheit nutzen. Jeder Server hat seine eigene "
"Adresse (IP-Adresse oder Hostname), sodass Actors auf verschiedenen "
"Rechenknoten über diese Adressen miteinander kommunizieren können. Weitere "
"Informationen finden Sie unter `Actor`_."

#: ../../source/development/xinference_internals.rst:27
msgid "RESTful API"
msgstr "RESTful API"

#: ../../source/development/xinference_internals.rst:28
msgid ""
"The RESTful API is implemented using `FastAPI "
"<https://github.com/tiangolo/fastapi>`_, as specified in `api/restful_api.py"
" "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_."
msgstr ""
"RESTful API wurde mit `FastAPI <https://github.com/tiangolo/fastapi>`_ "
"implementiert, der spezifische Code befindet sich in `api/restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_."

#: ../../source/development/xinference_internals.rst:35
msgid ""
"This is an example of the API ``/status``, it's corresponding function is "
"``get_status``. You can add connection between RESTful API and the backend "
"function you want in `api/restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_."
msgstr ""
"Dies ist ein Beispiel für eine API. Die API ``/status`` entspricht der "
"Funktion ``get_status``. Sie können die Beziehung zwischen der RESTful-API "
"und der entsprechenden Backend-Funktion in `api/restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_"
" hinzufügen."

#: ../../source/development/xinference_internals.rst:39
msgid "Command Line"
msgstr "Kommandozeile"

#: ../../source/development/xinference_internals.rst:40
msgid ""
"The Command Line is implemented using `Click "
"<https://click.palletsprojects.com/>`_, as specified in `deploy/cmdline.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy/cmdline.py>`_,"
" allowing users to interact with the Xinference deployment features directly"
" from the terminal."
msgstr ""
"Die Befehlszeile wird mit `Click <https://click.palletsprojects.com/>`_ "
"implementiert, der konkrete Code befindet sich in `deploy/cmdline.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy/cmdline.py>`_."
" Die Befehlszeile ermöglicht es Benutzern, direkt im Terminal mit Xinference"
" zu interagieren."

#: ../../source/development/xinference_internals.rst:45
msgid "Entry Points"
msgstr "Einstiegspunkte"

#: ../../source/development/xinference_internals.rst:46
msgid "Take the command-lines we implemented as examples:"
msgstr "Nehmen wir die von uns implementierte Kommandozeile als Beispiel:"

#: ../../source/development/xinference_internals.rst:48
msgid ""
"``xinference``: Provides commands for model management, including "
"registering/unregistering models, listing all registered/running models, and"
" launching or terminating specific models. It also features interactive "
"commands like generate and chat for testing and interacting with deployed "
"models in real-time."
msgstr ""
"``xinference``: Bietet Befehle zur Modellverwaltung, einschließlich "
"Registrieren/Abbestellen von Modellen, Auflisten aller "
"registrierten/laufenden Modelle sowie Starten oder Beenden spezifischer "
"Modelle. Es stellt auch interaktive Befehle wie Sprachgenerierung und Chat "
"zur Verfügung, um bereitgestellte Modelle zu testen oder mit ihnen zu "
"interagieren."

#: ../../source/development/xinference_internals.rst:52
msgid "``xinference-local``: Starts a local Xinference service."
msgstr "``xinference-local``: Starten eines lokalen Xinference-Dienstes."

#: ../../source/development/xinference_internals.rst:54
msgid ""
"``xinference-supervisor``: Initiates a supervisor process that manages and "
"monitors worker actors within a distributed setup."
msgstr ""
"``xinference-supervisor``: Starten des Supervisor-Prozesses zur Verwaltung "
"und Überwachung von Worker-Actors in einer verteilten Umgebung."

#: ../../source/development/xinference_internals.rst:56
msgid ""
"``xinference-worker``: Starts a worker process that executes tasks assigned "
"by the supervisor, utilizing available computational resources effectively."
msgstr ""
"``xinference-worker``: Startet den Worker-Prozess, nutzt verfügbare "
"Rechenressourcen und führt die vom Supervisor zugewiesenen Aufgaben aus."

#: ../../source/development/xinference_internals.rst:59
msgid ""
"Each command is equipped with ``options`` and ``flags`` to customize its "
"behavior, such as specifying log levels, host addresses, port numbers, and "
"other relevant settings."
msgstr ""
"Jeder Befehl verfügt über ``options`` und ``flags``, um sein Verhalten "
"anzupassen, beispielsweise zum Festlegen von Protokolleveln, Hostadressen, "
"Portnummern und anderen relevanten Einstellungen."

#: ../../source/development/xinference_internals.rst:62
msgid ""
"Python projects define command-line console entry points in "
"``pyproject.toml``."
msgstr ""
"Python-Projekte definieren Befehlszeilen-Konsoleneinstiegspunkte in "
"``pyproject.toml``."

#: ../../source/development/xinference_internals.rst:72
msgid ""
"The command-line ``xinference`` can be referred to code in "
"``xinference.deploy.cmdline:cli``."
msgstr ""
"Der Befehlszeilenbefehl ``xinference`` kann im Code in "
"``xinference.deploy.cmdline:cli`` nachgeschlagen werden."

#: ../../source/development/xinference_internals.rst:75
msgid "Click"
msgstr "Click"

#: ../../source/development/xinference_internals.rst:76
msgid "We use Click to implement a specific command-line:"
msgstr "Wir verwenden Click, um bestimmte Befehlszeilen zu implementieren:"

#: ../../source/development/xinference_internals.rst:95
msgid ""
"For example, the ``xinference-local`` command allows you to define the host "
"address and port."
msgstr ""
"Zum Beispiel erlaubt der Befehl ``xinference-local`` Ihnen, die Hostadresse "
"und den Port zu definieren."

#: ../../source/development/xinference_internals.rst:98
msgid "Actor"
msgstr "Actor"

#: ../../source/development/xinference_internals.rst:99
msgid ""
"Xinference is fundamentally based on `Xoscar "
"<https://github.com/xorbitsai/xoscar>`_, our actor framework, which can "
"manage computational resources and Python processes to support scalable and "
"concurrent programming. The following is a pseudocode demonstrating how our "
"Worker Actor works, the actual Worker Actor is more complex than this."
msgstr ""
"Xinference basiert auf `Xoscar <https://github.com/xorbitsai/xoscar>`_, "
"einem Actor-Framework, das Rechenressourcen und Python-Prozesse verwaltet "
"und skalierbare nebenläufige Programmierung unterstützt. Der folgende "
"Pseudocode demonstriert die Funktionsweise des Worker Actors, wobei der "
"tatsächliche Worker Actor wesentlich komplexer ist."

#: ../../source/development/xinference_internals.rst:126
msgid ""
"We use the ``WorkerActor`` as an example to illustrate how we build the "
"Xinference. Each actor class is a standard Python class that inherits from "
"``xoscar.Actor``. An instance of this class is a specific actor within the "
"actor pool."
msgstr ""
"Wir nehmen ``WorkerActor`` als Beispiel, um zu erläutern, wie Xinference "
"aufgebaut wird. Jede Actor-Klasse ist eine von ``xoscar.Actor`` abgeleitete "
"Standard-Python-Klasse. Eine Instanz dieser Klasse stellt einen bestimmten "
"Actor im Actor-Pool dar."

#: ../../source/development/xinference_internals.rst:130
msgid ""
"**Define Actor Actions**: Each actor needs to define certain actions or "
"behaviors to accomplish specific tasks. For instance, the model inference "
"``WorkerActor`` needs to launch the model (``launch_model``), list the "
"models in this actor (``list_models``), terminate a model "
"(``terminate_model``). There are two special methods worth noting. The "
"``__post_create__`` is invoked before the actor is created, allowing for "
"necessary initializations. The ``__pre_destroy__`` is called after the actor"
" is destroyed, allowing for cleanup or finalization tasks."
msgstr ""
"**Verhalten des Actors definieren**: Jeder Actor muss bestimmte Aktionen "
"oder Verhaltensweisen definieren, um spezifische Aufgaben zu erfüllen. "
"Beispielsweise muss der Modellinferenz-``WorkerActor`` das Modell starten "
"(``launch_model``), die Modelle in diesem Actor auflisten (``list_models``) "
"und das Modell beenden (``termininate_model``). Zwei spezielle Methoden sind"
" beachtenswert. ``__post_create__`` wird vor der Erstellung des Actors "
"aufgerufen, um notwendige Initialisierungen durchzuführen. "
"``__pre_destroy__`` hingegen wird nach der Zerstörung des Actors aufgerufen,"
" um Bereinigungsaufgaben auszuführen."

#: ../../source/development/xinference_internals.rst:136
msgid ""
"**Reference Actor and Invoke Methods**: When an actor is created, it yields "
"a reference variable so that other actors can reference it. The actor "
"reference can also be referenced with the address. Suppose the "
"``WorkerActor`` is created and the reference variable is ``worker_ref``,  "
"the ``launch_model`` method of this actor class can be invoked by calling "
"``worker_ref.launch_model()``. Even if the actor's method is originally a "
"synchronized method, when called with an actor reference, it will become as "
"an asynchronous method."
msgstr ""
"**Actor referenzieren und Methoden aufrufen**: Wenn ein Actor erstellt wird,"
" erzeugt er eine Referenzvariable, damit andere Actors darauf verweisen "
"können. Ein Actor kann auch über eine IP-Adresse referenziert werden. "
"Angenommen, ``WorkerActor`` wurde erstellt und die Referenzvariable lautet "
"``worker_ref``, dann kann die Methode ``launch_model`` dieser Actor-Klasse "
"über den Aufruf ``worker_ref.launch_model()`` aufgerufen werden. Selbst wenn"
" die Methode im Actor ursprünglich eine traditionelle, blockierende Methode "
"war, wird sie bei Verwendung der Referenzvariable zu einer asynchronen "
"Methode."

#: ../../source/development/xinference_internals.rst:143
msgid ""
"**Inference Engine**: The actor can manage the process, and the inference "
"engine is also a process. In the launch model part of the ``WorkerActor``, "
"we can initialize different inference engines according to the user's need. "
"Therefore, Xinference can support multiple inference engines and can easily "
"adapt to new inference engines in the future."
msgstr ""
"**Inferenz-Engine**: Ein Actor kann Prozesse verwalten, und eine Inferenz-"
"Engine ist ebenfalls ein Prozess. Im Startmodell des ``WorkerActor`` können "
"wir je nach Benutzeranforderung unterschiedliche Inferenz-Engines "
"initialisieren. Daher kann Xinference mehrere Inferenz-Engines unterstützen "
"und sich problemlos an zukünftige neue Inferenz-Engines anpassen."

#: ../../source/development/xinference_internals.rst:148
msgid ""
"See `Xoscar document <https://xoscar.dev/en/latest/getting_started/llm-"
"inference.html>`_ for more actor use cases."
msgstr ""
"Siehe `Xoscar-Dokumentation "
"<https://xoscar.dev/en/latest/getting_started/llm-inference.html>`_ für "
"weitere Actor-Anwendungsfälle."

#: ../../source/development/xinference_internals.rst:151
msgid "Asynchronous Programming"
msgstr "Asynchrone Programmierung"

#: ../../source/development/xinference_internals.rst:153
msgid ""
"Both Xinference and Xoscar highly utilize asynchronous programming of "
"``asyncio``. Asynchronous programming is a programming paradigm that does "
"not block. Instead, requests and function calls are issued and executed in "
"the background and results are returned in the future. This enables us to "
"perform activities concurrently."
msgstr ""
"Xinference und Xoscar sind stark von der asynchronen Programmierbibliothek "
"``asyncio`` abhängig. Asynchrone Programmierung ist ein nicht-blockierendes "
"Programmierparadigma. Im Gegensatz zu herkömmlichen blockierenden "
"Funktionsaufrufen werden Anfragen oder Funktionsaufrufe in der asynchronen "
"Programmierung im Hintergrund ausgeführt, und die Ergebnisse werden zu einem"
" späteren Zeitpunkt zurückgegeben. Der Vorteil der asynchronen "
"Programmierung liegt darin, dass viele verschiedene Aktivitäten oder "
"Aufgaben gleichzeitig parallel ausgeführt werden können."

#: ../../source/development/xinference_internals.rst:159
msgid ""
"If you're not familiar with Pythons's ``asyncio``, you can see more "
"tutorials for help:"
msgstr ""
"Wenn Sie mit Pythons ``asyncio`` nicht vertraut sind, können Sie weitere "
"Tutorials zur Hilfe heranziehen:"

#: ../../source/development/xinference_internals.rst:161
msgid ""
"`Python Asyncio Tutorial <https://bbc.github.io/cloudfit-public-"
"docs/asyncio/asyncio-part-1.html>`__"
msgstr ""
"`Python-Asyncio-Tutorial <https://bbc.github.io/cloudfit-public-"
"docs/asyncio/asyncio-part-1.html>`__"

#: ../../source/development/xinference_internals.rst:163
msgid ""
"`Real Python's asyncio Tutorial <https://realpython.com/async-io-python/>`__"
msgstr ""
"`Real Python asyncio-Tutorial <https://realpython.com/async-io-python/>`__"

#: ../../source/development/xinference_internals.rst:165
msgid ""
"`Python Official Documentation "
"<https://docs.python.org/3/library/asyncio.html>`__"
msgstr ""
"`Offizielle Python-Dokumentation "
"<https://docs.python.org/3/library/asyncio.html>`_"

#: ../../source/development/xinference_internals.rst:169
msgid "Model"
msgstr "Modell"

#: ../../source/development/xinference_internals.rst:171
msgid ""
"Xinference supports different types of models including large language "
"models (LLMs), image models, audio models, embedding models, etc. All models"
" are implemented in `model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_."
msgstr ""
"Xinference unterstützt verschiedene Modelltypen, darunter große "
"Sprachmodelle (LLMs), Bildmodelle, Audiomodelle, Einbettungsmodelle und "
"mehr. Alle Modelle sind im Ordner `model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ "
"implementiert."

#: ../../source/development/xinference_internals.rst:175
msgid "LLM"
msgstr ""

#: ../../source/development/xinference_internals.rst:177
msgid ""
"Take `model/llm/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
"for example, it focuses on the management and instantiation of LLMs. It "
"includes detailed implementations for loading, configuring, and deploying "
"LLMs."
msgstr ""
"Am Beispiel von `model/llm/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
"wird hauptsächlich das LLM verwaltet und gestartet, einschließlich des "
"Ladens, Konfigurierens und Ausführens großer Sprachmodelle."

#: ../../source/development/xinference_internals.rst:181
msgid ""
"We support many backends such as GGML, PyTorch, and vLLM. Our generated "
"content is compatible with the format of OpenAI, supporting features such as"
" streaming output and returning chat completion format (for chat models "
"only). Therefore, there is a lot of adaptation work to be done after the "
"model generate content. These tasks are not difficult, but they do require "
"some time. When writing this part of the code, please refer to the `OpenAI "
"API documentation <https://platform.openai.com/docs/introduction>`_ and the "
"documentation of various inference backends, and make the necessary "
"adaptations."
msgstr ""
"Wir unterstützen verschiedene Inferenz-Backends wie GGML, PyTorch und vLLM. "
"Die generierten Inhalte sind mit dem OpenAI-Format kompatibel, "
"beispielsweise unterstützen wir Streaming-Ausgaben (stream), und das "
"Dialogmodell gibt Ergebnisse im Chat-Completion-Format zurück. Daher sind "
"nach der Modellausgabe viele Anpassungsarbeiten erforderlich. Diese Arbeiten"
" sind nicht schwierig, benötigen jedoch einige Zeit. Beachten Sie beim "
"Schreiben dieses Codeabschnitts die `OpenAI API-Dokumentation "
"<https://platform.openai.com/docs/introduction>`_ und die Dokumentation der "
"jeweiligen Inferenz-Backends, um die notwendigen Anpassungen vorzunehmen."

#: ../../source/development/xinference_internals.rst:185
msgid "JSON"
msgstr ""

#: ../../source/development/xinference_internals.rst:187
msgid ""
"In `model/llm/llm_family.json "
"<https://github.com/xorbitsai/inference/blob/main/xinference/model/llm/llm_family.json>`_,"
" we utilize JSON files to manage the metadata of emerging open-source "
"models. Adding a new model does not necessitate writing new code, it merely "
"requires appending new metadata to the existing JSON file."
msgstr ""
"In der Datei `model/llm/llm_family.json "
"<https://github.com/xorbitsai/inference/blob/main/xinference/model/llm/llm_family.json>`_"
" verwenden wir JSON-Dateien, um die Metadaten neu auftauchender Open-Source-"
"Modelle zu verwalten. Das Hinzufügen eines neuen Modells erfordert kein "
"Schreiben neuen Codes, sondern lediglich das Einfügen der neuen Metadaten in"
" die vorhandene JSON-Datei."

#: ../../source/development/xinference_internals.rst:214
msgid ""
"This is an example of how to define the Llama-2 chat model. The "
"``model_specs`` define the information of the model, as one model family "
"usually comes with various sizes, quantization methods, and file formats. "
"For instance, the ``model_format`` could be ``pytorch`` (using Hugging Face "
"Transformers or vLLM as backend), ``ggmlv3`` (a tensor library associated "
"with llama.cpp), or ``gptq`` (a post-training quantization framework). The "
"``model_id`` defines the repository of the model hub from which Xinference "
"downloads the checkpoint files. Furthermore, due to distinct instruction-"
"tuning processes, different model families have varying prompt styles. The "
"``prompt_style`` in the JSON file specifies how to format prompts for this "
"particular model. For example, ``system_prompt`` and ``roles`` are used to "
"specify the instructions and personality of the model."
msgstr ""
"Hier ist ein Beispiel, wie das Llama-2 Chat-Modell definiert wird. "
"``model_specs`` definiert die Informationen des Modells, da eine "
"Modellfamilie normalerweise unterschiedliche Größen, Quantisierungsmethoden "
"und Dateiformate aufweist. Beispielsweise kann ``model_format`` den Wert "
"``pytorch`` (mit Hugging Face Transformers oder vLLM als Backend), "
"``ggmlv3`` (Tensor-Bibliothek im Zusammenhang mit llama.cpp) oder ``gptq`` "
"(Post-Training-Quantisierungsframework) haben. ``model_id`` definiert das "
"Repository im Modellhub, von dem Xinference die Checkpoint-Dateien "
"herunterlädt. Darüber hinaus haben verschiedene Modellfamilien aufgrund "
"unterschiedlicher Instruction-Tuning-Prozesse unterschiedliche Prompt-Stile."
" Das ``prompt_style`` in der JSON-Datei gibt das Format des Prompts für "
"dieses spezifische Modell an. Beispielsweise werden ``system_prompt`` und "
"``roles`` verwendet, um die Anweisungen und die Persönlichkeit des Modells "
"zu definieren."

#: ../../source/development/xinference_internals.rst:224
msgid "Code Walkthrough"
msgstr "Code-Leitfaden"

#: ../../source/development/xinference_internals.rst:226
msgid ""
"The main code is located in the `xinference/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference>`_:"
msgstr ""
"Der Hauptcode befindet sich in `xinference/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference>`_:"

#: ../../source/development/xinference_internals.rst:228
msgid ""
"`api/ <https://github.com/xorbitsai/inference/tree/main/xinference/api>`_: "
"`restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_"
" is the core part that sets up and runs the RESTful APIs. It integrates an "
"authentication service (the specific code is located in `oauth2/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/oauth2>`_),"
" as some or all endpointsrequire user authentication."
msgstr ""
"`api/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api>`_: `restful_api.py"
" "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_"
" ist der Kern für die Einrichtung und Ausführung der RESTful-API. Es "
"integriert einen Authentifizierungsdienst (der spezifische Code befindet "
"sich in `oauth2/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/oauth2>`_),"
" da einige oder alle Endpunkte eine Benutzerauthentifizierung erfordern."

#: ../../source/development/xinference_internals.rst:233
msgid ""
"`client/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client>`_: This"
" is the client of Xinference."
msgstr ""
"`client/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client>`_: Dies "
"ist der Client von Xinference."

#: ../../source/development/xinference_internals.rst:235
msgid ""
"`oscar/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
" defines the Actor Client which acts as a client interface for interacting "
"with models deployed in a Xinference cluster."
msgstr ""
"`oscar/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
" definiert den Actor-Client, eine Clientschnittstelle zur Interaktion mit "
"Modellen in Xinference."

#: ../../source/development/xinference_internals.rst:238
msgid ""
"`restful/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/restful>`_"
" implements a RESTful client for interacting with a Xinference service."
msgstr ""
"`restful/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/restful>`_"
" implementiert den RESTful-Client für die Interaktion mit dem Xinference-"
"Dienst."

#: ../../source/development/xinference_internals.rst:241
msgid ""
"`core/ <https://github.com/xorbitsai/inference/tree/main/xinference/core>`_:"
" This is the core part of Xinference."
msgstr ""
"`core/ <https://github.com/xorbitsai/inference/tree/main/xinference/core>`_:"
" Dies ist der Kernbereich von Xinference."

#: ../../source/development/xinference_internals.rst:243
msgid ""
"`metrics.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/metrics.py>`_"
" and `resource.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/resource.py>`_"
" defines a set of tools for collecting and reporting metrics and the status "
"of node resources, including model throughput, latency, the usage of CPU and"
" GPU, memory usage, and more."
msgstr ""
"`metrics.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/metrics.py>`_"
" und `resource.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/resource.py>`_"
" definieren eine Reihe von Werkzeugen zur Erfassung und Meldung von Metriken"
" sowie des Knotenressourcenzustands, einschließlich Modelldurchsatz, Latenz,"
" CPU- und GPU-Auslastung, Speichernutzung usw."

#: ../../source/development/xinference_internals.rst:248
msgid ""
"`image_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/image_interface.py>`_"
" and `chat_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/chat_interface.py>`_"
" implement `Gradio <https://github.com/gradio-app/gradio>`_ interfaces for "
"image and chat models, respectively. These interfaces allow users to "
"interact with models through a Web UI, such as generating images or engaging"
" in chat. They build user interfaces using the gradio package and "
"communicate with backend models through our RESTful APIs."
msgstr ""
"`image_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/image_interface.py>`_"
" und `chat_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/chat_interface.py>`_"
" implementieren die `Gradio <https://github.com/gradio-app/gradio>`_ "
"-Schnittstellen für Bild- und Chat-Modelle. Diese Schnittstellen ermöglichen"
" es Benutzern, über die Weboberfläche mit den Modellen zu interagieren, wie "
"z. B. Bilder zu generieren oder Gespräche zu führen. Der Code verwendet das "
"Gradio-Paket zur Erstellung der Benutzeroberfläche und kommuniziert über "
"unsere RESTful-API mit den Backend-Modellen."

#: ../../source/development/xinference_internals.rst:254
msgid ""
"`worker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/worker.py>`_"
" and `supervisor.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/supervisor.py>`_"
" respectively define the logic for worker actors and supervisor actor. "
"Worker actors are responsible for carrying out specific model computation "
"tasks, while supervisor actors manage the lifecycle of worker nodes, "
"schedule tasks, and monitor system states."
msgstr ""
"`worker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/worker.py>`_"
" und `supervisor.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/supervisor.py>`_"
" definieren die Logik des Worker-Actors bzw. des Supervisor-Actors. Der "
"Worker-Actor ist für die Ausführung spezifischer Modellberechnungsaufgaben "
"zuständig, während der Supervisor-Actor den Lebenszyklus der Worker-Knoten "
"und die Aufgabenplanung verwaltet sowie den Systemzustand überwacht."

#: ../../source/development/xinference_internals.rst:259
msgid ""
"`status_guard.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/status_guard.py>`_"
" implements a status monitor to track the status of models (like creating, "
"updating, terminating, etc.). It allows querying status information of model"
" instances and managing these statuses based on the model's UID."
msgstr ""
"`status_guard.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/status_guard.py>`_"
" implementiert einen Statusmonitor zur Verfolgung des Modellstatus (z. B. "
"Erstellung, Aktualisierung, Beendigung). Es ermöglicht das Abfragen von "
"Statusinformationen einer Modellinstanz anhand ihrer UID."

#: ../../source/development/xinference_internals.rst:263
msgid ""
"`cache_tracker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/cache_tracker.py>`_"
" defines a cache tracker for recording and managing cache status and "
"information of model versions. It supports recording cache locations and "
"statuses of model versions and querying model version information based on "
"model names."
msgstr ""
"`cache_tracker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/cache_tracker.py>`_"
" definiert einen Cache-Tracker, der verwendet wird, um den Cache-Status und "
"die Modellversionsinformationen aufzuzeichnen und zu verwalten. Er "
"unterstützt das Aufzeichnen des Cache-Speicherorts und des Status der "
"Modellversion sowie das Abfragen von Modellversionsinformationen anhand des "
"Modellnamens."

#: ../../source/development/xinference_internals.rst:267
msgid ""
"`event.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/event.py>`_"
" defines an event collector for gathering and reporting various runtime "
"events of models, such as information, warnings, and errors. `model.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/model.py>`_"
" defines a Model Actor, the core component for direct model interactions. "
"The Model Actor is responsible for executing model inference requests, "
"handling input and output data streams, and supports various types of model "
"operations."
msgstr ""
"`event.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/event.py>`_"
" definiert einen Ereignissammler, der verschiedene Laufzeitereignisse von "
"Modellen wie Informationen, Warnungen und Fehler sammelt und meldet. "
"`model.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/model.py>`_"
" definiert einen Modell-Actor, der die zentrale Komponente für die direkte "
"Interaktion mit Modellen darstellt. Der Modell-Actor ist für die Ausführung "
"von Modell-Inferenzanfragen, die Verarbeitung von Eingabe- und "
"Ausgabedatenströmen sowie die Unterstützung verschiedener Modelloperationen "
"verantwortlich. Beide Teile verwenden `Xoscar "
"<https://github.com/xorbitsai/xoscar>`_ für die nebenläufige und verteilte "
"Ausführung."

#: ../../source/development/xinference_internals.rst:273
msgid ""
"`deploy/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy>`_: It "
"provides a command-line interface (CLI) for interacting with the Xinference "
"framework, allowing users to perform operations by command line. See "
"`Command Line`_ for more information."
msgstr ""
"`deploy/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy>`_: Es "
"stellt eine Befehlszeilenschnittstelle (CLI) zur Verfügung, um mit dem "
"Xinference-Framework zu interagieren, sodass Benutzer über die Befehlszeile "
"operieren können. Weitere Informationen finden Sie unter `Command Line`_."

#: ../../source/development/xinference_internals.rst:276
msgid ""
"`locale/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/locale>`_: It "
"supports multi-language localization. By simply adding and updating JSON "
"translation files, it becomes possible to support more languages, improving "
"user experience."
msgstr ""
"`locale/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/locale>`_: Es "
"unterstützt mehrsprachige Lokalisierung. Fügen Sie einfach JSON-"
"Übersetzungsdateien hinzu und aktualisieren Sie diese, um weitere Sprachen "
"zu unterstützen und die Benutzererfahrung zu verbessern."

#: ../../source/development/xinference_internals.rst:279
msgid ""
"`model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_: It "
"provides a structure for model descriptions, creation, and caching. See "
"`Model`_ for more information."
msgstr ""
"`model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_: Es "
"stellt ein Framework für die Beschreibung, Erstellung und das Caching von "
"Modellen bereit. Weitere Informationen finden Sie unter `Model`_."

#: ../../source/development/xinference_internals.rst:282
msgid ""
"`web/ui/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/web/ui>`_: The "
"js code of the frontend (Web UI)."
msgstr ""
"`web/ui/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/web/ui>`_: Der "
"JavaScript-Code des Frontends (Benutzeroberfläche)."

#~ msgid ""
#~ "Xinference supports different types of models including large language "
#~ "models (LLMs), image models, audio models, embedding models, etc"
#~ msgstr ""
#~ "Xinference unterstützt verschiedene Modelltypen, darunter große "
#~ "Sprachmodelle (LLM), Bildmodelle, Audiomodelle, Einbettungsmodelle und mehr."
#~ " Alle Modelle sind in `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ "
#~ "implementiert. Am Beispiel von `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "liegt der Schwerpunkt auf der Verwaltung und Instanziierung von LLMs. Dies "
#~ "umfasst die detaillierte Implementierung des Ladens, der Konfiguration und "
#~ "des Bereitstellens von LLMs, einschließlich der Handhabung verschiedener "
#~ "Quantisierungs- und Modellformate. In `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "werden viele Backends wie `GGML "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/ggml>`_,"
#~ " `PyTorch "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/pytorch>`_,"
#~ " `SGLang "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/sglang>`_"
#~ " und `vLLM "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/vllm>`_"
#~ " unterstützt."

#~ msgid ""
#~ "Take `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "for example, it focuses on the management and instantiation of LLMs. It "
#~ "includes detailed implementations for loading, configuring, and deploying "
#~ "LLMs, including handling different types of quantization and model formats. "
#~ "In `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_, "
#~ "it supports many backends such as `GGML "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/ggml>`_,"
#~ " `PyTorch "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/pytorch>`_,"
#~ " `SGLang "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/sglang>`_"
#~ " and `vLLM "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/vllm>`_."
#~ msgstr ""
#~ "Alle Modelle sind in `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ "
#~ "implementiert. Am Beispiel von `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "konzentriert es sich auf die Verwaltung und Instanziierung von LLMs. Es "
#~ "umfasst detaillierte Implementierungen zum Laden, Konfigurieren und "
#~ "Bereitstellen von LLMs, einschließlich der Handhabung verschiedener Arten "
#~ "von Quantisierung und Modellformaten. In `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "werden viele Backends unterstützt, wie `GGML "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/ggml>`_,"
#~ " `PyTorch "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/pytorch>`_,"
#~ " `SGLang "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/sglang>`_"
#~ " und `vLLM "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/vllm>`_."

#~ msgid ""
#~ "All models are implemented in `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_."
#~ msgstr ""
#~ "Alle Modelle sind in `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ "
#~ "implementiert."

#~ msgid ""
#~ "In ``model/llm/``, it supports many backends such as GGML, PyTorch, and "
#~ "vLLM."
#~ msgstr ""
#~ "Unter ````model/llm/```` unterstützen wir viele Backends, wie GGML, PyTorch "
#~ "und vLLM."

#~ msgid ""
#~ "`oscar/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
#~ " defines the Actor Client which acts as a client interface for interacting "
#~ "with models deployed in a server environment. It includes functionalities to"
#~ " register/unregister models, launch/terminate models, and interact with "
#~ "different types of models. This part heavily utilizes ``asyncio`` for "
#~ "asynchronous operations. See `Concurrency`_ for more information."
#~ msgstr ""
#~ "`oscar/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
#~ " definiert den Actor-Client, eine Client-Schnittstelle zur Interaktion mit "
#~ "in einer Serverumgebung bereitgestellten Modellen. Sie umfasst Funktionen "
#~ "zum Registrieren/Deregistrieren von Modellen, Starten/Beenden von Modellen "
#~ "sowie zur Interaktion mit verschiedenen Modelltypen. Dieser Teil verwendet "
#~ "hauptsächlich ``asyncio`` für asynchrone Operationen. Weitere Informationen "
#~ "finden Sie unter `Concurrency`_."

#~ msgid "Concurrency"
#~ msgstr "Konkurrenz"

#~ msgid ""
#~ "Both Xinference and Xoscar highly utilize coroutine programming of "
#~ "``asyncio``."
#~ msgstr ""
#~ "Xinference und Xoscar nutzen beide intensiv ``asyncio`` für die Coroutine-"
#~ "Programmierung."
