# SOME DESCRIPTIVE TITLE.
# Copyright (C) 2023, Xorbits Inc.
# This file is distributed under the same license as the Xinference package.
# FIRST AUTHOR <EMAIL@ADDRESS>, 2024.
#
#, fuzzy
msgid ""
msgstr ""
"Project-Id-Version: Xinference\n"
"Report-Msgid-Bugs-To: \n"
"POT-Creation-Date: 2024-05-31 11:46+0800\n"
"PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n"
"Last-Translator: FULL NAME <EMAIL@ADDRESS>\n"
"Language-Team: ko <LL@li.org>\n"
"Language: ko\n"
"MIME-Version: 1.0\n"
"Content-Type: text/plain; charset=utf-8\n"
"Content-Transfer-Encoding: 8bit\n"
"Plural-Forms: nplurals=1; plural=0;\n"
"Generated-By: Babel 2.18.0\n"

#: ../../source/development/xinference_internals.rst:3
msgid "The internals of Xinference"
msgstr "Xinference의 내부 구조"

#: ../../source/development/xinference_internals.rst:6
msgid "Table of contents:"
msgstr "목차"

#: ../../source/development/xinference_internals.rst:9
msgid "Overview"
msgstr "개요"

#: ../../source/development/xinference_internals.rst:10
msgid ""
"Xinference leverages `Xoscar <https://github.com/xorbitsai/xoscar>`_, an "
"actor programming framework we designed, as its core component to manage "
"machines, devices, and model inference processes. Each actor serves as a "
"basic unit for model inference and various inference backends can be "
"integrate into the actor, enabling us to support multiple inference engines "
"and hardware. These actors are hosted and scheduled within actor pools, "
"which are designed to be asynchronous and non-blocking and function as "
"resource pools."
msgstr ""
"Xinference는 당사가 설계한 actor 프로그래밍 프레임워크 `Xoscar "
"<https://github.com/xorbitsai/xoscar>`_ 를 핵심 구성 요소로 사용하여 머신, 장치 및 모델 추론 "
"프로세스를 관리합니다. 각 actor는 모델 추론의 기본 단위이며, 다양한 추론 백엔드를 actor에 통합하여 여러 추론 엔진과 "
"하드웨어를 지원할 수 있습니다. 이러한 actor는 리소스 풀 기능을 갖춘 actor 풀에서 호스팅 및 스케줄링되며, actor는 비동기"
" 및 논블로킹 방식으로 설계되었습니다."

#: ../../source/development/xinference_internals.rst:22
msgid ""
"Both supervisor and worker are actor instances. Initially, an actor pool, "
"serving as a resource pool, needs to be created on each server; and each "
"actor can utilize a CPU core or a GPU device. Each server has its own "
"address (IP address or hostname), so actors on different computing nodes can"
" communicate with each other through these addresses. See `Actor`_ for more "
"information."
msgstr ""
"supervisor와 worker는 모두 actor 인스턴스입니다. 먼저 각 서버에서 리소스 풀 역할을 하는 actor 풀을 생성해야 "
"합니다. 각 actor는 하나의 CPU 코어 또는 하나의 GPU 장치를 사용할 수 있습니다. 각 서버는 고유한 주소(IP 주소 또는 "
"호스트 이름)를 가지므로, 서로 다른 컴퓨팅 노드에 있는 actor는 이러한 주소를 통해 서로 통신할 수 있습니다. 자세한 내용은 "
"`Actor`_를 참조하십시오."

#: ../../source/development/xinference_internals.rst:27
msgid "RESTful API"
msgstr "RESTful API"

#: ../../source/development/xinference_internals.rst:28
msgid ""
"The RESTful API is implemented using `FastAPI "
"<https://github.com/tiangolo/fastapi>`_, as specified in `api/restful_api.py"
" "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_."
msgstr ""
"RESTful API는 `FastAPI <https://github.com/tiangolo/fastapi>`_ 를 사용하여 구현되었으며,"
" 구체적인 코드는 `api/restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_"
" 에 있습니다."

#: ../../source/development/xinference_internals.rst:35
msgid ""
"This is an example of the API ``/status``, it's corresponding function is "
"``get_status``. You can add connection between RESTful API and the backend "
"function you want in `api/restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_."
msgstr ""
"이것은 API의 예시로, API ``/status``는 함수 ``get_status``에 대응됩니다. `api/restful_api.py"
" "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_"
" 에서 RESTful API와 해당 백엔드 함수 간의 관계를 추가할 수 있습니다."

#: ../../source/development/xinference_internals.rst:39
msgid "Command Line"
msgstr "명령줄"

#: ../../source/development/xinference_internals.rst:40
msgid ""
"The Command Line is implemented using `Click "
"<https://click.palletsprojects.com/>`_, as specified in `deploy/cmdline.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy/cmdline.py>`_,"
" allowing users to interact with the Xinference deployment features directly"
" from the terminal."
msgstr ""
"명령줄은 `Click <https://click.palletsprojects.com/>`_ 으로 구현되었으며, 구체적인 코드는 "
"`deploy/cmdline.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy/cmdline.py>`_"
" 에 있습니다. 명령줄을 통해 사용자는 터미널에서 직접 Xinference와 상호작용할 수 있습니다."

#: ../../source/development/xinference_internals.rst:45
msgid "Entry Points"
msgstr "입구 지점"

#: ../../source/development/xinference_internals.rst:46
msgid "Take the command-lines we implemented as examples:"
msgstr "우리가 구현한 명령줄을 예로 들면:"

#: ../../source/development/xinference_internals.rst:48
msgid ""
"``xinference``: Provides commands for model management, including "
"registering/unregistering models, listing all registered/running models, and"
" launching or terminating specific models. It also features interactive "
"commands like generate and chat for testing and interacting with deployed "
"models in real-time."
msgstr ""
"``xinference``: 모델 관리를 위한 명령을 제공하며, 모델 등록/등록 취소, 등록/실행 중인 모든 모델 목록 보기, 특정 모델"
" 시작 또는 종료 기능을 포함합니다. 또한 배포된 모델을 테스트하거나 상호작용하기 위한 언어 생성 및 채팅 등의 대화형 명령도 "
"제공합니다."

#: ../../source/development/xinference_internals.rst:52
msgid "``xinference-local``: Starts a local Xinference service."
msgstr "``xinference-local``: 로컬 Xinference 서비스를 시작합니다."

#: ../../source/development/xinference_internals.rst:54
msgid ""
"``xinference-supervisor``: Initiates a supervisor process that manages and "
"monitors worker actors within a distributed setup."
msgstr ""
"``xinference-supervisor``: supervisor 프로세스를 시작하여 분산 환경에서 worker 액터를 관리하고 "
"모니터링합니다."

#: ../../source/development/xinference_internals.rst:56
msgid ""
"``xinference-worker``: Starts a worker process that executes tasks assigned "
"by the supervisor, utilizing available computational resources effectively."
msgstr ""
"``xinference-worker``: 워커 프로세스를 시작하여 사용 가능한 컴퓨팅 리소스를 활용해 supervisor가 할당한 작업을"
" 실행합니다."

#: ../../source/development/xinference_internals.rst:59
msgid ""
"Each command is equipped with ``options`` and ``flags`` to customize its "
"behavior, such as specifying log levels, host addresses, port numbers, and "
"other relevant settings."
msgstr ""
"각 명령어에는 ``option``과 ``flag``가 포함되어 있어, 로그 수준, 호스트 주소, 포트 번호 및 기타 관련 설정을 지정하는"
" 등 동작을 사용자 정의할 수 있습니다."

#: ../../source/development/xinference_internals.rst:62
msgid ""
"Python projects define command-line console entry points in "
"``pyproject.toml``."
msgstr "Python 프로젝트는 ``pyproject.toml``에서 명령줄 콘솔 엔트리 포인트를 정의합니다."

#: ../../source/development/xinference_internals.rst:72
msgid ""
"The command-line ``xinference`` can be referred to code in "
"``xinference.deploy.cmdline:cli``."
msgstr ""
"명령줄 ``xinference`` 는 ``xinference.deploy.cmdline:cli`` 의 코드를 참조할 수 있습니다."

#: ../../source/development/xinference_internals.rst:75
msgid "Click"
msgstr "Click"

#: ../../source/development/xinference_internals.rst:76
msgid "We use Click to implement a specific command-line:"
msgstr "우리는 Click을 사용하여 특정 명령줄을 구현합니다."

#: ../../source/development/xinference_internals.rst:95
msgid ""
"For example, the ``xinference-local`` command allows you to define the host "
"address and port."
msgstr "예를 들어, ``xinference-local`` 명령어를 사용하면 호스트 주소와 포트를 정의할 수 있습니다."

#: ../../source/development/xinference_internals.rst:98
msgid "Actor"
msgstr "Actor"

#: ../../source/development/xinference_internals.rst:99
msgid ""
"Xinference is fundamentally based on `Xoscar "
"<https://github.com/xorbitsai/xoscar>`_, our actor framework, which can "
"manage computational resources and Python processes to support scalable and "
"concurrent programming. The following is a pseudocode demonstrating how our "
"Worker Actor works, the actual Worker Actor is more complex than this."
msgstr ""
"Xinference는 `Xoscar <https://github.com/xorbitsai/xoscar>`_ 을 기반으로 하며, "
"Xoscar는 컴퓨팅 리소스와 Python 프로세스를 관리하고 확장 가능한 동시성 프로그래밍을 지원하는 액터 프레임워크입니다. 아래 의사"
" 코드는 Worker Actor의 작동 방식을 보여주며, 실제 Worker Actor는 이보다 훨씬 복잡합니다."

#: ../../source/development/xinference_internals.rst:126
msgid ""
"We use the ``WorkerActor`` as an example to illustrate how we build the "
"Xinference. Each actor class is a standard Python class that inherits from "
"``xoscar.Actor``. An instance of this class is a specific actor within the "
"actor pool."
msgstr ""
"``WorkerActor``를 예시로 Xinference를 구축하는 방법을 설명하겠습니다. 각 액터 클래스는 "
"``xoscar.Actor``를 상속받는 표준 Python 클래스입니다. 이 클래스의 인스턴스는 액터 풀 내의 특정 액터입니다."

#: ../../source/development/xinference_internals.rst:130
msgid ""
"**Define Actor Actions**: Each actor needs to define certain actions or "
"behaviors to accomplish specific tasks. For instance, the model inference "
"``WorkerActor`` needs to launch the model (``launch_model``), list the "
"models in this actor (``list_models``), terminate a model "
"(``terminate_model``). There are two special methods worth noting. The "
"``__post_create__`` is invoked before the actor is created, allowing for "
"necessary initializations. The ``__pre_destroy__`` is called after the actor"
" is destroyed, allowing for cleanup or finalization tasks."
msgstr ""
"**Actor의 행동 정의하기**: 각 actor는 특정 작업을 완료하기 위해 특정 동작이나 행위를 정의해야 합니다. 예를 들어, 모델 "
"추론 ``WorkerActor``는 모델을 시작하고(``launch_model``), 해당 actor의 모델을 "
"나열하며(``list_models``), 모델을 종료해야(``terminate_model``) 합니다. 주목할 만한 두 가지 특별한 "
"메서드가 있습니다. ``__post_create__``는 actor가 생성되기 전에 호출되어 필요한 초기화를 수행합니다. 반면 "
"``__pre_destroy__``는 actor가 소멸된 후에 호출되어 정리 작업을 실행합니다."

#: ../../source/development/xinference_internals.rst:136
msgid ""
"**Reference Actor and Invoke Methods**: When an actor is created, it yields "
"a reference variable so that other actors can reference it. The actor "
"reference can also be referenced with the address. Suppose the "
"``WorkerActor`` is created and the reference variable is ``worker_ref``,  "
"the ``launch_model`` method of this actor class can be invoked by calling "
"``worker_ref.launch_model()``. Even if the actor's method is originally a "
"synchronized method, when called with an actor reference, it will become as "
"an asynchronous method."
msgstr ""
"**Actor 참조 및 메서드 호출**: Actor를 생성하면 참조 변수가 생성되어 다른 Actor가 이를 참조할 수 있습니다. "
"Actor는 IP 주소로도 참조할 수 있습니다. ``WorkerActor``가 생성되고 참조 변수가 ``worker_ref``라면, "
"``worker_ref.launch_model()``을 호출하여 해당 Actor 클래스의 ``launch_model`` 메서드를 호출할 "
"수 있습니다. Actor 내의 메서드가 원래 전통적인 블로킹 방식의 메서드라 하더라도, 참조 변수를 사용하여 이 메서드를 호출하면 비동기"
" 메서드로 변환됩니다."

#: ../../source/development/xinference_internals.rst:143
msgid ""
"**Inference Engine**: The actor can manage the process, and the inference "
"engine is also a process. In the launch model part of the ``WorkerActor``, "
"we can initialize different inference engines according to the user's need. "
"Therefore, Xinference can support multiple inference engines and can easily "
"adapt to new inference engines in the future."
msgstr ""
"**추론 엔진**: Actor는 프로세스를 관리할 수 있으며, 추론 엔진 역시 일종의 프로세스입니다. ``WorkerActor``의 시작"
" 모델 부분에서 사용자의 필요에 따라 다양한 추론 엔진을 초기화할 수 있습니다. 따라서 Xinference는 여러 추론 엔진을 지원하며,"
" 향후 새로운 추론 엔진에도 쉽게 적응할 수 있습니다."

#: ../../source/development/xinference_internals.rst:148
msgid ""
"See `Xoscar document <https://xoscar.dev/en/latest/getting_started/llm-"
"inference.html>`_ for more actor use cases."
msgstr ""
"`Xoscar 문서 <https://xoscar.dev/en/latest/getting_started/llm-"
"inference.html>`_ 에서 더 많은 Actor 사용 사례를 참조하세요."

#: ../../source/development/xinference_internals.rst:151
msgid "Asynchronous Programming"
msgstr "비동기 프로그래밍"

#: ../../source/development/xinference_internals.rst:153
msgid ""
"Both Xinference and Xoscar highly utilize asynchronous programming of "
"``asyncio``. Asynchronous programming is a programming paradigm that does "
"not block. Instead, requests and function calls are issued and executed in "
"the background and results are returned in the future. This enables us to "
"perform activities concurrently."
msgstr ""
"Xinference와 Xoscar는 비동기 프로그래밍 라이브러리 ``asyncio``에 크게 의존합니다. 비동기 프로그래밍은 논블로킹 "
"프로그래밍 패러다임입니다. 전통적인 블로킹 방식의 함수 호출과 달리, 비동기 프로그래밍에서는 요청이나 함수 호출이 백그라운드에서 "
"실행되며, 실행 결과는 미래의 특정 시점에 반환됩니다. 비동기 프로그래밍의 장점은 여러 가지 다양한 활동이나 작업을 동시에 병행하여 "
"수행할 수 있다는 점입니다."

#: ../../source/development/xinference_internals.rst:159
msgid ""
"If you're not familiar with Pythons's ``asyncio``, you can see more "
"tutorials for help:"
msgstr "만약 Python의 ``asyncio``에 익숙하지 않다면, 더 많은 튜토리얼을 참고하여 도움을 받을 수 있습니다:"

#: ../../source/development/xinference_internals.rst:161
msgid ""
"`Python Asyncio Tutorial <https://bbc.github.io/cloudfit-public-"
"docs/asyncio/asyncio-part-1.html>`__"
msgstr ""
"`Python Asyncio Tutorial <https://bbc.github.io/cloudfit-public-"
"docs/asyncio/asyncio-part-1.html>`__"

#: ../../source/development/xinference_internals.rst:163
msgid ""
"`Real Python's asyncio Tutorial <https://realpython.com/async-io-python/>`__"
msgstr ""
"`Real Python asyncio 튜토리얼 <https://realpython.com/async-io-python/>`__"

#: ../../source/development/xinference_internals.rst:165
msgid ""
"`Python Official Documentation "
"<https://docs.python.org/3/library/asyncio.html>`__"
msgstr "`Python 공식 문서 <https://docs.python.org/3/library/asyncio.html>`__"

#: ../../source/development/xinference_internals.rst:169
msgid "Model"
msgstr "model"

#: ../../source/development/xinference_internals.rst:171
msgid ""
"Xinference supports different types of models including large language "
"models (LLMs), image models, audio models, embedding models, etc. All models"
" are implemented in `model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_."
msgstr ""
"Xinference는 대형 언어 모델(LLM), 이미지 모델, 오디오 모델, 임베딩 모델 등 다양한 유형의 모델을 지원합니다. 모든 "
"모델은 `model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ 폴더에서 "
"구현됩니다."

#: ../../source/development/xinference_internals.rst:175
msgid "LLM"
msgstr ""

#: ../../source/development/xinference_internals.rst:177
msgid ""
"Take `model/llm/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
"for example, it focuses on the management and instantiation of LLMs. It "
"includes detailed implementations for loading, configuring, and deploying "
"LLMs."
msgstr ""
"`model/llm/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ 를 "
"예로 들면, 주로 LLM을 관리하고 시작하며, 대규모 언어 모델의 로딩, 구성 및 실행을 포함합니다."

#: ../../source/development/xinference_internals.rst:181
msgid ""
"We support many backends such as GGML, PyTorch, and vLLM. Our generated "
"content is compatible with the format of OpenAI, supporting features such as"
" streaming output and returning chat completion format (for chat models "
"only). Therefore, there is a lot of adaptation work to be done after the "
"model generate content. These tasks are not difficult, but they do require "
"some time. When writing this part of the code, please refer to the `OpenAI "
"API documentation <https://platform.openai.com/docs/introduction>`_ and the "
"documentation of various inference backends, and make the necessary "
"adaptations."
msgstr ""
"우리는 GGML, PyTorch, vLLM 등 다양한 추론 백엔드를 지원합니다. 생성된 콘텐츠는 OpenAI 형식과 호환되며, 예를 들어"
" 스트리밍 출력(stream)을 지원하고, 대화 모델은 chat completion 형식으로 반환됩니다. 따라서 모델 출력 후 많은 적응"
" 작업이 필요합니다. 이러한 작업은 어렵지 않지만 시간이 다소 소요됩니다. 이 부분의 코드를 작성할 때는 `OpenAI API 문서 "
"<https://platform.openai.com/docs/introduction>`_ 및 각 추론 백엔드 문서를 참고하여 필요한 "
"적응을 수행하십시오."

#: ../../source/development/xinference_internals.rst:185
msgid "JSON"
msgstr ""

#: ../../source/development/xinference_internals.rst:187
msgid ""
"In `model/llm/llm_family.json "
"<https://github.com/xorbitsai/inference/blob/main/xinference/model/llm/llm_family.json>`_,"
" we utilize JSON files to manage the metadata of emerging open-source "
"models. Adding a new model does not necessitate writing new code, it merely "
"requires appending new metadata to the existing JSON file."
msgstr ""
"`model/llm/llm_family.json "
"<https://github.com/xorbitsai/inference/blob/main/xinference/model/llm/llm_family.json>`_"
" 에서, 우리는 JSON 파일을 사용하여 새로 등장하는 오픈소스 모델의 메타데이터를 관리합니다. 새 모델을 추가하기 위해 새로운 코드를 "
"작성할 필요 없이, 기존 JSON 파일에 새로운 메타데이터만 추가하면 됩니다."

#: ../../source/development/xinference_internals.rst:214
msgid ""
"This is an example of how to define the Llama-2 chat model. The "
"``model_specs`` define the information of the model, as one model family "
"usually comes with various sizes, quantization methods, and file formats. "
"For instance, the ``model_format`` could be ``pytorch`` (using Hugging Face "
"Transformers or vLLM as backend), ``ggmlv3`` (a tensor library associated "
"with llama.cpp), or ``gptq`` (a post-training quantization framework). The "
"``model_id`` defines the repository of the model hub from which Xinference "
"downloads the checkpoint files. Furthermore, due to distinct instruction-"
"tuning processes, different model families have varying prompt styles. The "
"``prompt_style`` in the JSON file specifies how to format prompts for this "
"particular model. For example, ``system_prompt`` and ``roles`` are used to "
"specify the instructions and personality of the model."
msgstr ""
"다음은 Llama-2 채팅 모델을 정의하는 예시입니다. `model_specs`는 모델 정보를 정의하며, 하나의 모델 시리즈는 일반적으로"
" 다양한 크기, 양자화 방법 및 파일 형식을 가지기 때문입니다. 예를 들어, `model_format`은 `pytorch`(Hugging"
" Face Transformers 또는 vLLM을 백엔드로 사용), `ggmlv3`(llama.cpp 관련 텐서 라이브러리) 또는 "
"`gptq`(훈련 후 양자화 프레임워크)일 수 있습니다. `model_id`는 모델 허브의 리포지토리를 정의하며, Xinference는 "
"모델 허브에서 체크포인트 파일을 다운로드합니다. 또한, 서로 다른 명령어 조정 프로세스로 인해 모델 시리즈마다 프롬프트 스타일이 "
"다릅니다. JSON 파일의 `prompt_style`은 특정 모델의 프롬프트 형식을 지정합니다. 예를 들어, "
"`system_prompt`와 `roles`는 모델의 명령어와 특성을 지정하는 데 사용됩니다."

#: ../../source/development/xinference_internals.rst:224
msgid "Code Walkthrough"
msgstr "Code Guide"

#: ../../source/development/xinference_internals.rst:226
msgid ""
"The main code is located in the `xinference/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference>`_:"
msgstr ""
"주요 코드는 `xinference/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference>`_에 있습니다."

#: ../../source/development/xinference_internals.rst:228
msgid ""
"`api/ <https://github.com/xorbitsai/inference/tree/main/xinference/api>`_: "
"`restful_api.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_"
" is the core part that sets up and runs the RESTful APIs. It integrates an "
"authentication service (the specific code is located in `oauth2/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/oauth2>`_),"
" as some or all endpointsrequire user authentication."
msgstr ""
"`api/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api>`_：`restful_api.py"
" "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/restful_api.py>`_는"
" RESTful API를 설정하고 실행하는 핵심 부분입니다. 일부 또는 모든 포트에 사용자 인증이 필요하기 때문에, 인증 서비스(구체적인"
" 코드는 `oauth2/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/api/oauth2>`_에 "
"위치)를 통합하고 있습니다."

#: ../../source/development/xinference_internals.rst:233
msgid ""
"`client/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client>`_: This"
" is the client of Xinference."
msgstr ""
"`client/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client>`_：Xinference의"
" 클라이언트입니다."

#: ../../source/development/xinference_internals.rst:235
msgid ""
"`oscar/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
" defines the Actor Client which acts as a client interface for interacting "
"with models deployed in a Xinference cluster."
msgstr ""
"`oscar/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
" 는 Actor 클라이언트를 정의하며, 이는 Xinference에서 모델과 상호작용하기 위한 클라이언트 인터페이스입니다."

#: ../../source/development/xinference_internals.rst:238
msgid ""
"`restful/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/restful>`_"
" implements a RESTful client for interacting with a Xinference service."
msgstr ""
"`restful/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/client/restful>`_"
" Xinference 서비스와 상호작용하는 RESTful 클라이언트를 구현합니다."

#: ../../source/development/xinference_internals.rst:241
msgid ""
"`core/ <https://github.com/xorbitsai/inference/tree/main/xinference/core>`_:"
" This is the core part of Xinference."
msgstr ""
"`core/ <https://github.com/xorbitsai/inference/tree/main/xinference/core>`_:"
" Xinference의 핵심 부분입니다."

#: ../../source/development/xinference_internals.rst:243
msgid ""
"`metrics.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/metrics.py>`_"
" and `resource.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/resource.py>`_"
" defines a set of tools for collecting and reporting metrics and the status "
"of node resources, including model throughput, latency, the usage of CPU and"
" GPU, memory usage, and more."
msgstr ""
"`metrics.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/metrics.py>`_"
" 및 `resource.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/resource.py>`_"
" 는 모델 처리량, 지연 시간, CPU 및 GPU 사용률, 메모리 사용률 등 지표와 노드 리소스 상태를 수집하고 보고하기 위한 도구 "
"세트를 정의합니다."

#: ../../source/development/xinference_internals.rst:248
msgid ""
"`image_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/image_interface.py>`_"
" and `chat_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/chat_interface.py>`_"
" implement `Gradio <https://github.com/gradio-app/gradio>`_ interfaces for "
"image and chat models, respectively. These interfaces allow users to "
"interact with models through a Web UI, such as generating images or engaging"
" in chat. They build user interfaces using the gradio package and "
"communicate with backend models through our RESTful APIs."
msgstr ""
"`image_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/image_interface.py>`_"
" 및 `chat_interface.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/chat_interface.py>`_는"
" 각각 이미지 및 채팅 모델에 대해 `Gradio <https://github.com/gradio-app/gradio>`_ 인터페이스를 "
"구현합니다. 이러한 인터페이스는 사용자가 웹 인터페이스를 통해 모델과 상호작용할 수 있도록 하며, 예를 들어 이미지를 생성하거나 채팅을 "
"할 수 있습니다. 코드는 Gradio 패키지를 사용하여 사용자 인터페이스를 구축하고, RESTful API를 통해 백엔드 모델과 "
"통신합니다."

#: ../../source/development/xinference_internals.rst:254
msgid ""
"`worker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/worker.py>`_"
" and `supervisor.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/supervisor.py>`_"
" respectively define the logic for worker actors and supervisor actor. "
"Worker actors are responsible for carrying out specific model computation "
"tasks, while supervisor actors manage the lifecycle of worker nodes, "
"schedule tasks, and monitor system states."
msgstr ""
"`worker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/worker.py>`_"
" 와 `supervisor.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/supervisor.py>`_"
" 는 각각 worker actor와 supervisor actor의 로직을 정의합니다. worker actor는 특정 모델 연산 작업을 "
"실행하며, supervisor actor는 Worker 노드의 수명 주기와 작업 스케줄링을 관리하고 시스템 상태를 모니터링합니다."

#: ../../source/development/xinference_internals.rst:259
msgid ""
"`status_guard.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/status_guard.py>`_"
" implements a status monitor to track the status of models (like creating, "
"updating, terminating, etc.). It allows querying status information of model"
" instances and managing these statuses based on the model's UID."
msgstr ""
"`status_guard.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/status_guard.py>`_는"
" 모델의 상태(예: 생성, 업데이트, 종료 등)를 추적하는 상태 모니터를 구현합니다. 이를 통해 모델의 UID를 기반으로 모델 인스턴스의"
" 상태 정보를 조회할 수 있습니다."

#: ../../source/development/xinference_internals.rst:263
msgid ""
"`cache_tracker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/cache_tracker.py>`_"
" defines a cache tracker for recording and managing cache status and "
"information of model versions. It supports recording cache locations and "
"statuses of model versions and querying model version information based on "
"model names."
msgstr ""
"`cache_tracker.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/cache_tracker.py>`_"
" 는 캐시 상태와 모델 버전 정보를 기록하고 관리하는 캐시 추적기를 정의합니다. 캐시 위치와 모델 버전의 상태를 기록하고, 모델 이름을 "
"기준으로 모델 버전 정보를 조회할 수 있습니다."

#: ../../source/development/xinference_internals.rst:267
msgid ""
"`event.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/event.py>`_"
" defines an event collector for gathering and reporting various runtime "
"events of models, such as information, warnings, and errors. `model.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/model.py>`_"
" defines a Model Actor, the core component for direct model interactions. "
"The Model Actor is responsible for executing model inference requests, "
"handling input and output data streams, and supports various types of model "
"operations."
msgstr ""
"`event.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/event.py>`_"
" 는 다양한 런타임 모델의 정보, 경고 및 오류와 같은 이벤트를 수집하고 보고하는 이벤트 수집기를 정의합니다. `model.py "
"<https://github.com/xorbitsai/inference/tree/main/xinference/core/model.py>`_"
" 는 모델과 직접 상호작용하는 핵심 구성 요소인 모델 액터를 정의합니다. 모델 액터는 모델 추론 요청을 실행하고, 입력 및 출력 데이터 "
"스트림을 처리하며, 다양한 모델 작업을 지원합니다. 이 두 부분 모두 `Xoscar "
"<https://github.com/xorbitsai/xoscar>`_ 를 사용하여 동시 및 분산 실행을 구현합니다."

#: ../../source/development/xinference_internals.rst:273
msgid ""
"`deploy/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy>`_: It "
"provides a command-line interface (CLI) for interacting with the Xinference "
"framework, allowing users to perform operations by command line. See "
"`Command Line`_ for more information."
msgstr ""
"`deploy/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/deploy>`_：Xinference"
" 프레임워크와 상호작용하기 위한 CLI(Command Line Interface)를 제공하며, 사용자가 명령줄을 통해 작업을 수행할 수 "
"있도록 합니다. 자세한 내용은 `Command Line`_을 참조하십시오."

#: ../../source/development/xinference_internals.rst:276
msgid ""
"`locale/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/locale>`_: It "
"supports multi-language localization. By simply adding and updating JSON "
"translation files, it becomes possible to support more languages, improving "
"user experience."
msgstr ""
"`locale/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/locale>`_：다국어 "
"로컬라이제이션을 지원합니다. JSON 번역 파일을 추가하고 업데이트하기만 하면 더 많은 언어를 지원하고 사용자 경험을 개선할 수 "
"있습니다."

#: ../../source/development/xinference_internals.rst:279
msgid ""
"`model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_: It "
"provides a structure for model descriptions, creation, and caching. See "
"`Model`_ for more information."
msgstr ""
"`model/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ : 모델 "
"설명, 생성 및 캐싱을 위한 프레임워크를 제공합니다. 자세한 내용은 `Model`_ 을 참조하십시오."

#: ../../source/development/xinference_internals.rst:282
msgid ""
"`web/ui/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/web/ui>`_: The "
"js code of the frontend (Web UI)."
msgstr ""
"`web/ui/ "
"<https://github.com/xorbitsai/inference/tree/main/xinference/web/ui>`_：프론트엔드(사용자"
" 인터페이스)의 js 코드입니다."

#~ msgid ""
#~ "Xinference supports different types of models including large language "
#~ "models (LLMs), image models, audio models, embedding models, etc"
#~ msgstr ""
#~ "Xinference는 대규모 언어 모델(LLM), 이미지 모델, 오디오 모델, 임베딩 모델 등 다양한 유형의 모델을 지원합니다. 모든 "
#~ "모델은 `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ 에 구현되어"
#~ " 있습니다. `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ 을 "
#~ "예로 들면, 이는 LLM의 관리 및 인스턴스화에 중점을 둡니다. 여기에는 다양한 양자화 및 모델 형식을 처리하는 것을 포함하여 LLM을 "
#~ "로드, 구성 및 배포하기 위한 상세한 구현이 포함됩니다. `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ 은 "
#~ "`GGML "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/ggml>`_,"
#~ " `PyTorch "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/pytorch>`_,"
#~ " `SGLang "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/sglang>`_"
#~ " 및 `vLLM "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/vllm>`_"
#~ " 과 같은 많은 백엔드를 지원합니다."

#~ msgid ""
#~ "Take `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "for example, it focuses on the management and instantiation of LLMs. It "
#~ "includes detailed implementations for loading, configuring, and deploying "
#~ "LLMs, including handling different types of quantization and model formats. "
#~ "In `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_, "
#~ "it supports many backends such as `GGML "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/ggml>`_,"
#~ " `PyTorch "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/pytorch>`_,"
#~ " `SGLang "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/sglang>`_"
#~ " and `vLLM "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/vllm>`_."
#~ msgstr ""
#~ "모든 모델은 `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ 에서 "
#~ "구현됩니다. `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ 을 "
#~ "예로 들면, 이는 LLM의 관리 및 인스턴스화에 중점을 둡니다. 여기에는 다양한 양자화 유형 및 모델 형식을 처리하는 것을 포함하여 "
#~ "LLM을 로드, 구성 및 배포하는 세부 구현이 포함됩니다. `llm/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm>`_ "
#~ "에서는 `GGML "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/ggml>`_,"
#~ " `PyTorch "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/pytorch>`_,"
#~ " `SGLang "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/sglang>`_,"
#~ " `vLLM "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model/llm/vllm>`_"
#~ " 등 많은 백엔드를 지원합니다."

#~ msgid ""
#~ "All models are implemented in `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_."
#~ msgstr ""
#~ "모든 모델은 `model/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/model>`_ 에서 "
#~ "구현됩니다."

#~ msgid ""
#~ "In ``model/llm/``, it supports many backends such as GGML, PyTorch, and "
#~ "vLLM."
#~ msgstr "``model/llm/`` 아래에서 GGML, PyTorch, vLLM과 같은 많은 백엔드를 지원합니다."

#~ msgid ""
#~ "`oscar/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
#~ " defines the Actor Client which acts as a client interface for interacting "
#~ "with models deployed in a server environment. It includes functionalities to"
#~ " register/unregister models, launch/terminate models, and interact with "
#~ "different types of models. This part heavily utilizes ``asyncio`` for "
#~ "asynchronous operations. See `Concurrency`_ for more information."
#~ msgstr ""
#~ "`oscar/ "
#~ "<https://github.com/xorbitsai/inference/tree/main/xinference/client/oscar>`_"
#~ " 는 Actor 클라이언트를 정의하며, 이는 서버 환경에 배포된 모델과 상호작용하기 위한 클라이언트 인터페이스입니다. 여기에는 모델 "
#~ "등록/등록 해제, 모델 시작/종료, 그리고 다양한 유형의 모델과 상호작용하는 기능이 포함됩니다. 이 부분은 주로 ``asyncio`` 를"
#~ " 사용하여 비동기 작업을 수행합니다. 자세한 내용은 `Concurrency`_ 를 참조하십시오."

#~ msgid "Concurrency"
#~ msgstr "동시성"

#~ msgid ""
#~ "Both Xinference and Xoscar highly utilize coroutine programming of "
#~ "``asyncio``."
#~ msgstr "Xinference와 Xoscar는 모두 ``asyncio``를 고도로 활용하여 코루틴 프로그래밍을 수행합니다."
