---
title: Токенизация в Code2Prompt
description: Узнайте о токенизации и том, как Code2Prompt обрабатывает текст для больших языковых моделей.
---

При работе с языковыми моделями текст необходимо преобразовать в формат, который модель может понять — **токены**, являющиеся последовательностями чисел. Это преобразование выполняется **токенизатором**.

---

## Что такое токенизатор?

Токенизатор преобразует сырой текст в токены, которые являются строительными блоками для обработки входных данных языковыми моделями. Эти токены могут представлять слова, под слова или даже отдельные символы, в зависимости от конструкции токенизатора.

Для `code2prompt` мы используем **tiktoken** токенизатор. Он эффективен, надежен и оптимизирован для моделей OpenAI.
Вы можете изучить его функциональность в официальном репозитории

👉 [репозиторий tiktoken на GitHub](https://github.com/openai/tiktoken)

Если вы хотите узнать больше о токенизаторе в целом, ознакомьтесь с

👉 [Руководством по токенизации Mistral](https://docs.mistral.ai/guides/tokenization/).

## Реализация в `code2prompt`

Токенизация реализована с помощью [`tiktoken-rs`](https://github.com/zurawiki/tiktoken-rs). `tiktoken` поддерживает следующие кодировки, используемые моделями OpenAI:

| Аргумент CLI | Имя кодировки           | Модели OpenAI                                                             |
|----| ----------------------- | ------------------------------------------------------------------------- |
|`cl100k`| `cl100k_base`           | Модели ChatGPT, `text-embedding-ada-002`                                  |
|`p50k`| `p50k_base`             | Модели кода, `text-davinci-002`, `text-davinci-003`                       |
|`p50k_edit`| `p50k_edit`             | Используется для моделей редактирования, таких как `text-davinci-edit-001`, `code-davinci-edit-001` |
|`r50k`| `r50k_base` (или `gpt2`) | Модели GPT-3, такие как `davinci`                                               |
|`gpt2`| `o200k_base`            | Модели GPT-4o                                                             |

Для более глубокого понимания различных токенизаторов см. [OpenAI Cookbook](https://github.com/openai/openai-cookbook/blob/66b988407d8d13cad5060a881dc8c892141f2d5c/examples/How_to_count_tokens_with_tiktoken.ipynb)

> Эта страница была автоматически переведена для вашего удобства. Обратитесь к английской версии для получения оригинального содержания.
