> For the complete documentation index, see [llms.txt](https://enaennprompt.gitbook.io/enaenn/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://enaennprompt.gitbook.io/enaenn/guides/gaidy-i-prompty-ot-enaenn/nastroika/nastroiki-generacii-dlya-bolshikh-llm.md). # Настройки генерации для больших LLM автор @enaenn Познакомимся поближе с настройками генерации языковых моделек и тем, как вообще работает ИИ. Принцип работы искуственного интеллекта очень общими словами: на каждом шаге генерации текста ИИ предсказывает следующее слово, основываясь на контексте предыдущих и базе, на которой он был обучен. **Context Size** — это размер памяти вашей ИИшки. Каждому слову присваивается значение, которое показывает вероятность его использования в генерируемой последовательности. На распределение **значений вероятности** влияет параметр **Temperature**. Параметры **Top K** и **Top P** помогают **сузить выборку следующего слова**. *** Быстрая навигация: 1. [Context Size](#context-size-razmer-konteksta) 2. [Temperature](#temperature) 3. [Top K, Top P](#top-p-top-k) *** #### Context Size **Context Size** — кол-во информации, которое ИИ держит в памяти при генерации ответа. Сюда входят системный промпт, карточка бота, история чата, описание вашей персоны и информация о сеттинге (лорбуки). 3-4 символа **на английском** ≈ 1 токен контекстной памяти в среднем (у каждой модельки свой счетчик). Для **китайского языка** 1 иероглиф ≈ 0.6 токенам. **Русский язык** один из самых тяжелых по весу: 1 слово ≈ 2-3 токена. По моему опыту могу сказать, что Claude Opus в ролке хорошо себя чувствует на контексте до 55-60к — события не сбиваются в одну кучу, галлюцинаций мало либо их нет совсем, от промпта не отклоняется (на temp 0.57-0.65, top\_p 0.98). Gemini Pro хорош до 45к, дальше его начинает козявить: пидорит бота по всей локе (одна нога тут, другая в пяти метрах), отращивает три руки, путает персонажей и вообще сходит с ума на любых настройках генерации. С ГЛМ и Дипсиком (прошка) примерно та же ситуация. Соответственно, на июль 2026 советую ограничивать контекст до 45к, чтобы поддерживать качество ответов на высоком уровне на протяжении всей истории. Это в случае если ваш сервис не ввел внутреннее ограничение по контексту на модели — обращайте внимания на лимиты. Обычно пишут как-то так:

максимально возможный размер контекста — 1 млн токенов, максимально возможный размер ответа модели 384 тыс токенов

Проверить, сколько токенов ушло ИИшке, можно в личном кабинете. #### Temperature **Temperature (температура)** — параметр, который управляет «остротой» распределения вероятностей при выборе следующего слова. Он **перемасштабирует** их вероятности, делая выбор либо более предсказуемым, либо более хаотичным. {% hint style="info" icon="cat" %} **Как это работает:**\ Модель изначально выдает для каждого токена некий «вес» (логит). Температура делит эти веса (чем выше температура, тем меньше разница между большими и малыми весами), после чего применяется функция Softmax для получения итоговых вероятностей. * **Низкая температура (\~0.1-0.5)** — вероятности самых сильных кандидатов резко возрастают, остальные становятся ничтожно малыми. Модель почти всегда выбирает самое очевидное слово. Ответы становятся сухими, шаблонными, но стабильными. Скорость генерации также снижается. * **Высокая температура (\~1.0-2.0)** — вероятности выравниваются, даже маловероятные слова получают шанс быть выбранными. Генерация становится креативной, неожиданной, но может скатываться в бессмыслицу или ошибки. * **Температура = 1** — исходное распределение без изменений (это стандартное состояние модели). {% endhint %} На июль 2026 года в зависимости от модели я держу температуру в пределах 0.57-0.65 для Opus 4.6, GLM 5.2, и DeepSeek V4 Pro, и 0.65-0.85 для Gemini Pro/Flash и DeepSeek V4 Flash #### Top P, Top K **Top P** влияет на выборку слов, из которых генерируется текст. Чем выше значение, тем больше ее размер. Чтобы проще было понять, представим бутылку с водой. Вода — это наши слова, а объем бутылки — это как раз ограничивающий top P. Наполняя бутылку, мы набираем слова, пока их суммарная вероятность не достигнет объёма бутылки. {% hint style="info" %} ***Примерная схема работы Top P:*** Например, мы разговариваем с моделью про выращивание яблоневых деревьев в саду при Top P = 0.90. Модель берёт наиболее вероятные слова в данном контексте, которые используются после словосочетания «яблоневые деревья», при этом учитывая содержание нашей беседы. Слова, которые в сумме дают 90% вероятности, остаются, и из них ИИ случайно выбирает одно, подходящее по смыслу к генерируемому тексту.

Словосочетание «яблоневые деревья»:

«растут» — 0.40

«обрабатывают» — 0.20

«высаживают» — 0.15

«крепкие» — 0.08

«являются» — 0.07

другие — 0.10 в сумме

Сумма слов: «растут» 0.40 + «обрабатывают» 0.20 + «высаживают» 0.15 + «крепкие» 0.08 + «являются» 0.07 = 0.90. Здесь модель останавливается, и значение top P предоставляет ИИ выбор из {«растут», «обрабатывают», «высаживают», «крепкие», «являются»}. {% endhint %} **Top K** — это жёсткое ограничение по **количеству** самых вероятных слов.\ Модель сортирует все возможные следующие слова по убыванию вероятности и оставляет только первые k штук, отсекая все остальные (их вероятности пересчитываются заново, чтобы сумма была = 1). Затем из этого сокращённого набора выбирается случайное слово с учётом новых вероятностей. {% hint style="info" %} ***Примерная схема работы Top K:*** Снова берем пример с яблоневыми деревьями, но при Top K = 3. Модель берёт 3 наиболее вероятных слова в данном контексте, а остальные отбрасывает за ненужностью. Из 3 оставшихся ИИ выбирает одно, подходящее по смыслу к генерируемому тексту.

Словосочетание «яблоневые деревья»:

«растут» — 0.40

«обрабатывают» — 0.20

«высаживают» — 0.15

«крепкие» — 0.08

«являются» — 0.07

другие — 0.10 в сумме

Здесь значение Top K предоставляет ИИ выбор из {«растут», «обрабатывают», «высаживают»}. Далее модель пересчитывает вероятности так, чтобы в сумме стало 1: «растут» 0.40 / 0.75 ≈ **0.53** (53%), «обрабатывают» 0.20 / 0.75 ≈ **0.27** (27%), «высаживают» 0.15 / 0.75 ≈ **0.20** (20%). Выбор слова делается именно на основе получившихся процентов. {% endhint %}