Выбор модели и усилия рассуждений¶
В плагине Koda модели выбираются прямо из панели чата, а для моделей, поддерживающих рассуждения, рядом с выбором модели доступен переключатель усилий рассуждений.
Выбранная модель применяется к текущему режиму: у чата, агента и планирования свои сохранённые модели, а для автодополнения модель задаётся отдельно. Переключить модель текущего режима можно прямо в панели ввода — рядом с выбором режима.
Подробнее о том, какие модели доступны в Koda и чем они отличаются, рассказано в разделе AI-модели.
Выбор модели¶
- Откройте панель Koda.
- В панели ввода нажмите на название текущей модели.
- Выберите нужную модель из списка.
Выбор модели сохраняется для вашего профиля и восстанавливается при следующем запуске.
Вы можете добавлять свои модели через файл конфигурации (недоступно для SaaS-пользователей).
Длина контекста модели¶
У каждой модели свой размер контекстного окна — максимальный объём токенов, который помещается в один запрос вместе с ответом. По умолчанию используется значение, заявленное для модели.
Если нужно, доступный контекст можно уменьшить отдельно для каждой модели — например, чтобы раньше сжимать длинные диалоги или экономить токены. Это делается в блоке Контекст модели в конце страницы настроек.
Подробнее о том, как расходуются токены и когда диалог сжимается, — в разделе Сжатие контекста.
Уровень рассуждений¶
Некоторые модели умеют «рассуждать» перед ответом: тратить дополнительное время на разбор задачи. Для таких моделей рядом с выбором модели появляется отдельный селектор уровня рассуждений.
Доступные уровни:
| Уровень | Что это значит |
|---|---|
| Без рассуждений | Модель отвечает сразу, без дополнительного разбора |
| Минимальный | Лёгкий разбор задачи, быстрый ответ |
| Низкий | Небольшое усилие на рассуждение |
| Средний | Сбалансированный вариант по умолчанию |
| Высокий | Глубокий разбор задачи |
| Очень высокий | Максимальное усилие на рассуждение |
Особенности:
- селектор появляется только у моделей, которые поддерживают рассуждения, и только если доступно несколько уровней;
- выбор уровня сохраняется отдельно для каждой модели;
- если сервис изменил список поддерживаемых уровней, используется уровень по умолчанию для этой модели;
- разные модели имеют разные уровни рассуждений.
Чем выше уровень, тем больше времени модель тратит на разбор задачи. Обычно это даёт более точные ответы на сложные вопросы, но увеличивает время ожидания. Для простых задач достаточно среднего или низкого уровня.
Если задачи несложные, выбирайте низкий уровень — ответы приходят заметно быстрее.