-
-
Notifications
You must be signed in to change notification settings - Fork 164
Параметры генерации
Может не работать в зависимости от провайдера
В данном руководстве рассказывается о тонкой настройке параметров генерации у GPT-моделей. В NeuroGPT их можно найти таким образом: Настройки >> Параметры.
Иными словами, температура. Этот параметр управляет разнообразием ответов модели. Более низкое значение делает генерацию детерминированной и предсказуемой, она склонна выбирать наиболее вероятные слова. Более высокое значение делает генерацию случайной и творческой, позволяя модели выбирать менее вероятные слова. Большая температура может привести к несвязным и нелогичным ответам. Значение по умолчанию 1. T>1 придает больший вес маловероятным словам, чем вероятным.
Параметр top-p указывает, сколько слов можно рассмотреть для выбора следующего слова в генерации текста. Он ограничивает количество самых вероятных слов, из которых модель делает случайный выбор. Это помогает создавать ответы с разными вариантами слов. В чем отличие от temperature? Top-p контролирует размер набора слов, из которого выбирается следующее слово, в то время как параметр temperature регулирует разнообразие и случайность выбора слова из этого набора. Значение по умолчанию 0.9.
Параметр n_choices влияет на количество генерируемых альтернативных вариантов ответов. По умолчанию 1.
Иными словами, остановка. Это способ сообщить модели, когда она должна остановить генерацию. В этом параметре вы можете задать конкретные стоп-слова или фразы, увидев которые модель должна прекратить генерировать свой ответ. Это полезно, когда вы хотите контролировать длину ответа или точку остановки.
Этот параметр отвечает за максимальное количество токенов, которые вы хотите включить в контекст диалога. Токен - единица измерения, используемая для разбиения текста на слова и знаки препинания. Например, max_context = 3000 означает, что модель будет "помнить" только последние 3000 токенов и использовать их для генерации ответа. Следует помнить, что если вы выбрали gpt-3.5-turbo, то её контекст составляет 4097 и даже если вы укажите max_context = 10000, максимальный контекст по-прежнему останется 4097.
Этот параметр определяет максимальную длину генерируемых токенов. Если требуется длинный и информативный ответ, следует увеличить это значение, но необходимо учитывать, что более длинные ответы могут увеличить время выполнения вызова API.
Изменение данного параметра оказывает влияние на вероятность, с которой модель будет повторять слова или фразы в своих ответах. Повышение значения этого параметра уменьшает возможность повторений, в то время как снижение значения позволяет больше использовать повторения.
Данный параметр определяет степень предпочтения модели использовать слова или фразы, которые чаще встречаются в языке. Если значение этого параметра выше, то модель будет более склонна использовать менее распространенные слова. Если значение параметра ниже, то предпочтение будет отдаваться более часто встречающимся словам.