Модель BLOOMChat-176B-v1 c 4к токенов (столько вышло у меня), со стримингом и всеми доступными параметрами генерации из таверны (температура, top_p и т.д.).
Для работы скрипта нужно добавить куки в переменную COOKIE
Куки можно взять отсюда: https://api.together.xyz/bloom-chat
Чтобы их взять, заходим на сам сайт. После открываем консоль по F12, отправляем сообщение в чате, и ищем запрос inference. В заголовках запроса копируем значение ключа cookie, его же и вставляем в вышеупомянутую переменную.
Лучше всего собирать куки через Chrome, либо Edge, потому что Firefox выдает ошибку о куки третих лиц.
За основу взят код с https://rentry.org/jerkcel