error: empty events

[x2d7]

events := c.SendUserStream(context.Background(), &client, "test")

for event := range events {
	switch v := event.(type) {
    ...
	case chat.EventNewError:
		panic(fmt.Errorf("error: %s", v.Error))
	}
}

$ go run main.go
> ... // иногда не генерирует текст вовсе, иногда выдаёт полный ответ
> panic: error: empty events

При этом, если генерация удачно запустилась и просто игнорирует ошибку, ничего фатального не происходит.
Просто в конце каждой генерации возникает этот event

[x2d7]

Ошибка заключается в том, что парсинг событий из openai.ChatCompletionChunk вызывает ошибку для случаев, когда не получилось извлечь никаких данных.

func (s *OpenAIStream) handleRawChunk(chunk openai.ChatCompletionChunk) ([]chat.StreamEvent, error) {
	events, err := s._handleRawChunk(chunk)
	if err != nil {
		return nil, err
	}
	if len(events) == 0 {
		return nil, errors.New("empty events")
	}
	return events, nil
}

RawJSON для таких чанков показывает, что там просто пустой контент, пустой FinishReason, каких-то полезных данных нет.

В таком случае, можно игнорировать кейс empty events и просто рекурсивно вызывать Stream.Next внутри connect/openai/stream.go, если список событий пустой.

[x2d7]

Чтобы не получать дедлок при бесконечной рекурсии, стоит добавить ctx внутрь Stream.Next
Проверка ctx.Done() перед каждым Stream.Next позволит избежать вечно виснущих горутин