Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Transcription contains duplicated fragments #16

Closed
romanzoniit opened this issue Jan 20, 2023 · 5 comments
Closed

Transcription contains duplicated fragments #16

romanzoniit opened this issue Jan 20, 2023 · 5 comments

Comments

@romanzoniit
Copy link

Tested on the 'medium' model
Got duplicate fragments
But whisper recognized it well.
{"text": " Вместе с вами мы будем делать оборудование. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое. И мы будем делать оборудование, чтобы вы могли увидеть, что это такое.",

whisper:
{ "text": " Ну, одна, двухкомнатная интересует. Ну, я мужчина один. Тридцать три года русский. Сегодня вечером. Да, да, да. Да, да, но длительный срок. Ну, полгода, год. Нету, нету. Да, да, да. Борис. Да, конечно, какая вот, 50%. Да, да, да, я в курсе. Спасибо большое.",

@Jeronymous
Copy link
Member

Jeronymous commented Jan 20, 2023

This is probably due to the fact that whisper use temperature fallback and beam search, while it's currently not supported by whisper-timestamped (see issue #10, it's WIP).

Can you please try whisper with options

--beam_size None --temperature_increment None

and tell if you see the duplicate fragments?

If you see it, then your problem will be solved when issue #10 will be solved

@Jeronymous
Copy link
Member

@romanzoniit You can now use option --accurate in whisper_timestamped to reproduce default options of whisper (see README for more information).
Can you please check if that solves this issue for you?

@Jeronymous Jeronymous changed the title Duplicate fragments Transcription contains duplicated fragments Jan 24, 2023
@Jeronymous
Copy link
Member

I think this issue is solved. Don't hesitate to re-open if it's still an issue after my last comments

@romanzoniit
Copy link
Author

@romanzoniit You can now use option --accurate in whisper_timestamped to reproduce default options of whisper (see README for more information). Can you please check if that solves this issue for you?

how to use this in python, not in console

@Jeronymous
Copy link
Member

It's explained in the README

By default, all options that require several steps of decoding are disabled, in favour of an efficient decoding strategy. Use beam_size=5, best_of=5, temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0) for Whisper default.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants