Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Распараллелить очередь хешера: по физическим дискам и (или) машинам в сети. #65

Open
pavel-pimenov opened this issue Aug 19, 2015 · 12 comments

Comments

@pavel-pimenov
Copy link
Owner

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From a.rain...@gmail.com on July 10, 2009 12:40:10

и этим всё сказано…

автоматически определять количество необходимых потоков

Original issue: http://code.google.com/p/flylinkdc/issues/detail?id=22

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From albrez...@gmail.com on August 17, 2009 22:28:12

Это как? Incoming один, логический диск один, физический диск один, кайфу не будет. В
проц упора нет, распараллелить по ядрам тоже приросту не будет.
Или, в случае ручками выбранной папочки для скачки, автоматом определять физический
диск под файлом и семафорить потоки по этому принципу?

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From rain.bipper@gmail.com on May 16, 2010 13:19:14

Issue 94 has been merged into this issue.

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From mike_f...@mail.ru on September 19, 2010 06:07:04

У меня шара находится примерно на десятке логических дисков и 4-5 физических, так что рапараллеливание нужно, многие используют NAS. Может стоит подумать над собственным кэшем если виндовский не устраиваит. Наверное, стоит попытаться определить на одном ли физическом диске находятся файлы прежде чем отпускать отдельный поток, но надежного способа пока не представляю.

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From kirill.B...@gmail.com on September 19, 2010 08:23:57

Десяток логических дисков??? Жуть! Сам проходил через это - было макс. 6 лог. дисков. Потом появились в ширпотребе RAID-контроллеры. Сейчас у меня 5x1,5Gb HDD в RAID-5. :)
Т.е. у меня два логических диска: физический в 250 Гб - диск С, а RAID-5 в 5,5 Тб - диск D. Поверь - отпадает необходимость перекидывать контент между логическими дисками, всё решается на уровне папок. А в NAS изначально существует возможность построения RAID-массивов, что предпочтительнее.
IMHO: попробовать можно, но востребовано будет только у тех, у кого более двух HDD и они не определены в RAID-массив.

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From a.rain...@gmail.com on September 19, 2010 09:59:20

тут ещё до общей кучи стоит и сам процесс поиска файлов распаралелить по тому же критерию
видится так: на локальной машине определить количество железных дисков, и на каком из них находятся какие логические, так-же для каждого компа в сети определить отдельный поток поиска файлов. Однако количество потоков хешера не должно превышать число логических процессоров на машине.

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From kirill.B...@gmail.com on September 19, 2010 10:12:03

А вкл/выкл сделать отдельной галкой в настройках, а для "продвинутых", ещё и выбор кол-ва лог. процессоров из числа макс. доступных. Если так делать, то на всякий случай сделать при старте флая проверку - кол-во лог. процессоров в настройках не превышает ли кол-во в текущей системе.
Если окажется, что система сбалансировано загружена, то активировать без возможности отключения (без пунктов в настройках).

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From htman1...@gmail.com on February 10, 2011 23:18:43

Распараллеливание хэширования нужно! Например, на моём NAS почему-то не поддерживается запись хэша в NTFS поток, поэтому при смене версий FlyLink приходится перехэшировать всё. В последний раз, при переходе на 500-ю серию на этот процесс ушло более 3-х дней (с перерывами на ночь) при объёме NAS всего в 2.5Тб. А ведь есть ещё 6 физических дисков на 14Тб, которые гораздо быстрее, чем NAS...

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From kirill.B...@gmail.com on February 11, 2011 00:27:21

"поэтому при смене версий FlyLink приходится перехэшировать всё"

Это почему это??? Не должно такого быть, если ты конечно "Uninstall" не делаешь. Если так, то лучше меняй бинарники и всё.

Кстати, если флай у тебя не на NAS'е запущен (а это скорее всего так), то пропускная способность сети в 100Мбит/c ограничена 12Мб/с. В этом случае лучше отдельный файл-сервер (с RAID'ом на чипсете, а лучше отдельным контроллером), на котором и будет крутиться Флай. Распараллеливание же с NAS'ом сыграет отрицательную роль (накладные ресурсы на 2 и более потоков).

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From gi...@ya.ru on February 20, 2011 11:55:03

У меня i-RAM 8 Гб, hdtest показывает скорость считывания 1,1 гб/с, а флай хеширует со скоростью 130 мб/с. Объем небольшой, но всёже хочу выжимать из этой дорогой хреновины максимум.

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From oleg.erm...@gmail.com on February 21, 2011 05:49:10

скорость считывания 1,1 гб/с, а флай хеширует со скоростью 130 мб/с.

(наводящие вопросы)

  • Какова при этом загрузка проца по ядрам?
  • Нет ли путаницы с единицами измерения? (байт/бит)
@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From ILONES...@YANDEX.RU on March 20, 2011 12:05:57

почему шару не показывает, хотя все прошарил.

@pavel-pimenov
Copy link
Owner Author

@pavel-pimenov pavel-pimenov commented Aug 19, 2015

From a.rain...@gmail.com on May 20, 2011 01:08:55

Summary: Распараллелить очередь хешера: по физическим дискам и (или) машинам в сети.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Linked pull requests

Successfully merging a pull request may close this issue.

None yet
1 participant
You can’t perform that action at this time.