Добавление возможности накопления проксей между их обновлениями

[temptask]

Раньше, при каждом обновлении прокси-листа, старый лист затирался новым.
Добавил возможность держать старые прокси в списке, а при обновлении просто расширять список проксями, которых ещё нет в списке. (т.е. добавлять только свежие соксы, не дублируя старые)
Также, ранее, при обновлении проксей, итератор каждый раз создавался заново, что влечёт за собой такую ситацию: если время обновления списка относительно маленькое, то итератор не успевает доходить до конца списка и обновляется и , в итоге, последние прокси в списке так и не юзаются. Поэтому сейчас он создаётся единожды, но вместо itertools.cycle использую свой cycle, потому что в itertools список кешируется, т.е. не получится динамически его обновлять.

[lorien]

Есть сомнения по поводу этой штуки: keep_old_proxies=False
Раньше ведь лист перезатирался, а сейчас в случае reload получится, что список дополняется.
Кроме этого момента есть и ещё один: мне лично кажется, что логично, что по-умолчанию список перезатирается, а не дополняется.

[temptask]

Так в этом и вся суть опции, что список дополняется. А по умолчанию она выключена, т.е. поведение будет как и раньше - перезапись списка.
А нужна это опция, как мне кажется, например в таком случае:
1)вы указали ссылки с проксями
2)скрипт получит прокси
3)не успел воспользоваться всеми и обновил список
4)в новом списке нет тех, что были в старом(которые вы не успели заюзать) -> значит вы потеряли часть проксей

[temptask]

но, согласен, случай довольно редкий и возможно мало кому нужный

[lorien]

Аа, пардон, я не так прочитал код, мне сначала показалось, что, по-умолчанию, фича включена.

[lorien]

Извините, так и не дошли руки до вашего pull request. Скоро буду с нуля переписывать поддержку прокси-листов. Если не трудно напишите сюда чёткие пожелания фунционала, который бы вы хотели получить: https://groups.google.com/forum/#!topic/python-grab/wZ7sfFMXfTs

[lorien]

Ну вот дошли у меня руки поработать над грабом. Вот тут зарефакторенный прокси лист и с фичами, о которых вы выше говорили: 397accf

[temptask]

Круто, спасибо. Есть ещё идея для прокси-листа, если интересно: добавить возможность передавать список урлов в RemoteFileSource, вместо одного.

[temptask]

Вот сделал пулл-реквест с возможностью передавать список урлов #37

[lorien]

Не знаю, не знаю. Не люблю, когда в одном аргументе можно и то и это передавать.

[temptask]

ну можно тогда только список принимать

[lorien]

Есть ещё пара вариантов:

1. Во-первых, пользователь может несколько раз вызвать set_source + настроить accumulate_update=True
2. Сделать новый тип proxy source: "multiple_remote" например

Чем вариант номер 1 не нравится?

[temptask]

Нормальный вариант, хотя второй вариант кажется более простым в использовании.

[lorien]

Хотя конечно первый вариант в описанном мною виде это костыль т.к. может быть пользователь хочет несколько proxy source, но не хочет для них accumulate_update