Community Recommendation System
Определяем понятия:
Эффективная функция - это функция, основанная на коде VKscript, и способная содержать в себе до 25 запросов.
Ограничение по кол-ву запросов:
С ключом пользователя до 3 запросов в секунду
С ключом сообщества до 20 запросов в секунду
Введем переменные: Left Right - левая правая граница итерации по сообществам
Считаем время выкачки таблицы: сообщество -> колво подписчиков
172 741 352 / 20 / 25(эффективная функция) / 60 / 60 / 24 = 4 дня
Получаем данные {сообщество:колво подписчиков} -> фильтруем от "мертвых" групп -> выкачиваем пользователей от групп
"Мёртвая" группа — это группа, разница в которой между датой последнего поста и датой выкачки информации составляет больше 30 суток.
Замечания:
-
Выкачивать пользователей надо сразу в scipy.spares матрицу, иначе не влезем в память.
-
Выкачивать с 4 разных компов -> уменьшаем кол-во дней до 1
-
Создать 4 валиндых токена
-
Подготовить 4 кода под 4 компа ( с разными токенами )
-
Выкачать данные
-
Отфильтровать данные
-
Подготовить код для эффективной выкачки пользователей
-
Оценить время работы выкачки