-
Notifications
You must be signed in to change notification settings - Fork 1
Bartimeys/workua_parse
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
1)Создаем виртуальное окружение: Windows: $ python3 -m venv env Linux and OS X: $ python3 -m venv env ПРИМЕЧАНИЕ: если создание виртуального окружения данной командой на Ubuntu 14.04/16.04 приведет к ошибке то нужно использовать такие команды: $ sudo apt-get install python-virtualenv $ virtualenv --python=python3.5 env 2)активируем виртуальное окружение Windows: $ env\Scripts\activate Linux and OS X: $ source env/bin/activate ПРИМЕЧАНИЕ: иногда команда source может быть недоступна. В таком случае, мы используем такую команду: $ . env/bin/activate 3) pip install -r requirements.txt 4)Запускаем наш спайдер через таскфлоу, скрипт отрабатывает и складывает даные в sqlite (логи складывает в файл workua.log): python run.py 5)Експортируем даные в с базы в каталог: python export.py
About
scrapy, sqlalchemy, taskflow, python
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published