Permalink
Find file
Fetching contributors…
Cannot retrieve contributors at this time
57 lines (44 sloc) 1.13 KB
todo:
Moduł 1 - downloader
Moduł 2 - auto parser
- dodać folder automatycznego skanowania dla importu
-
Moduł 3 - manual parser
Moduł 4 - map/reduce
curl
ruby
mongo
# thor - cli ruby framework
gli # :)
terminal-table
progress_bar
rainbow
problematyka indeksowania
- plik (content) nie jest świadom że znajduje się w swoim najlepszym miejscu, przy następnym odświeżeniu silnika katalogowania następuje ponowne zmienienie jego miejsca, trudno jest wymusić pozostawienie go w jego najlepszym miejscu (przykład Finder gdzie można wymusić inny domyślny program dla konkretnego pliku)
CLI
# [URL]
# [REFERER]
# [COOKIE] just cookie
# [FNAME] suggested file name
# [POST] post data
# [ULIST] url list
# [UFILE] url list file
# [CFILE] cookie.txt file
# [USERPASS] user:password
# [UA] useragent
# C:\Ruby193\bin\ruby.exe
# C:\Dropbox\#code\praca-inz\src\cli\cli\bin\cli
# [URL]
# -ref=[REFERER]
# -cookie=[COOKIE]
# -dest=[FOLDER]
# -file=[FNAME]
# -post=[POST]
# -urllist=[ULIST]
# -urlfile=[UFILE]
# -cookiefile=[CFILE]
# -cred=[USERPASS]
CURL
-b --cookie cookies or cookiefile
-c --cookie-jar - write cookies to this file
-d --data http post data