Không crawl lại link cũ #76
Labels
enhancement
New feature or request
feature request
Fix bug trước, feature request làm sau.
important
Gấp
Có thể dùng redis hoặc db nào đó lưu lại mã hash của link đã crawl, khi nhận link mới thì check xem link đó đã crawl hay chưa.
The text was updated successfully, but these errors were encountered: