Utilizando o nightmareJS para fazer crawler em páginas com carregamento dinâmico, com por exemplos alguns sites que utilizam carregamento assincrono e etc.
Ex: AngularJS ou React.
Site: http://loterias.caixa.gov.br/wps/portal/loterias/landing/diadesorte
Npm install
node cron.js
Obs.: Ainda falta preparar um ambiente com Cron Schedule para automatização do processo de Web crawler.