[20210401] Jsoup(Java 크롤링)

[JuHyun419]

Jsoup(자바 크롤링)

• URL 절대 경로(abs)

Elements linkElements = document.select("a.course_card_front");

for (Element e : linkElements) {
    String url = e.attr("abs:href"); // 절대 경로
}

• 크롤링 데이터중 html 태그 제거

private static String stripHtml(final String html) {
    return Jsoup.clean(html, Whitelist.none());
}

• 문자열 중 가장 앞, 가장 뒤 괄호 제거

private static String removeBracket(final String str) {
    return str.replaceAll("^[(]|[)]$", "");
}

• 사이트 페이지 반복 크롤링

for (int i = 1; i < 10; i++) {
    String url = "https://www.inflearn.com/courses/it-programming?order=seq&page=" + i;
    Document doc = Jsoup.connect(url).get();
}