1236. Web Crawler

[altay9]

Burada, arama motorlarının "crawler" denilen mekanizmasını simüle eden bir sistem tasarlayacağız.
Bu sistem bazen "örümcek" olarak da adlandırılır.
Bir url altındaki tüm linkleri toplar. Buna "crawl" etmek diyelim.
Bunu simule etmek için soruda HtmlParser denilen bir parser verilmiş.

Gûyâ, ona url parametresi ile bir link ona gönderildiğinde, bize o link altındaki tüm url'lerin listesini o gönderecek.

 interface HtmlParser {
       public List<String> getUrls(String url) {}
  }

Bizim tarafımızda ise, şu kod implement edilmeli:

  public List<String> crawl(String startUrl, HtmlParser htmlParser) {
        
    }

Dikkat edilecek hususlar:

• startUrl ile belirtilen sayfadan başlanmalı.
• Verilen web sayfasının altındaki tüm linkleri çekmek için HtmlParser.getUrls(url) çağrılmalı.
• Aynı link birden fazla kez "crawl" edilmeyecek.
• Sâdece startUrl ile aynı url altındaki linkleri tara.

[ErdemT09]

Is this the solution? https://github.com/spiralgo/algorithms/blob/master/src/main/java/algorithms/Solution.java

[altay9]

Yep. That is one of the possible solutions.

[ErdemT09]

We should move it to the curated170 folder then.

[altay9]

You are right.

[altay9]

Is this the solution? https://github.com/spiralgo/algorithms/blob/master/src/main/java/algorithms/Solution.java

Özür dilerim, buradaki sâdece bir taslaktan ibaretmiş.
Gerçek çözümü ekleyip PR açtım.
#178

[ErdemT09]

Solved:
https://github.com/spiralgo/algorithms/blob/master/src/main/java/algorithms/curated170/medium/WebCrawlerQueue.java