diff --git a/cleaner.go b/cleaner.go index ff621f3..c367fbe 100644 --- a/cleaner.go +++ b/cleaner.go @@ -51,8 +51,9 @@ var removeNodesRegEx = regexp.MustCompile("" + "^banner|" + "^bar$|" + "blog-pager|" + - "button|" + + "brass\\-rail|" + "breadcrumbs|" + + "button|" + "byline|" + "cabecalho|" + "^caption$|" + @@ -210,7 +211,7 @@ var removeNodesRegEx = regexp.MustCompile("" + // Clean removes HTML elements around the main content and prepares the document for parsing func (c *Cleaner) Clean(docToClean *goquery.Document) *goquery.Document { if c.config.debug { - log.Println("Starting cleaning phase with Cleaner") + log.Println("Starting cleaning phase with Cleaner\n") } docToClean = c.cleanArticleTags(docToClean) docToClean = c.cleanEMTags(docToClean) diff --git a/crawler_test.go b/crawler_test.go index 43ff7bb..3369419 100644 --- a/crawler_test.go +++ b/crawler_test.go @@ -41,7 +41,7 @@ func ValidateArticle(expected Article, removed *[]string) error { } if !strings.Contains(result.CleanedText, expected.CleanedText) { - //fmt.Printf("EXPECTED: %s \n\n\n\nACTUAL: %s\n\n", expected.CleanedText, result.CleanedText) + fmt.Printf("EXPECTED: %s \n\n\n\nACTUAL: %s\n\n", expected.CleanedText, result.CleanedText) return fmt.Errorf("article cleanedText does not contain %q", expected.CleanedText) } @@ -570,6 +570,25 @@ func Test_HuffingtonPostCoUk(t *testing.T) { } } +func Test_HuffingtonPostJp(t *testing.T) { + article := Article{ + Domain: "huffingtonpost.jp", + Title: "クロマグロ残り2匹　葛西臨海水族園の大量死は未だに原因不明", + MetaDescription: "クロマグロやカツオ類が大量死した問題で、葛西臨海水族園（東京都江戸川区）は３日、病理検査の結果、海の養殖魚を大量死させることで知られる２種類のウイルスが原因ではないことが確認されたと発表した。", + CleanedText: "", + MetaKeywords: "クロマグロ残り2匹　葛西臨海水族園の大量死は未だに原因不明, japan", + CanonicalLink: "http://www.huffingtonpost.jp/2015/03/03/tuna-death_n_6796602.html", + TopImage: "http://i.huffpost.com/gen/2678692/images/o-TUNA-DEATH-facebook.jpg", + } + //article.Links = []string{""} + + removed := []string{"~~~REMOVED~~~"} + err := ValidateArticle(article, &removed) + if err != nil { + t.Error(err) + } +} + func Test_IncCom(t *testing.T) { article := Article{ Domain: "inc.com", diff --git a/outputformatter.go b/outputformatter.go index dfc4490..2e4d263 100644 --- a/outputformatter.go +++ b/outputformatter.go @@ -83,7 +83,6 @@ func (formatter *outputFormatter) linksToText() []string { } func (formatter *outputFormatter) getOutputText() string { - out := formatter.topNode.Text() out = normalizeWhitespaceRegexp.ReplaceAllString(out, " ") diff --git a/sites/huffingtonpost.jp.html b/sites/huffingtonpost.jp.html new file mode 100644 index 0000000..ea73f2d --- /dev/null +++ b/sites/huffingtonpost.jp.html @@ -0,0 +1,2351 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + クロマグロ残り2匹　葛西臨海水族園の大量死は未だに原因不明 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + +
+ + + + +
+ + +
+ + + + + + + + + + + + + + + + + + + + + +
+ + + +
+ + +
+ +
+ +
+ + + + +
+
+ + +
+
+ + + + Huffpost Japan + +
+ + + + +
+ + Edition: jp + + + + + + +
+ + + + + +
+
+
+ +
+ +
+ +
+
    +
  • + +
    • +
+
+ +
+ +
+
+ + + + + + + +
+ +
+ + + + + + +
+
+
+ + + + + + +
+ + + + + + +
+ + +
+ + +
+
+ + +

クロマグロ残り2匹　葛西臨海水族園の大量死は未だに原因不明

+ + +
+
+
+ + + + +  |  + 執筆者： 朝日新聞社提供 +
+
+
+ +
+ +
+ + 投稿日: + + + 更新: + +
+
+ + + + +
+ TUNA DEATH +
葛西臨海水族園の水槽の中を悠々と泳ぐ２匹のクロマグロ＝３日午後５時２４分、東京都江戸川区、小宮路勝撮影 | 朝日新聞社
+ + + + + + + + 印刷 + +
+
+ + +
+
+ + +
+
+ +
+ +
+
+ + + +

このエントリは、期限切れになった

+
+ +
+
+
+ +
+

Also on HuffPost:

+
+ + + +
+
+ + +
+
+ Close +
+ + + +
+
+
+
+ + グロ可愛い？深海生物の世界へようこそ +
+ + +
+ + / + +
+ +
+
+ +
+
+ + +
+ +
+
+
+ + +
+
    +
  • + +
    • +
  • + +
    • +
+
+
+
    +
  • + オオグチボヤ +

    まるで大笑いしているかのような大きな開口部を持った深海性のホヤの仲間。口のように見えるのは、「入水孔」と呼ばれる部分で、ここをパクンと閉じることで、プランクトンを海水ごととりこんで捕食する。米国カリフォルニア州近海で撮影。

    +
    • +
  • + ユメナマコ +

    +
    • +
  • + オオクラゲダコ +

    +
    • +
  • + ホテイエソの仲間 +

    世界大百科事典のホテイエソの解説によると「下ひげの発光器で餌を誘い，自分と同じくらいの大きさの魚でも鋭い歯で捕食し丸のみにする。歯は口の内側方向にだけ倒すことができ，一度とらえた餌を逃しにくくしている。このような捕食習性で餌の少ない深海によく適応している」とのこと。

    +
    • +
  • + 水深1000mで撮影されたアンコウの一種。 +

    オーストラリア北部の町ケアンズの沖合３５０キロに広がるオスプレーリーフの水深１０００メートルの深海で撮影されたアンコウの一種。この写真はクイーンズランド・ブレイン・インスティテュートが２００４年から２００６年にかけて撮影した中の１枚だが、同機関は２０１０年７月に１０日間をかけて同じ海域をビデオカメラで撮影を行った。今回の調査結果は、人間の視力に関する研究など、他分野の研究者にとっても重要なデータになると期待されている（オーストラリア）

    +
    • +
  • + セレベス海で新種環形動物を発見 +

    インドネシアとフィリピンの間の海で発見された新種の環形動物スクイッドワーム（イカムシ）｣（海中）

    +
    • +
  • + オニキンメ +

    分布域はほぼ全世界の外洋。幼魚は表層でプランクトンとして生活するが、成魚は水深500-3000 mの深海に生息。キンメダイに近縁の種類だが、それとはかけ離れた異様な姿だ。和名の由来は幼魚にある角状の突起だが、成長すると消える。幼魚のうちは色がうす桃色で、目が大きいなどキンメダイ科の特徴を残すが、成魚になると真っ黒な異様な風貌に変化する。恐ろしげな外観だが、体長は普通10cmで、最大でも16cmほどにすぎない。

    +
    • +
  • + リュウグウノツカイ +

    バハマ近海で撮影されたリュウグウノツカイ。立った姿勢で泳いでることが分かる貴重な写真。全長3ｍ程度だが、最大では11ｍにも達する深海魚だ。「シー・サーペント」という海の巨大蛇の伝説は、この魚に由来するのではないかとも言われている。

    +
    • +
  • + オオタルマワシ +

    +
    • +
  • + ミズヒキイカ +

    398934 01: A still image from an underwater video camera shows a what is believed to be a new species of deep sea squid encountered in May 2001 off the island of Oahu. The squid in this image stretches more than 17 feet long and was spotted by the Monterey Bay Aquarium Research Institutes remotely operated submarine at a depth of over 10,000 feet. According to an article appearing in the December 21, 2001 issue of the journal Science, examples of the squid have been spotted in the Atlantic, Indian and Pacific oceans. (Photo by MBARI/Getty Images)

    +
    • +
  • + ミズヒキイカ +

    398934 02: A still image from an underwater video camera shows a what is believed to be a new species of deep sea squid encountered in May 2001 off the island of Oahu. The squid in this image stretches more than 17 feet long and was spotted by the Monterey Bay Aquarium Research Institutes remotely operated submarine at a depth of over 10,000 feet. According to an article appearing in the December 21, 2001 issue of the journal Science, examples of the squid have been spotted in the Atlantic, Indian and Pacific oceans. (Photo by MBARI/Getty Images)

    +
    • +
  • + セレベス海で撮影された深海クラゲ +

    2007年10月16日、フィリピンの首都マニラ（Manila）でアラスカ州立大学（University of Alaska）が発表した、フィリピン南のセレベス海（Celebes Sea）で撮影された深海クラゲ。

    +
    • +
  • + ハワイ近海で撮影されたクシクラゲの一種 +

    Hawaii, Close-up of comb jelly (ctenophora), a relative of the jellyfish.

    +
    • +
  • + ダイオウイカ +

    東京・上野公園の国立科学博物館で６日から始まる特別展「深海」が５日、関係者らに公開された。有人潜水調査船「しんかい６５００」の実物大模型や約５ｍのダイオウイカの標本などが展示されている。（2013年07月05日） +

    +
    • +
  • + ENVIRONMENT-OCEANS-SCIENCE　 +

    An undated handout photo showing a bizarre new copepod, Ceratonotus steiningeri, which was first discovered 5,400 meters deep in the Angola Basin in 2006. Within a year it was also collected in the southeastern Atlantic, as well as some 13,000 kilometers away in the central Pacific Ocean. Scientists are puzzled about how this tiny (0.5mm) animal achieved such widespread distribution as they are about how it avoided detection for so long. Results of the first-ever global marine life census were unveiled on October 4, 2010 in London revealing an unprecedented view of life beneath the waves after a decade-long trawl through the murky depths. The Census of Marine Life estimated there are one million-plus species in the oceans, with at least three-quarters of them yet to be discovered. +AFP PHOTO/CENSUS OF MARINE LIFE/Jan Michels

    +
    • +
  • + ダイオウホウズキイカ +

    ニュージーランド南方の南極海で見つかった世界最重量の巨大イカ（同国漁業省提供）　 + +

    +
    • +
  • + カナダ近海で撮影された種族不明のクラゲ +

    Canada, British Columbia, Unknown species of jellyfish from the order Anthomedusae.

    +
    • +
  • + キワ・ヒルスタ +

    米仏両国の共同海洋調査団が、太平洋の深海で白い毛に覆われた新種の甲殻類を発見した。その姿から「イエティ（雪男）のカニ」と呼ばれている。体長約１５センチ。モアイ像で知られるチリ・イースター島の南方、深さ２３００メートルの熱水が噴き出す海底付近で発見された（フランス）　

    +
    • +
  • + 深海性のカマスの一種 +

    Deep Sea Barracuda (500m) (Sphryaena sp.) - Eilat, Israel, Red Sea

    +
    • +
  • + ウミユリの仲間 +

    Stalked Crinoid or Great West Indian Sea Lily, Cenocrinus asterius, similar to fossils 500 million years old, growing from side of haystack at depth of about 800 feet, Grand Caymans, Caribbean

    +
    • +
  • + チューブワーム +

    深海の熱水噴出孔の周辺に生息する特異な生物。チューブ状の管に入り、入り口から頭を覗かせる姿に由来する。和名はハオリムシ。1977年、ガラパゴス諸島沖の深海で、潜水艇「アルビン号」により発見された。

    +
    • +
  • + フクロウナギ +

    フクロウナギは大西洋・インド洋・太平洋の温帯～熱帯域など世界中の温暖な海に分布。主に水深550〜3000mに生息している。

    +
    • +
  • + タカアシガニ +

    Japanese Spider Crab (Macrocheira kaempferi) on seabed, Japan

    +
    • +
  • + DEEP SEA PELAGIC EEL. EGYPT, RED SEA +

    DEEP SEA PELAGIC EEL. EGYPT, RED SEA

    +
    • +
  • + イトヒキイワシの一種 +

    UNSPECIFIED - OCTOBER 28: Deep sea fish (Bathypterois) (Photo by De Agostini Picture Library/De Agostini/Getty Images)

    +
    • +
  • + DEEP SEA EEL IN OPEN OCEAN AT NIGHT. EGYPT, RED SEA +

    DEEP SEA EEL IN OPEN OCEAN AT NIGHT. EGYPT, RED SEA

    +
    • +
  • + ダイオウグソクムシ +

    +
    • +
  • + クダクラゲの一種 +

    Athorybia rosacea

    +
    • +
  • + ニュウドウカジカ +

    海底に過ごす底生魚であるカジカの仲間

    +
    • +
  • + ヤナギウミエラの一種 +

    大きさは40cm近くになり、基部の柄のような部分は、砂の中に刺さっている。

    +
    • +
  • + アンコウの一種 +

    +
    • +
  • + Siphonophore (Physophora hydrostatica) +

    +
    • +
  • + Galatheid Crabs (Munida quadrispina) +

    +
    • +
  • + Vent Shrimp (Rimicaris exoculata) +

    +
    • +
  • + Black Dragonfish (Idiacanthus atlanticus) +

    +
    • +
  • + Ctenophore (Ctenophora) +

    +
    • +
  • + Dinoflagellates (Pyrocystis fusiformis) +

    +
    • +
  • + Giant Squid (Architeuthis) +

    +
    • +
  • + Brittlestar (Ophiuroidea) +

    +
    • +
  • + Anglerfish ((Melanocetus johnsoni) +

    +
    • +
  • + Sea Urchin +

    +
    • +
  • + Basket Star (Euryalina) +

    +
    • +
  • + Malagasy Cave Fish (Typhleotris pauliani) +

    +
    • +
  • + Glass Squid (Cranchiidae) +

    +
    • +
  • + Serolid Isopod +

    +
    • +
  • + Flashlight Fish (Anomalops katoptron) +

    +
    • +
  • + Bottlelight (Danaphos) +

    +
    • +
  • + Squidworm (Teuthidodrilus samae) +

    +
    • +
  • + Stegosaur Amphipod +

    +
    • +
  • + Alciopid Worm +

    +
    • +
  • + Comb Jelly (Lampea pancerina) +

    +
    • +
  • + Pancake Batfish (Halieutichthys intermedius) +

    +
    • +
  • + Lanternfish +

    +
    • +
  • + リュウグウノツカイの動画 +

    +
    • +
  • + ミズヒキイカの動画 +

    +
    • +
  • + デメニギスの動画 +

    +
    • +
  • + 捕食するコウモリダコの動画 +

    +
    • +
+
+
+ + +
+
+
+
+
シェア
+
+
+
ツイート
+
+
+
+
+
+
+
+
+
✖
+
+ + +
+
+
+
+
+
+ + + +
+
AD
+
+
+
+ +
+
+
+
+
+ + +
+ +
+ + + + + +
+
+
+
この記事をシェア:
+ ✖ 閉じる +
+ +
+ 現在のスライド
+
+
+
+ + +
+
+ +
+
+ +
+
+ + + + +
+

訂正箇所を連絡

+
+ + + +
+
+ +
+
+
+ + + + + + + + +
+

他のサイトの関連記事

+

いまだ原因不明 葛西臨海水族園のマグロ大量死

未知ウイルスかストレスか マグロ１５６匹死亡の異常事態“真相”

「おさかなさん がんばれ」 葛西臨海水族園、生き残りクロマグロに激励の手紙

+ +
+ +
+ +
+
+ +
 
+ +
+ + + + +
+
+

議論

+
+
+ +
+
+
+ + + +
+ +
+
+ +
+ +
+ +
+ + + + +
+ +
+
+ +
+
+ +
+ +
+ + + + + + + + +
+
+ +
+
+ + +
+
+ + + + +
+ +
+
+ + + + +
+ +
+ +
+
+ + + + +
+ + + +
+ + + +
+ +
+
+ + +
+ + + + +
+ +
+
+ + +
+ + + +
+ + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/sites/instagram.html b/sites/instagram.html new file mode 100644 index 0000000..afaea5a --- /dev/null +++ b/sites/instagram.html @@ -0,0 +1,270 @@ + + + + + + + + + + + +Instagram + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + \ No newline at end of file