Fix bugs the seed score computation.

google · Apr 15, 2023 · d9a2b21 · d9a2b21
1 parent 518c57c
commit d9a2b21
Show file tree

Hide file tree

Showing 2 changed files with 7 additions and 6 deletions.
diff --git a/src/unigram_model_trainer.cc b/src/unigram_model_trainer.cc
@@ -272,7 +272,7 @@ TrainerModel::SentencePieces Trainer::MakeSeedSentencePiecesInternal() {
 
       // character-wise coverage is the default score.
       const node_int_type freq = R[i] - L[i];
-      const node_int_type score = freq * freq;
+      const node_int_type score = freq * len;
 
       const auto w = string_util::UnicodeTextToUTF8(uw);
       queue.push(w, score);

diff --git a/src/unigram_model_trainer_test.cc b/src/unigram_model_trainer_test.cc
@@ -121,8 +121,8 @@ TEST(UnigramTrainerTest, BasicTest) {
 
   // Check final pieces.
   EXPECT_EQ(
-      "Overly Pineapple magnanimity Available ▁an a ▁ b A t g r P O v m y p n "
-      "l d e h i",
+      "Overly Pineapple magnanimity Available ▁an ▁ a b A t g r P O v m y p n "
+      "l h d e i",
       res.sentence_pieces);
 }
 
@@ -192,11 +192,12 @@ TEST(UnigramTrainerTest, EndToEndTest) {
                   .ok());
   // TODO(taku): Temporally disable this test on Windows.
 #ifndef OS_WIN
+  LOG(INFO) << "[" << absl::StrJoin(tok, " ") << std::endl;
   EXPECT_EQ(
       WS
-      " 吾輩 《 わ が は い 》 は猫である 。 名前は まだ 無 い 。 どこ で 生れ "
-      "た か とん と 見当 《 けん とう 》 が つか ぬ 。 何でも 薄 暗 い じめ "
-      "じめ した 所で ニャーニャー 泣 い ていた 事 だけ は記憶している 。",
+      " 吾輩 《 わ が は い 》 は猫である 。 名前はまだ 無 い 。 どこ で 生 "
+      "れた か とん と 見当 《 けん とう 》 が つか ぬ 。 何でも 薄 暗 い じめ "
+      "じめ した 所で ニャーニャー 泣 い ていた 事 だけは 記憶 している 。",
       absl::StrJoin(tok, " "));
 #endif
 }