Add Maori language support (#93)

pemistahl · May 2, 2021 · 7d34151 · 7d34151
1 parent 24f3c7b
commit 7d34151
Show file tree

Hide file tree

Showing 115 changed files with 3,452 additions and 261 deletions.
diff --git a/ACCURACY_TABLE.md b/ACCURACY_TABLE.md
@@ -620,7 +620,7 @@
 		<td><img src="images/yellow.png"> 60</td>
 		<td><img src="images/orange.png"> 29</td>
 		<td><img src="images/red.png"> 18</td>
-		<td><img src="images/orange.png"> 40</td>
+		<td><img src="images/orange.png"> 39</td>
 		<td><img src="images/orange.png"> 37</td>
 		<td><img src="images/red.png"> 10</td>
 		<td><img src="images/red.png"> 0</td>
@@ -734,7 +734,7 @@
 		<td><img src="images/grey.png"> -</td>
 		<td><img src="images/lightgreen.png"> 70</td>
 		<td><img src="images/grey.png"> -</td>
-		<td><img src="images/lightgreen.png"> 73</td>
+		<td><img src="images/lightgreen.png"> 72</td>
 		<td><img src="images/grey.png"> -</td>
 		<td><img src="images/yellow.png"> 43</td>
 		<td><img src="images/grey.png"> -</td>
@@ -806,7 +806,7 @@
 	</tr>
 	<tr>
 		<td>Malay</td>
-		<td><img src="images/orange.png"> 32</td>
+		<td><img src="images/orange.png"> 31</td>
 		<td><img src="images/orange.png"> 23</td>
 		<td><img src="images/red.png"> 19</td>
 		<td><img src="images/red.png"> 4</td>
@@ -823,6 +823,25 @@
 		<td><img src="images/orange.png"> 27</td>
 		<td><img src="images/red.png"> 11</td>
 	</tr>
+	<tr>
+		<td>Maori</td>
+		<td><img src="images/green.png"> 91</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 92</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 81</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 85</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 92</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 90</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 99</td>
+		<td><img src="images/grey.png"> -</td>
+		<td><img src="images/green.png"> 100</td>
+		<td><img src="images/grey.png"> -</td>
+	</tr>
 	<tr>
 		<td>Marathi</td>
 		<td><img src="images/green.png"> 84</td>
@@ -1019,7 +1038,7 @@
 		<td><img src="images/grey.png"> -</td>
 		<td><img src="images/grey.png"> -</td>
 		<td><img src="images/grey.png"> -</td>
-		<td><img src="images/lightgreen.png"> 78</td>
+		<td><img src="images/lightgreen.png"> 77</td>
 		<td><img src="images/grey.png"> -</td>
 		<td><img src="images/grey.png"> -</td>
 		<td><img src="images/grey.png"> -</td>
@@ -1442,7 +1461,7 @@
 		<td><img src="images/lightgreen.png"> <strong>65</strong></td>
 		<td><img src="images/lightgreen.png"> <strong>74</strong></td>
 		<td><img src="images/lightgreen.png"> <strong>64</strong></td>
-		<td><img src="images/yellow.png"> <strong>52</strong></td>
+		<td><img src="images/yellow.png"> <strong>53</strong></td>
 		<td><img src="images/yellow.png"> <strong>41</strong></td>
 		<td><img src="images/green.png"> <strong>89</strong></td>
 		<td><img src="images/green.png"> <strong>81</strong></td>
@@ -1458,17 +1477,17 @@
 	</tr>
 	<tr>
 		<td>Median</td>
-		<td>88.23</td>
+		<td>88.83</td>
 		<td>81.3</td>
-		<td>75.17</td>
+		<td>75.55</td>
 		<td>63.85</td>
-		<td>73.85</td>
+		<td>73.9</td>
 		<td>63.39</td>
-		<td>47.9</td>
+		<td>48.7</td>
 		<td>30.75</td>
-		<td>93.11</td>
+		<td>92.7</td>
 		<td>84.25</td>
-		<td>75.3</td>
+		<td>75.55</td>
 		<td>65.95</td>
 		<td>98.8</td>
 		<td>99.15</td>
@@ -1477,21 +1496,21 @@
 	</tr>
 	<tr>
 		<td>Standard Deviation</td>
-		<td>13.3</td>
+		<td>13.23</td>
 		<td>16.18</td>
-		<td>18.55</td>
+		<td>18.54</td>
 		<td>23.84</td>
-		<td>18.8</td>
+		<td>18.71</td>
 		<td>23.86</td>
-		<td>27.23</td>
+		<td>27.32</td>
 		<td>33.83</td>
-		<td>13.25</td>
+		<td>13.17</td>
 		<td>18.71</td>
-		<td>21.36</td>
+		<td>21.29</td>
 		<td>31.26</td>
-		<td>11.12</td>
+		<td>11.05</td>
 		<td>10.77</td>
-		<td>12.67</td>
+		<td>12.59</td>
 		<td>13.54</td>
 	</tr>
 </table>
diff --git a/README.md b/README.md
@@ -74,7 +74,7 @@ Once the library has been downloaded, it can be used completely offline.
 
 Compared to other language detection libraries, *Lingua's* focus is on *quality over quantity*, that is, 
 getting detection right for a small set of languages first before adding new ones. 
-Currently, the following 74 languages are supported:
+Currently, the following 75 languages are supported:
 
 - A
   - Afrikaans
@@ -131,6 +131,7 @@ Currently, the following 74 languages are supported:
 - M
   - Macedonian
   - Malay
+  - Maori
   - Marathi
   - Mongolian
 - N
@@ -190,7 +191,7 @@ each comprising ten thousand sentences. From each test corpus, a random unsorted
 1000 word pairs and 1000 sentences has been extracted, respectively.
 
 Given the generated test data, I have compared the detection results of *Lingua*, *Apache Tika*, *Apache OpenNLP* and 
-*Optimaize Language Detector* using parameterized JUnit tests running over the data of *Lingua's* supported 74 languages. 
+*Optimaize Language Detector* using parameterized JUnit tests running over the data of *Lingua's* supported 75 languages. 
 Languages that are not supported by the other libraries are simply ignored for those during the detection process.
 
 The box plot below shows the distribution of the averaged accuracy values for all three performed tasks: 
@@ -496,7 +497,7 @@ Take a look at the [planned issues](https://github.com/pemistahl/lingua/mileston
 [ci url]: https://github.com/pemistahl/lingua/actions?query=workflow%3A%22Lingua+CI%22+branch%3Amaster
 [codecov badge]: https://codecov.io/gh/pemistahl/lingua/branch/master/graph/badge.svg
 [codecov url]: https://codecov.io/gh/pemistahl/lingua
-[supported languages badge]: https://img.shields.io/badge/supported%20languages-74-green.svg
+[supported languages badge]: https://img.shields.io/badge/supported%20languages-75-green.svg
 [awesome nlp badge]: https://raw.githubusercontent.com/sindresorhus/awesome/master/media/mentioned-badge-flat.svg?sanitize=true
 [lingua version badge]: https://img.shields.io/badge/Download%20Jar-1.1.0-blue.svg
 [lingua download url]: https://bintray.com/pemistahl/nlp-libraries/download_file?file_path=com%2Fgithub%2Fpemistahl%2Flingua%2F1.1.0%2Flingua-1.1.0-with-dependencies.jar

diff --git a/RELEASE_NOTES.md b/RELEASE_NOTES.md
@@ -1,5 +1,10 @@
 ## Lingua 1.1.0 (released on 02 May 2021)
 
+### Languages
+
+- There is now support for the Maori language which was contributed to the
+  Rust implementation of Lingua. (#93)
+
 ### Features
 
 - Language models are now loaded asynchronously and in parallel using Kotlin

diff --git a/accuracy-reports/aggregated-accuracy-values.csv b/accuracy-reports/aggregated-accuracy-values.csv
@@ -4,24 +4,24 @@ Albanian,69.89999999999999,38.2,73.2,98.3,70.9,39.800000000000004,73.4,99.5,79.2
 Arabic,88.8,72.3,94.3,99.8,84.16666666666667,65.0,88.3,99.2,97.36666666666667,93.5,98.6,100.0,98.2,95.5,99.2,99.9
 Armenian,NaN,NaN,NaN,NaN,99.96666666666665,100.0,100.0,99.9,NaN,NaN,NaN,NaN,100.0,100.0,100.0,100.0
 Azerbaijani,NaN,NaN,NaN,NaN,81.93333333333334,60.4,86.0,99.4,NaN,NaN,NaN,NaN,89.56666666666668,77.5,92.30000000000001,98.9
-Basque,66.03333333333332,32.800000000000004,69.89999999999999,95.39999999999999,76.63333333333334,55.7,81.89999999999999,92.30000000000001,82.56666666666666,64.4,85.8,97.5,83.63333333333334,70.89999999999999,87.4,92.60000000000001
+Basque,66.03333333333332,32.800000000000004,69.89999999999999,95.39999999999999,76.63333333333334,55.7,81.89999999999999,92.30000000000001,82.56666666666666,64.4,85.8,97.5,83.60000000000001,70.8,87.4,92.60000000000001
 Belarusian,86.89999999999999,69.1,92.30000000000001,99.3,91.0,78.4,94.69999999999999,99.9,96.46666666666665,91.60000000000001,98.1,99.7,96.8,91.2,99.2,100.0
 Bengali,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0
 Bokmal,NaN,NaN,NaN,NaN,66.13333333333333,42.4,68.8,87.2,NaN,NaN,NaN,NaN,57.56666666666666,38.6,58.699999999999996,75.4
-Bosnian,NaN,NaN,NaN,NaN,26.133333333333336,12.1,21.9,44.4,NaN,NaN,NaN,NaN,34.6,29.099999999999998,34.699999999999996,40.0
+Bosnian,NaN,NaN,NaN,NaN,26.133333333333336,12.1,21.9,44.4,NaN,NaN,NaN,NaN,34.56666666666666,28.999999999999996,34.699999999999996,40.0
 Bulgarian,48.333333333333336,17.599999999999998,36.199999999999996,91.2,82.8,61.8,87.1,99.5,72.53333333333333,52.2,69.0,96.39999999999999,86.73333333333333,70.19999999999999,91.2,98.8
 Catalan,31.333333333333332,1.7999999999999998,15.5,76.7,41.53333333333334,11.3,32.300000000000004,81.0,57.699999999999996,31.8,56.8,84.5,70.10000000000001,50.4,73.9,86.0
 Chinese,30.83644261545496,0.0,1.7000000000000002,90.80932784636488,77.93333333333332,39.6,94.19999999999999,100.0,68.76666666666667,20.5,85.8,100.0,100.0,100.0,100.0,100.0
 Croatian,41.166666666666664,7.7,24.5,91.3,49.5,23.0,44.3,81.2,74.5,54.0,72.2,97.3,72.39999999999999,53.400000000000006,74.3,89.5
 Czech,49.43333333333334,20.9,46.5,80.9,67.23333333333333,41.9,69.8,90.0,72.3,54.1,74.6,88.2,80.03333333333335,65.2,84.2,90.7
-Danish,55.46666666666667,19.0,50.9,96.5,59.70000000000001,33.5,51.800000000000004,93.8,82.6,63.3,85.6,98.9,80.93333333333334,61.1,83.89999999999999,97.8
+Danish,55.46666666666667,19.0,50.9,96.5,59.70000000000001,33.5,51.800000000000004,93.8,82.6,63.3,85.6,98.9,80.89999999999999,61.0,83.89999999999999,97.8
 Dutch,38.666666666666664,5.6000000000000005,19.0,91.4,61.4,30.9,56.599999999999994,96.7,60.23333333333333,31.1,52.0,97.6,77.33333333333333,55.1,80.7,96.2
 English,40.86556556556557,2.5,23.400000000000002,96.69669669669669,51.56623289956624,9.700000000000001,46.300000000000004,98.69869869869869,63.73303303303303,29.799999999999997,62.3,99.09909909909909,80.86636636636636,54.900000000000006,88.6,99.09909909909909
-Esperanto,NaN,NaN,NaN,NaN,75.93333333333334,49.9,78.4,99.5,NaN,NaN,NaN,NaN,83.63333333333334,67.4,85.2,98.3
-Estonian,61.166666666666664,23.0,62.9,97.6,59.03333333333333,28.999999999999996,59.599999999999994,88.5,84.33333333333333,65.5,87.9,99.6,91.86666666666667,79.80000000000001,96.0,99.8
+Esperanto,NaN,NaN,NaN,NaN,75.93333333333334,49.9,78.4,99.5,NaN,NaN,NaN,NaN,83.56666666666666,67.2,85.2,98.3
+Estonian,61.166666666666664,23.0,62.9,97.6,59.03333333333333,28.999999999999996,59.599999999999994,88.5,84.33333333333333,65.5,87.9,99.6,91.83333333333333,79.7,96.0,99.8
 Finnish,78.63333333333334,50.9,85.5,99.5,86.33333333333333,68.10000000000001,91.4,99.5,93.66666666666667,85.6,95.5,99.9,96.16666666666667,90.5,98.0,100.0
 French,54.36666666666665,18.5,47.699999999999996,96.89999999999999,59.166666666666664,24.9,54.50000000000001,98.1,77.93333333333334,54.7,80.2,98.9,88.83333333333333,73.6,94.1,98.8
-Ganda,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,91.46666666666665,79.10000000000001,95.3,100.0
+Ganda,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,91.43333333333334,79.0,95.3,100.0
 Georgian,NaN,NaN,NaN,NaN,100.0,100.0,100.0,100.0,NaN,NaN,NaN,NaN,99.96666666666665,100.0,100.0,99.9
 German,55.23333333333333,21.3,45.6,98.8,67.3,37.9,66.10000000000001,97.89999999999999,73.56666666666666,50.1,70.8,99.8,89.10000000000001,73.6,94.0,99.7
 Greek,100.0,100.0,100.0,100.0,99.96666666666665,100.0,100.0,99.9,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0
@@ -30,17 +30,18 @@ Hebrew,99.93333333333334,100.0,100.0,99.8,99.93333333333334,100.0,100.0,99.8,99.
 Hindi,50.699999999999996,15.8,37.8,98.5,58.46666666666667,27.500000000000004,49.1,98.8,79.5,64.7,74.7,99.1,72.43333333333334,60.699999999999996,64.3,92.30000000000001
 Hungarian,77.23333333333333,50.9,81.5,99.3,78.2,53.1,81.6,99.9,88.39999999999999,74.8,90.7,99.7,94.63333333333333,86.1,97.8,100.0
 Icelandic,78.03333333333335,53.300000000000004,81.5,99.3,75.96666666666667,53.1,75.8,99.0,89.8,76.3,93.5,99.6,93.06666666666666,82.69999999999999,96.7,99.8
-Indonesian,18.133333333333336,0.0,0.6,53.800000000000004,29.0,10.4,24.8,51.800000000000004,60.43333333333334,36.8,62.1,82.39999999999999,60.43333333333334,39.5,61.0,80.80000000000001
-Irish,80.2,57.8,85.2,97.6,78.3,56.10000000000001,82.1,96.7,90.33333333333333,79.80000000000001,92.10000000000001,99.1,90.5,81.3,94.3,95.89999999999999
-Italian,51.13333333333333,12.2,43.0,98.2,63.9,30.8,61.4,99.5,80.36666666666667,58.4,83.5,99.2,86.89999999999999,69.1,91.9,99.7
+Indonesian,18.133333333333336,0.0,0.6,53.800000000000004,29.0,10.4,24.8,51.800000000000004,60.43333333333334,36.8,62.1,82.39999999999999,60.366666666666674,39.4,60.9,80.80000000000001
+Irish,80.2,57.8,85.2,97.6,78.3,56.10000000000001,82.1,96.7,90.33333333333333,79.80000000000001,92.10000000000001,99.1,90.43333333333334,81.10000000000001,94.3,95.89999999999999
+Italian,51.13333333333333,12.2,43.0,98.2,63.9,30.8,61.4,99.5,80.36666666666667,58.4,83.5,99.2,86.86666666666667,69.0,91.9,99.7
 Japanese,98.28087316801684,98.72611464968153,100.0,96.11650485436894,95.47473460721869,86.62420382165605,99.8,100.0,24.59744398408674,1.2738853503184715,4.8,67.71844660194175,100.0,100.0,100.0,100.0
 Kazakh,NaN,NaN,NaN,NaN,85.36666666666667,66.3,90.0,99.8,NaN,NaN,NaN,NaN,91.8,79.80000000000001,96.5,99.1
 Korean,99.89999999999999,100.0,100.0,99.7,99.93333333333334,100.0,100.0,99.8,99.86666666666667,100.0,100.0,99.6,99.96666666666665,100.0,100.0,99.9
-Latin,NaN,NaN,NaN,NaN,69.89999999999999,43.0,71.0,95.7,NaN,NaN,NaN,NaN,87.43333333333334,72.8,92.80000000000001,96.7
+Latin,NaN,NaN,NaN,NaN,69.89999999999999,43.0,71.0,95.7,NaN,NaN,NaN,NaN,87.3,72.5,92.7,96.7
 Latvian,74.5,50.2,77.0,96.3,83.80000000000001,67.10000000000001,86.0,98.3,87.5,74.0,90.4,98.1,86.63333333333333,77.8,89.7,92.4
 Lithuanian,71.93333333333334,40.400000000000006,77.2,98.2,79.2,55.7,82.8,99.1,88.7,74.4,92.5,99.2,94.60000000000001,86.5,97.6,99.7
 Macedonian,46.03333333333333,9.8,31.5,96.8,67.86666666666666,37.4,67.7,98.5,83.13333333333333,66.5,83.2,99.7,83.5,65.60000000000001,86.3,98.6
-Malay,3.733333333333333,0.0,0.2,11.0,18.900000000000002,10.299999999999999,19.6,26.8,22.833333333333332,19.3,21.7,27.500000000000004,31.5,26.1,38.4,30.0
+Malay,3.733333333333333,0.0,0.2,11.0,18.900000000000002,10.299999999999999,19.6,26.8,22.833333333333332,19.3,21.7,27.500000000000004,31.433333333333334,25.900000000000002,38.4,30.0
+Maori,NaN,NaN,NaN,NaN,91.76666666666665,85.39999999999999,90.3,99.6,NaN,NaN,NaN,NaN,90.73333333333333,81.2,92.2,98.8
 Marathi,70.73333333333333,42.8,73.7,95.7,81.13333333333333,62.2,83.3,97.89999999999999,90.30000000000001,81.10000000000001,91.60000000000001,98.2,84.39999999999999,73.9,84.3,95.0
 Mongolian,NaN,NaN,NaN,NaN,84.43333333333334,66.2,87.8,99.3,NaN,NaN,NaN,NaN,96.93333333333334,92.7,98.7,99.4
 Nynorsk,NaN,NaN,NaN,NaN,54.63333333333333,24.4,47.4,92.10000000000001,NaN,NaN,NaN,NaN,65.53333333333335,40.699999999999996,65.60000000000001,90.3
@@ -51,25 +52,25 @@ Punjabi,99.96666666666665,100.0,100.0,99.9,99.93333333333334,100.0,100.0,99.8,99
 Romanian,55.13333333333333,24.3,50.0,91.10000000000001,66.63333333333334,33.7,67.5,98.7,78.13333333333333,57.4,79.7,97.3,86.59999999999998,69.0,91.7,99.1
 Russian,53.29999999999999,22.400000000000002,50.4,87.1,49.63333333333333,19.6,43.0,86.3,80.36666666666666,62.2,84.8,94.1,89.63333333333333,76.3,94.8,97.8
 Serbian,45.53333333333334,17.5,39.300000000000004,79.80000000000001,72.89999999999999,46.0,74.2,98.5,72.56666666666666,57.099999999999994,70.39999999999999,90.2,87.63333333333333,73.8,90.0,99.1
-Shona,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,91.26666666666667,78.4,95.5,99.9
+Shona,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,90.93333333333334,77.4,95.5,99.9
 Slovak,47.333333333333336,12.1,38.0,91.9,69.96666666666665,38.7,72.6,98.6,75.7,53.400000000000006,75.9,97.8,84.39999999999999,64.2,90.2,98.8
 Slovene,36.86666666666667,3.1,17.8,89.7,71.36666666666666,42.9,72.1,99.1,74.36666666666666,53.2,72.0,97.89999999999999,82.16666666666667,61.199999999999996,86.7,98.6
-Somali,79.26666666666667,50.4,87.9,99.5,69.43333333333334,35.3,74.5,98.5,90.53333333333335,77.8,94.0,99.8,92.36666666666667,81.6,95.6,99.9
-Sotho,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,84.93333333333334,65.10000000000001,90.3,99.4
+Somali,79.26666666666667,50.4,87.9,99.5,69.43333333333334,35.3,74.5,98.5,90.53333333333335,77.8,94.0,99.8,92.33333333333333,81.5,95.6,99.9
+Sotho,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,84.86666666666666,64.9,90.3,99.4
 Spanish,32.300000000000004,0.3,6.0,90.60000000000001,42.06666666666667,7.9,24.9,93.4,58.800000000000004,29.2,50.0,97.2,69.66666666666667,43.6,68.7,96.7
-Swahili,60.333333333333336,25.7,57.599999999999994,97.7,72.66666666666667,45.0,73.8,99.2,74.8,49.9,75.3,99.2,80.10000000000001,58.4,83.7,98.2
+Swahili,60.333333333333336,25.7,57.599999999999994,97.7,72.66666666666667,45.0,73.8,99.2,74.8,49.9,75.3,99.2,80.0,58.199999999999996,83.6,98.2
 Swedish,50.199999999999996,15.0,41.8,93.8,69.16666666666667,41.099999999999994,69.3,97.1,71.23333333333333,44.1,72.2,97.39999999999999,83.7,63.9,88.5,98.7
-Tagalog,60.666666666666664,22.900000000000002,61.7,97.39999999999999,60.73333333333333,27.3,56.599999999999994,98.3,76.66666666666667,52.7,78.60000000000001,98.7,77.93333333333332,52.1,83.1,98.6
+Tagalog,60.666666666666664,22.900000000000002,61.7,97.39999999999999,60.73333333333333,27.3,56.599999999999994,98.3,76.66666666666667,52.7,78.60000000000001,98.7,77.83333333333333,51.800000000000004,83.1,98.6
 Tamil,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0,100.0
 Telugu,99.96666666666665,100.0,100.0,99.9,99.96666666666665,100.0,100.0,99.9,100.0,100.0,100.0,100.0,99.93333333333334,100.0,100.0,99.8
 Thai,99.83333333333333,100.0,100.0,99.5,99.7,100.0,100.0,99.1,99.89999999999999,100.0,100.0,99.7,99.56666666666666,100.0,100.0,98.7
-Tsonga,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,84.06666666666666,65.0,89.1,98.1
-Tswana,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,83.73333333333333,64.1,88.5,98.6
+Tsonga,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,83.99999999999999,64.8,89.1,98.1
+Tswana,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,83.7,64.0,88.5,98.6
 Turkish,69.66666666666667,42.699999999999996,69.89999999999999,96.39999999999999,72.5,47.9,71.39999999999999,98.2,81.46666666666667,62.4,82.6,99.4,93.56666666666666,83.3,97.6,99.8
 Ukrainian,67.60000000000001,39.300000000000004,69.0,94.5,78.73333333333333,53.900000000000006,83.2,99.1,81.13333333333333,62.0,84.0,97.39999999999999,92.7,84.3,97.3,96.5
 Urdu,72.06666666666666,49.2,71.3,95.7,68.06666666666666,44.6,61.8,97.8,82.63333333333333,67.7,83.8,96.39999999999999,90.23333333333333,78.5,94.5,97.7
-Vietnamese,86.75725110347919,65.07394766780432,95.29780564263322,99.9,84.0410932913934,66.32536973833902,85.99791013584117,99.8,85.21774149640454,63.48122866894198,92.37199582027168,99.8,90.27632901927359,78.61205915813424,93.41692789968651,98.8
-Welsh,76.86666666666666,49.7,81.8,99.1,76.56666666666668,49.5,81.10000000000001,99.1,85.39999999999999,68.4,88.3,99.5,90.7,77.2,95.8,99.1
+Vietnamese,86.75725110347919,65.07394766780432,95.29780564263322,99.9,84.0410932913934,66.32536973833902,85.99791013584117,99.8,85.21774149640454,63.48122866894198,92.37199582027168,99.8,90.24299568594024,78.61205915813424,93.41692789968651,98.7
+Welsh,76.86666666666666,49.7,81.8,99.1,76.56666666666668,49.5,81.10000000000001,99.1,85.39999999999999,68.4,88.3,99.5,90.66666666666667,77.10000000000001,95.8,99.1
 Xhosa,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,82.2,63.6,85.0,98.0
-Yoruba,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,66.16666666666667,36.3,72.2,90.0
+Yoruba,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,NaN,66.10000000000001,36.199999999999996,72.2,89.9
 Zulu,NaN,NaN,NaN,NaN,77.63333333333334,51.2,82.1,99.6,NaN,NaN,NaN,NaN,80.56666666666666,62.0,83.1,96.6