SimQA: Detecting Simultaneous MT Errors through Word-by-Word Question Answering
This repository contains our Crosslingual Quizbowl Dataset, XQB dataset for the EMNLP 2022 paper that can be found here!
Data Statistics
Language | # Question | # Sentences |
---|---|---|
Polish | 512 | 1661 |
Spanish | 148 | 603 |
Sample
Text | |
---|---|
Source | Tę współrzędną wyznacza kąt dwuścienny między półpłaszczyzną południka zerowego a półpłaszczyzną południka przechodzącego przez określony punkt na powierzchni Ziemi. Tę miarę liczy się od południka zerowego (Greenwich) aż do południka 180°. Aby otrzymać punkt, nazwij tę długość, która może przyjmować miary od 0° do 180° i może być wschodnia lub zachodnia. |
Answer-src | Długość geograficzna |
Human | This coordinate is determined by the dihedral angle found between the half-plane prime meridian and the half-plane meridian which passed through a specific point on the Earth's surface. This measure is counted from the prime meridian (Greenwich) to the 180° meridian. To gain a point, give the name of the length, which can measure between 0° to 180° and can be east or west. |
Answer-tgt | Longitude |
Text | |
---|---|
Source | W 1899 Halford Mackinder twierdził, że jest pierwszą osobą, która wspięła się na tę górę, a ludzie Kikuju nazywają tę górę Kirinyaga , co oznacza „tę ze strusiem”, podczas gdy Masajowie wierzą, że ich przodkowie zeszli z tej góry na początku czasu. Góra ta jest głównym obszarem zlewiska rzeki Tana, największej rzeki w kraju, która może być również nazywana tak samo jak ta góra. Aby zdobyć punkt, podaj nazwę tej drugiej najwyższej góry w Afryce. |
Answer-src | Mount Kenia |
Human | In 1899, Halford Mackinder claimed that he was the first person to climb this mountain, and the people of Kikuyu named this mountain "Mount Kirinyaga", meaning „the one with the ostrich”, while the people of Maasai believe that their ancestors descended from this mountain at the beginning of time. This mountain is the main catchment area of the Tana river, the largest river in the country, which is sometimes refered to by the same name as the mountain. To gain a point, enter the name of the second highest mountain in Africa. |
Answer-tgt | Mount Kenya |
Reference
If you use any contents of this repository, please cite us.
@inproceedings{Han:Carpuat:Boyd-Graber-2022,
Title = {SimQA: Detecting Simultaneous MT Errors through Word-by-Word Question Answering},
Author = {HyoJung Han and Marine Carpuat and Jordan Boyd-Graber},
Booktitle = {Empirical Methods in Natural Language Processing},
Year = {2022},
Location = {Abu Dhabi},
Url = {http://umiacs.umd.edu/~jbg//docs/2022_emnlp_simqa.pdf},
}
Contact
For any questions, write to hjhan@cs.umd.edu.