This study explores the enhancement of Korean Sign Language (KSL) translation through synthetic data generation using GPT-4. Focusing on overcoming the lack of comprehensive KSL datasets, the research utilizes GPT-4 to create a Korean-to-KSL translation dataset. This dataset is then used to fine-tune the KoBART model, significantly improving its performance in both Gloss2Text and Text2Gloss tasks. The findings demonstrate the potential of Large Language Models (LLMs) in understanding and replicating the complex aspects of sign language, offering a promising new direction for KSL research and technology development.
| Gloss Sequence | Spoken Language |
|---|---|
| 매주 수요일 수영 가다. | 매주 수요일에는 수영을 가. |
| 세상 끝없다 기회 없다. | 세상에는 끝없는 기회가 있어. |
| 새로 사다 옷 어떻다 ? | 새로 산 옷 어때요? |
| Gloss2Text | BLEU-1 / 2 / 3 / 4 | BLEU | ROUGE |
|---|---|---|---|
| NIASL2021 | 21.9 / 7.2 / 3.7 / 1.9 | 2.8 | 5.2 |
| GKSL3K | 31.0 / 12.4 / 6.2 / 2.8 | 3.8 | 9.4 |
| GKSL13K | 33.5 / 15.3 / 8.0 / 4.1 | 5.6 | 6.7 |
| GKSL3K+13K | 33.6 / 15.1 / 8.0 / 3.9 | 5.5 | 8.0 |
| proposed | 40.5 / 16.7 / 8.5 / 4.2 | 5.8 | 23.7 |
| Text2Gloss | BLEU-1 / 2 / 3 / 4 | BLEU | ROUGE |
|---|---|---|---|
| NIASL2021 | 35.0 / 9.6 / 2.0 / 1.0 | 1.5 | 32.9 |
| GKSL3K | 27.8 / 12.0 / 3.5 / 1.2 | 1.2 | 42.9 |
| GKSL13K | 31.3 / 15.3 / 5.2 / 2.0 | 2.3 | 46.5 |
| GKSL3K+13K | 31.3 / 14.1 / 4.8 / 1.3 | 1.5 | 46.7 |
| proposed | 51.9 / 22.6 / 12.2 / 4.4 | 5.6 | 51.6 |
Considering the possibility that evaluations may not accurately capture the characteristics of the Korean language, we employed GPT-4 for assessment.
- Evaluation criteria: grammar, logic, and semantic similarity.
- Scoring scale: 1 ~ 5 points.
| Trained on | Text | Grammar | Logic | Semantic Similarity |
|---|---|---|---|---|
| reference | 우리나라의 사철은 나름대로 운치 있어 모두 좋습니다. | - | - | - |
| NIASL2021 | 우리나라는 대체로반대로 매우 좋습니다. | 2 | 2 | 2 |
| GKSL3K | 한국도은 매우 멋있다 | 4 | 3 | 3.5 |
| GKSL13K | 한국인은은 매우 모두가 좋다 | 2 | 3 | 2 |
| GKSL3K+13K | 한국인은들은 모두 건강하고 좋다 | 4 | 4 | 3 |
| proposed | 한국의 계절은 각각 멋있어서 모두 좋아. | 4 | 4 | 4.5 |
| Gloss2Text | Grammar | Logic | Semantic Similarity |
|---|---|---|---|
| NIASL2021 | 1.85 | 1.74 | 1.23 |
| GKSL3K | 2.68 | 2.65 | 2.73 |
| GKSL13K | 3.08 | 2.80 | 3.21 |
| GKSL3K+13K | 3.17 | 2.75 | 3.23 |
| proposed | 3.65 | 3.44 | 3.78 |
| Gloss2Text | #1 | #2 | #3 |
|---|---|---|---|
| input | 다음 또 만나다 | 우산 미리 준비 부탁 . | 여름 방학 계획 무엇 ? |
| reference | 다음에 또 뵙겠습니다. | 우산을 미리 준비하세요. | 이번 여름방학 계획이 어떻게 되나요? |
| proposed - informal | 다음에 또 만나자 | 우산 미리 준비해줘. | 여름 방학 계획 뭐 있어? |
| proposed - formal | 다음에 또 만나요. | 우산 미리 준비해주세요. | 여름 방학 계획 뭐에요? |