Skip to content

Fine tuning pretrained model with KLUE benchmark dataset using Transformers library

Notifications You must be signed in to change notification settings

domyounglee/KLUE-transformers

Repository files navigation

Fine-Tuning KLUE baseline models with Transformers Notebooks

- Exploring the KLUE dataset and Fine Tuning bert-based pretrained model -

KLUE란?

KLUE란 한국어 자연어 이해 평가 데이터셋(Korean Language Understanding Evaluation Benchmark)의 약자로, 한국어 언어모델의 공정한 평가를 위한 목적으로 8개 종류(뉴스 헤드라인 분류, 문장 유사도 비교, 자연어 추론, 개체명 인식, 관계 추출, 형태소 및 의존 구문 분석, 기계 독해 이해, 대화 상태 추적)의 한국어 자연어 이해 문제가 포함된 공개 데이터셋. 추가적으로 한국어 언어 모델의 공정한 성능 비교를 위해 평가 시스템 및 사전학습 Baseline 모델 공개.

Dependency

transformers==4.27
sentence-transformers==2.2.0
evaluate==0.4.0
datasets==2.10

Task Overview

Task Information

DST task model overview

DST Information

Colab URL

Task Colab
KLUE-TC Build Status
KLUE-STS Build Status
KLUE-NLI Build Status
KLUE-NER Build Status
KLUE-RE Build Status
KLUE-DP Build Status
KLUE-MRC Build Status
KLUE-DST Build Status

Reference

https://arxiv.org/pdf/2105.09680.pdf

https://github.com/KLUE-benchmark/KLUE-baseline

https://github.com/KLUE-benchmark/KLUE

https://github.com/Huffon/klue-transformers-tutorial

About

Fine tuning pretrained model with KLUE benchmark dataset using Transformers library

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published