[공유] ColBERT retriever, ensemble retriever 실험 결과 (최종) #23

papari1123 · 2023-01-08T15:55:58Z

papari1123
Jan 8, 2023
Maintainer

이전 실험에서 이어서 진행함. 링크
외부 데이터(ai-hub wiki + KorQuAD)는 주어진 대회 데이터와 annotation 방식/환경이 다를 것임.
기존 코드는 DPR의 In-batch negative training 방법처럼 학습을 진행함.
- DPR 논문에 따르면 lexical한 방식으로 추출된 negative passage들을 학습에 활용했을 때, 큰 폭의 성능 개선 효과를 보여줬음. (BM25 hard negative sampling)
- DPR 논문에 따르면, SQuAD 데이터의 경우 sparse retriever인 BM25와 Dense retriever인 DPR의 scores를 linear combination할 때가 DPR을 단독 사용할 때 보다 더 좋은 성능을 보임.
물론 본 대회에서는 DPR이 아닌 ColBERT를 쓴 점, 데이터가 다른 점으로 인해 전혀 다른 결과 양상을 얻을 수도 있음.

3952개의 대회 학습 데이터만 이용해, fine tuning을 추가로 진행하였다. lr은 기존보다 1/5로 낮췄다.
(lr 4e-6, epoch 6, batch 16)
1번의 세팅에서 In-batch negative 학습 시 BM25 hard negative passage을 각 question마다 1개씩 추가한다. 이 때, BM25 hard negative passages은 대회 위키문서(중복 제외 약 5만 6천 개)에서 찾는다. 이로써 retriever는 대회 위키문서로도 학습을 수행하게 된다. negative의 기준은 정답이 없는 passage이다.
2번 세팅으로 나온 ColBERT retriever의 score에 $(1-a)$, BM25 retriever의 score에 $a$의 가중치를 주고 linear combination한다. $a$는 0부터 1까지 0.1 간격으로 늘리면서, top-k=5일 때 가장 acc가 큰 값으로 정한다.

외부 데이터 학습 + top-k=5 + ColBERT
validation passages 240개 중 219개 hit, acc = 0.9125
0번 실험 후, 대회 데이터로 fine-tuning
validation passages 240개 중 216개 hit, acc = 0.9
: 오히려 성능이 감소하였다.
0번 실험 후, 대회 데이터로 fine-tuning (with BM25 hard negative sampling)
validation passages 240개 중 224개 hit, acc = 0.9333
: 1번 실험은 물론이고, 기존 결과보다 더 좋은 성능을 보였다.
2번 실험의 retriever와 BM25 retriever의 scores를 linear combination ( $a$ = 0.1)
validation passages 240개 중 229개 hit, acc = 0.9541
: 가장 좋은 성능을 얻었다.

bm25, linear combination을 1:1로 줄 때 실험 결과를 포함하였다.

: $a$ = 0.5로 하면 오히려 성능이 ColBERT보다 떨어진다. BM25의 성능이 ColBERT보다 떨어지는 데, 이를 무시하고 단순히 1:1로 Linear combination하면 앙상블로 인한 분산 감소 효과보다, BM25로 인한 degradation 효과가 크므로 최종 성능이 떨어지게 되는 듯 하다.
표로 보면 다음과 같다.

: ensemble retriever가 end to end에서도 좋은 성능을 보여주었음. 또한 top-k =5일 때가 10일 때보다 좋은 결과를 보여줌.

단순히 대회 데이터로 fine tuning한 결과(1번 실험)은 기존 보다 나빴다. 이는 lr 등의 하이퍼파라미터를 잘못 세팅해서 일수도 있지만, 0번 실험에서 12만개의 다양한 데이터로 학습된 가중치를 다시 3952개의 적은 데이터로 overfitting해서 나온 결과일 수도 있다.
그러나 1번 실험에서 BM25 hard negative sample을 추가한 2번 실험에서는 성능이 개선되었다. 이는 lexical한 방식으로 추출된 hard negative sample로 학습되면서, 기존 0번 실험 모델보다 헷갈리는 passage를 더 잘 구분할 수 있기 때문으로 보인다.
3번 실험을 통해 sparse retriever의 성능이 dense retriever보다 낮게 나와도, 이를 적절히 앙상블하면 더 좋은 결과를 얻을 수 있음을 확인하였다.
좋은 retriever를 쓴다면, top-k를 낮췄을 때 정답 passage가 포함되지 않을 negative effect보다는 reader에게 불필요한 negative passage가 줄어드는 postive effect가 커서 end to end 성능이 더 좋아질 수도 있다.

reader와 retriever는 최종 성능 개선에 상호 보완적이라는 것을 깨달았다. 프로젝트 전에는 retriever의 top-k를 크게 하면, 정답이 있는 passage가 포함될 확률이 높아 end to end 성능이 무조건 높아질 것으로 생각했다. 즉 시간이 허락하는 한 top-k를 최대한 높이면 retriever 자체 성능이 낮아도 end to end 성능은 높을 것으로 예상했다.
그러나 실험해보니, top-k가 5일 때가 10일 때보다 높은 end to end 성능을 보였다. 이는 top-k가 높을수록 정답이 포함되지 않는 negative passage도 많아지면서 reader가 잘못된 답을 도출할 가능성도 높아질 수 있기 때문이었다. 즉, retriever와 reader 성능을 모두 고려해 적절한 top-k를 정하는 것이 중요하다는 것을 깨달았다.
BM25 retriever의 성능이 ColBERT retriever보다 부족함에도 불구하고, 유사도에 대한 linear combination으로 기존 ColBERT retriever의 성능을 뛰어넘을 수 있다는 점이 고무적이었다.
특히 soft voting처럼 단순히 비율을 1:1로 combination하면 결과가 ColBERT보다 나쁘지만, ColBert에 가중치를 더 줌으로써 성능 개선이 가능한 점이 인상 깊었다. 앙상블은 사용할 모델 선정 뿐 아니라, 각 모델의 voting 가중치 또한 잘 조정하는 게 중요하다는 것을 알려준다.