DeepRank: A New Deep Architecture for Relevance Ranking in Information Retrieval

[chullhwan-song]

https://arxiv.org/abs/1710.05649

[chullhwan-song]

what?

• 딥러닝 기반으로 정보검색 랭킹(=relevance ranking) 모델 접근.
• relevance label > 3 step
  1. relevant한 위치 감지
  2. 지역적(local) relevance에 대한 결정(determination)
  3. 결정된 지역적 relevance들에 대한 결합(aggregate)
• 위의 3단계를 위해 DeepRank를 제안
  • detection strategy - relevant contexts 추출
  • measure network - 지역적 relevance를 위해 CNN 또는 RNN(2D-GRU인데, bi-RNN류인듯보임) 제안및 적용
  • aggregation network - sequential integration and term gating mechanism is used to produce a global relevance score.

관련 연구는 이논문이 첨이라 차차..ㅠ

동기

• 만약, 문서안에 relevant information를 찾기 위해서는
  • relevant 문서는 그 문서안에 query term이 어디가에는 위치해야 한다.
    • 여기서는 query-centric assumption(바로 밑의 그림이 그 예)
  • 각각의 query-centric context를 위한 local relevance는 전체 문서의 relevance형태로 결합된다.
• 바로 아래의 그림은 인간이 relevance 판단하는 과정의 예를 표현.
  
  • the relevance label is generated following three steps in the human judgement process:
    1. detection of relevant locations
    2. measurement of local relevance
    3. aggregation of local relevances
• 이를 위해, 이 연구는?
  1. Where does the relevance occur?
  2. How to measure the local relevance?
  3. How to aggregate such local relevance to determine the final relevance label?

DeepRank

• 크게 Detection Strategy, a Measure Network, Aggregation Network
  
• query와 document는 word의 시퀀스로 구성 : ,
  • i는 단어, j는 doc단위
• 여기서 document안에 연속된 조각(?) text를 표현한다면, 이고, 이는 곧, 센터가(centered) p번째 word를 가진 2k+1 크기를 가진 text 조각이라고 표현할수 있다.
• 만약 word를 word2vec으로 재표현한다면, 의 word embedding의 vector가 라면, 으로 표현한다.

Detection Strategy

• 위에 언급했던것 처럼 쿼리텀을 형태로 표현하고, 이 wordset의 sequence는 표현한다.
• 이는 relevant한 위치로써 query centric context를 위와같이 정의한다는 의미이다.

Measure Network

• local relevance를 결정하는 step = 이를 measurement step이라고 부름.
• 이 연구에서는 CNN 또는 2D-GRU 사용.
• input tensor의 구성
  
  • 위의 그림처럼, 주어진 쿼리 q와 이를 바탕으로 나타난 query-centric context: 를 이용하여 정의한다.
  • 이 둘 사이의 cosine similarity를 Wi & Vj 사이에서 Sij를 계산, 다음 수식으로 표현
    • to capture the word-level exact or semantic matching signals
      
  • 최종적으로, Sij 이용하여 확장하여 3d vector로 표현 :
    • 이는 query matrix, query-centric context matrix, word-level interaction matrix
  • Measure Network(CNN또는 RNN)의 input으로..Fig.3의 a가 그 예이다.
• Convolutional Neural Network
  • Fig.3의 b 이고 다음과 같은 수식으로..
    
  • 다른 kernel의 결과를 concat하면, 으로 최종값을..
• Two-Dimensional Gated Recurrent Units
  • Fig.3의 c
  • 2d -GRU 이고 다음과 같은 수식으로..
    
  • 최종적으로 얻을수 있는데, 이 형태로 보아, bi-directional RNN의 양 방향 결과를 concat하는거와 같다.
• 최종적으로 이 결과들은 local relevance 을 vector로써 output한다.

Aggregation Network

• 이 연구에서는 위의 Measure Network의 두 결과를 각각 테스트함.
  • 즉, 여기서는 두 결과를 각각 입력으로 받음.
• 이런 여러 local relevance 결과를 합치는 단계
• two IR principles : query term importance & diverse matching requirement 중요 두원칙(합칠때 이 두원칙을 만족해야한다고 주장)
• Query Term Level Aggregation
  • 다양한 relevance 요구를 충족시키기위해, query term level에서 합쳐질때, query-centric context에 대응하는 위치를 고려해야할 필요가 있음.
  • 그래서, 다양한 position function : 를 다음과 같이 여러개 정의
    
  • 그래서, 이를 이용한 global relevance representation :
    
    • 는 query term W_u에 centered된 모든 query-centric contexts의 위치 set를 의미.
• Term Gating Network for Global Aggregation
  • 위에서 언급했던, query term level global relevance representations : 에 기반하여 최종적으로, global relevance score를 획득하기 위해 term gating network를 사용한다.
  • 이는 다른 query term의 중요성을 고려되어야하는...
  • 내가 보기에는 여기서 nn layer를 고려하는듯
    
    • 는 weight param
    • is an vector with each element set to be 1,
    • 이 dim은 : 동일.

학습

• SGD
• Adam
• hinge loss
  
  • 
  • 는 DeepRank에서 획득한 relevance score

실험

• 이 분야의 실험은 좀더 봐야겠다.
  
  

요약