[20210314] Weekly Arxiv Casual Talk

[jungwoo-ha]

• AI 주요 이슈
  • 화이트데이 축하드립니다!
  • NAACL 2021 축하드립니다!
  • Interspeech, ICCV 쓰시는 분들 파이팅!
  • Why GPT-3 is the best and worst of AI right now? (https://www.technologyreview.com/2021/02/24/1017797/gpt3-best-worst-ai-openai-natural-language/ )
  • Stanford AI Index Report: TL;DR 9개 요약 (https://aiindex.stanford.edu/wp-content/uploads/2021/03/2021-AI-Index-Report_Master.pdf )

• Arxiv 논문 리스트
  • Multimodal Neurons in Artificial Neural Networks (https://openai.com/blog/multimodal-neurons/ )
    • CLIP 분석 통해 발견
    • We’ve discovered neurons in CLIP that respond to the same concept whether presented literally, symbolically, or conceptually.
    • 모달리티와 상관없이 동일 개념에 발화 --> 개념과의 연관성, Bias 이슈까지
    • 사람 인지에서의 개념과 추론등에서 일어나는 일과 연계가능할 것인가?
  • Neural 3D Video Synthesis ( https://neural-3d-video.github.io/ )
    • 비디오 멀티뷰 생성
  • SEER: https://arxiv.org/pdf/2103.01988.pdf
    • Facebook 에서 Instagram 1B로 학습한 self-supervised
    • random하고 curate 하지 않아도.. 심지어 데이터가 바뀌어도.. 성능에는 그다지..
    • 무한 데이터 공급원이 있고 모델이 충분히 크면 self-supervised로도 안정적 백본 학습 가능....
  • Rissanen Data Analysis: Examining Dataset Characteristics via Description Length (https://arxiv.org/abs/2103.03872 )
    • from NYU
    • MDL의 철학을 기반으로한 데이터셋 평가 방안.
    • https://github.com/ethanjperez/rda (보유 데이터도 한번?)
  • Im2Vec: Synthesizing Vector Graphics without Vector Supervision (https://arxiv.org/pdf/2102.02798.pdf )
    • from UCL, Adobe Research
    • http://geometry.cs.ucl.ac.uk/projects/2021/im2vec/
    • image (without no supervision)-> vector graph synthesis.
  • Self-training Improves Pre-training for Natural Language Understanding (https://arxiv.org/abs/2010.02194 )
    • from Facebook
    • NLU에서 드디어 dataaug 로 재미를 보나? 근데 나온지는 오래됐음 (작년 10월)
    • 코드가 얼마전 공개: https://github.com/facebookresearch/SentAugment
  • Fusion-in-Decoder code 공개 (https://github.com/facebookresearch/FiD )
  • Self-supervised Text-to-SQL Learning With Header Alignment Training (https://arxiv.org/pdf/2103.06402v1.pdf )
    • from 국민은행 + KAIST
    • NL-to-SQL을 위한 self-supervised / 테이블 header를 pseudo utterance로 하는 self-supervised NL-to-SQL 모델은 쉐어해서 Fine tune?
  • FAIRFIL: CONTRASTIVE NEURAL DEBIASING METHOD FOR PRETRAINED TEXT ENCODERS (https://arxiv.org/pdf/2103.06413v1.pdf )
    • from Duke U (ICLR 2021)
    • Pretrained LM 기반 sentence-level debiasing 연구 --> 편향성 제어에 도움?
  • Metapaths-guided Neighbors-aggregated Network for Heterogeneous Graph Reasoning (https://arxiv.org/pdf/2103.06474v1.pdf )
    • from Alibaba
    • user, item들이 마구 섞여 있는 hetero graph를 metapath를 통해학습 (node embedding활용) 하고 node, edge 분류하는..
    • 실제 online A/B도 해봤다고 (역시 알리바바)
  • Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study (https://arxiv.org/pdf/2103.06511v1.pdf )
    • from Aalto Univ.
    • MIMIC-III 류의 의료기록데이터에서 BERT류의 LM 가능성 연구.
  • WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Trainin (https://arxiv.org/abs/2103.06561v1 )
    • 대륙의 CLIP, 회사는 아니고 학교에서 나옴. 저자 엄청 많음
    • CLIP과 마찬가지로 백본 학습 후 I2T retrieval 같은 곳에 적용
  • M6: A Chinese Multimodal Pretrainer (https://arxiv.org/pdf/2103.00823.pdf )
    • 대륙의 DALL-E
    • Alibaba와 칭화대의 합작품. 알리바바 소유의 초대량 데이터를 활용해 만든 생성모델
    • DALL-E가 대략 12B 인데 비해 M6는 100B까지
  • Privacy-preserving Object Detection (https://arxiv.org/abs/2103.06587v1 )
    • from U. of Oxford
    • Object detection을 위한 훈련데이터에서 사람 개인정보에 해당하는 부분을 날리면 성능감소가 생기나?
    • StarGAN활용해서 원본사람 얼굴 바꿔넣고 (대충), Blur 도 해보고 다양한시도
    • 결론적으로 detection 성능이 크게 영향을 받는 것은 아닌 것 처럼 보임 (적어도 COCO에 대해서는)
  • MagFace: A Universal Representation for Face Recognition and Quality Assessment (https://arxiv.org/pdf/2103.06627v1.pdf )
    • CVPR 2021 Oral
    • 새로운 loss 도입으로 퀄이 좋아 쉬운 샘플은 embedding space class center에 가깝게하고 퀄이 나쁘고 noisy한 이미지는 저멀리. Quality를 임베딩에서 동시에 평가 가능한 신박한 방법
    • https://github.com/IrvingMeng/MagFace
  • ENTRUST: Argument Reframing with Language Models and Entailment (https://arxiv.org/abs/2103.06758v1 )
    • Columbia U. & Google
    • 논의에서 긍/부정과 관련된 프레이밍 연구. Framing과 관련된 dataset. 악성댓글의 순화 같은 데다 적용가능?
    • Code와 데이터는 coming soon
  • Automatic Social Distance Estimation From Images: Performance Evaluation, Test Benchmark, and Algorithm (https://arxiv.org/pdf/2103.06759v1.pdf)
    • 핀란드, 덴마크 연구
    • 제목 그대로 사회적 거리두기 체크 AI를 위한 데이터, 평가 프로토콜을 제안함
    • 빠른 도입이 시급해 보임
  • Sampling methods for efficient training of graph convolutional networks: A survey (https://arxiv.org/pdf/2103.05872v1.pdf )
    • 최근 추천 시스템의 대세 GCN
    • 문제는 그래프가 엄청 크면 (보통 인더스트리에서..) node, edge가 너무 많아 학습이 어려움
    • 원래 그래프 성질과 유사하도록 sampling 을 잘하는게 중요한데 이와 관련된 sampling method의 survey 연구
  • VideoMoCo: Contrastive Video Representation Learning with Temporally Adversarial Examples (http://arxiv.org/abs/2103.05905v1 )
    • from 텐센트
    • MoCo의 video 버전, self-supervised temporal feature representation.
    • 보통 video data aug에서도 (VideoMix) temporal 정보 중요도가 떨어지는데 (spatial만 봐도 되는 게 구조때문인지 데이터 때문인지 몰겠지만) 여기선 temporal을 강제로 보게하는 여러 트릭이 들어가는 듯
    • UCF101, HMDB51 에 대해서 해봤다고...
  • Pretrained Transformers As Universal Computation Engines( https://arxiv.org/abs/2103.05247v1 )
    • 자연어데이터로 pretraining 후에 다른(예: image) data로 finetuning
  • Fast and Accurate Model Scaling (https://arxiv.org/abs/2103.06877v1 )
    • by R. Girshick, FAIR (CVPR 2021)
    • CNN 모델 구조 설계를 위한, depth, width, resolution등 다양한 스케일링 관련 실험
    • CNN architecture 관심 많으신분들께는 매우 유용할 각..