[20210411] Weekly AI Arxiv 만담.

[jungwoo-ha]

• AI News

  • https://news.naver.com/main/ranking/read.nhn?mode=LSD&mid=shm&sid1=001&oid=009&aid=0004777152&rankingType=RANKING (몰로코, 눔, 센드버드 유니콘)
  • https://www.engadget.com/monkey-mindpong-link-003709524.html
    • 원숭이에게 Neuralink를 활용해서 간단한 pong game... 조이스틱 그리고 생각만으로..
    • Elon의 꿈은 어디까지....
  • https://www.rollingstone.com/music/music-features/nirvana-kurt-cobain-ai-song-1146444/
    • 타계한 아티스트 스타일의 작곡.. from Magenta
  • https://www.insight.co.kr/news/333039
    • 쥬라기 공원을?
  • https://www.voakorea.com/korea/dods-ai-overall-strategy-briefing-cocom-jadc2-implications
    • AI의 무기화.. 미중 패권 전쟁의 끝은 AI무기까지??
  • ICLR Social 2021: ML in Korea
    • 5월 4일, 오전 9시 ~ 12시 (3시간)
    • 김건희 교수님, 양은호 교수님, 하정우 + 네이버, 현대차, SKT, 하이퍼커넥트, 가우스랩스, 카카오브레인, Upstage, LG AI 연구원
    • Multiple ICLR 논문 발표세션 + 회사소개 + 추가 Topic 논의 세션

• 지난주 못했던 신재민님 타임

  • Weekly NLP by Jiho Park, "모델 중심에서 데이터 중심의 AI 개발로"
  • Review of A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
    • AI = Code + Data
    • MLOps = efficient & continual data collection method
  • Shortformer: Better Language Modeling using Shorter Inputs
    • 이름 그대로 Short-sequence 를 이용한 LM
    • curriculum learning style
    • 더 효율적인 positional encoding 처리 방법
    • UWNLP & Facebook AI
  • All NLP Tasks Are Generation Tasks: A General Pretraining Framework
  • GPT Understands, Too
    • Reminds me of Plug and Play Language Models from Uber
  • Generating images with sparse representations
  • ViViT: A Video Vision Transformer

• 이번 주 Arxiv

  • Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized Experts
    • Few-shot & cross-lingual font style transfer
    • 매우 적은 글씨로 한국어 -> 중국어 가능. 폰트생성 관심있는 분들은 꼭 참조
  • Teacher-Student Adversarial Depth Hallucination to Improve Face Recognition
  • NaturalProofs: Mathematical Theorem Proving in Natural Language
    • 자연어+심볼로 표현된 수학 가설 - 증명 pair dataset + 증명 doc retrieval 문제 제안
    • 기라성같은 저자진: Hannah, 최예진 교수님, 조경현 교수님 (1저자가 이동하면서 UW에서 마물?)
    • 수리적 추론에 취약한 기존 초대형 LM에 도움을 줄 수 있지 않을까?
    • https://github.com/wellecks/naturalproofs
  • Nutribullets Hybrid: Multi-document Health Summarization
    • NAACL 2021
    • 음식/영양과 건강/질병 관련 정보를 summarization
    • 여러 문서에서 keyword 관계 뽑고, 유사도/반대 aggregation, 자연어로 재요약.
  • Revisiting Simple Neural Probabilistic Language Models
    • NAACL 2021
    • Transformer 가 long range dependency는 엄청 잘함. 그럼 short은?
    • 그래서 L0를 NPLM (RNN같은) 으로 대체 그리고 약간수정 --> Word-level LM dataset에서 좋은 성능 나오더라.
  • Lone Pine at SemEval-2021 Task 5: Fine-Grained Detection of Hate Speech Using BERToxic
    • Accepted at SemEval-2021 Workshop, ACL-IJCNLP 2021
    • 혐오표현 분야 연구자분들께서는 선도전후고민
    • https://github.com/Yakoob-Khan/Toxic-Spans-Detection (깃허브 성의가..)
  • Progressive Temporal Feature Alignment Network for Video Inpainting
    • Bytedance + UC Davis 이용재 교수님
    • 기존 video inpainting 의 한계인 optical flow 에러나 temporal conv의 공간 미스얼라인 문제 해결
    • optical flow 이용해서 progressive 하게 이전프레임 feature랑 현재 프레임 feature 공간 얼라인 교정
    • https://github.com/MaureenZOU/TSAM
  • Low-Complexity Probing via Finding Subnetworks
    • NAACL 2021
    • Pretrained LM에서 subnetwork probing 스타일로 분석
    • 태스크 특성에 따라 subnetwork 구성 위치가 다름
    • LM 경량화 연구하시는 분들에게 유용할 듯
    • https://github.com/stevenxcao/subnetwork-probing
  • TokenPose: Learning Keypoint Tokens for Human Pose Estimation
    • MEGVII
    • Pose 추정에서도 Transformer
    • Pose keypoint를 visual patch feature와 함께 밀어 넣고 keypoint를 예측하는 형태의 transformer 구성
    • ResNet-50 백본대미 훨씬 작은 크기 (6M대 & 2G Flops) 로 더 정확한 성능 on COCO
  • 1st Place Solution to ICDAR 2021 RRC-ICTEXT End-to-end Text Spotting and Aesthetic Assessment on Integrated Circuit
    • ICDAR 2021의 챌린지 우승 노하우 report from Hikvision
    • 방법적으로 아주 특이할 것은 없긴한데 직접관련 분야하시는 분들께는 도움될 듯
  • BSTC: A Large-Scale Chinese-English Speech Translation Dataset
    • 바이두에서 공개한 대규모 중영 발화 번역 데이터셋
    • https://ai.baidu.com/broad/introduction?dataset=bstc
  • Accelerating SLIDE Deep Learning on Modern CPUs: Vectorization, Quantizations, Memory Optimizations, and More
    • CPU 기반의 deep learning training
    • Sparse hash table 기반의 BP를 구현한다고..
    • 수백M 정도 크기의 모델에 추천, NLP데이터 (데이터 크기가 크다고 보긴 어렵) 테스트
    • 스타텁들에서 대안이 될 수 있을까?
    • 기사: https://www.marktechpost.com/2021/04/10/computer-scientists-from-rice-university-display-cpu-algorithm-that-trains-deep-neural-networks-15-times-faster-than-gpu/
    • 깃헙: https://github.com/RUSH-LAB/SLIDE
  • Half-Truth: A Partially Fake Audio Detection Dataset
    • AISHELL-3(중국어)를 가공한 Fake audio 데이터셋
    • 진짜반 가짜반 (살짝 섞어서 힘들게 만든?)

[tteon]

• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions
  

• adaptive filter 와 aggregator fusion 을 활용하여 parameter-efficient를 통해 좋은 성능ㅡmemory efficiency, lower latency , higher accuracy ㅡ을 보임.

• 청자분들 대다수가 현업에 계시는 분들이라 생각되어 architecture improvement 관점과 다르게 파라미터 관점에서 접근한다는 점이 색달라 혹 도움이 되지 않을까 싶어 가져와보았습니다 :)

[sjYoondeltar]

AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control

• 딥 미믹 저자 jason peng 이 공동 1저자로 들어간 논문

• 시뮬레이션 내 캐릭터의 거동을 실제와 가깝게 재현하는 문제에 대해 data-driven method는 예전부터 제시가 많이 되어왔었습니다.

• 그러나 모션 데이터로부터 클립 어노테이션을 해야한다던가 추가적인 모션 플래너를 달아야 하는 등의 번거로움이 있었습니다.

• 논문에서는 캐릭터가 지정된 목표로 가는 태스크에 대한 reward와 함께, 모션 데이터셋 내의 움직임들의 스타일을 모방하기 위한 reward를 LSGAN을 사용하여 만들고, 해당 리워드 두개로 캐릭터를 학습시킵니다

• 결과는 홈페이지, 유툽에서 나온대로 복잡한 태스크 수행과 스타일의 모방을 동시에 만족시키고 있습니다

• https://xbpeng.github.io/projects/AMP/index.html

[nick-jhlee]

Geometrically Enriched Latent Spaces <AISTATS 2021>
(이론하기 살짝 눈치...보여서 ㅎㅎ 뭔가 그래도 다들 재밌을 확률이 높은걸 가져와봤어용)

• Bernhard Schölkopf 아저씨가 참여한 논문

• generative model의 작동 방식이 latent space -> (nonlinear mapping) -> ambient space 이고, 보통 ambient space로는 Euclidean space(R^n)을 씁니다

• 근데 저 nonlinearity땜에 생기는 distortion으로 인해 latent space가 ambient space를 정확히 나타내지는 못합니다

• 이 논문에선 ambient space를 Riemannian manifold로 간주하고, 해당되는 Riemannian metric을 제시합니다.

• 실험을 통해, interpretability가 더 높아졌고, data manifold 위에서 좀 더 "optimal"한 path가 선택됨을 볼 수 있습니다.

[qqueing]

• SpeechStew: Simply Mix All Available Speech Recognition Data to Train One Large Neural Network
  • 구글 리서치팀에서 발표한 Pre-trained big model - transfer learning ASR 실험 결과 논문 (작명......)
  • 기존의 발표한 conformer - RNN-T 모델 트레이닝 스킴에서 추가로 공개된 스피치 DB를 모두 트레이닝에 포함

[jshin49]

Integrated Rolling Review system for NLP *ACL conferences
https://aclrollingreview.org/

[jshin49]

위에는 링크가 없어서..
ViViT: A Video Vision Transformer

[jwlee-ml]

An Empirical Study of Training Self-Supervised Visual Transformers
Kaming He, 말 그대로 SSL 기반 transformer에 대한 다양한 실험이네요... 어느분이 읽어보시고 설명좀 부탁드립니다 ㅎㅎ

[rickiepark]

오늘 카패시가 트윗했던데 간단히 설명 부탁드려도 될까요.. :)
RepVGG: Making VGG-style ConvNets Great Again

[j-min]

아까 Low-Complexity Probing via Finding Subnetworks 관련해서 언급했던 Supermasks in Superposition (NeurIPS 2020) 입니다.
https://mitchellnw.github.io/blog/2020/supsup/