[20210509] Weekly AI Arxiv 만담

[jungwoo-ha]

• AI News
  • Samy Bengio 의 Apple 행: https://www.reuters.com/technology/apple-hires-ex-google-ai-scientist-who-resigned-after-colleagues-firing-2021-05-03/
  • ICLR Social 2021: ML in Korea wrap-up
    • 120여명 참가, 첫 gather town Social, 8개 부스
    • 서울대 조규진 교수님 키노트: soft robotics
    • 3개 parallel session + industry expo
  • AI 미래포럼 5월 웨비나: https://www.facebook.com/AIFutureForum
    • AI Hype vs. Reality
  • National AI Initiative: https://www.ai.gov/
  • ACL 2021, ICML 2021 notification: 모두들 축하드립니닷!
• ArXiv
  • MLP-Mixer: An all-MLP Architecture for Vision
    • CNN도 가라, Transformer도 가라.. MHSA도 되는게 MLP로 왜 안되냐.
    • Patch별 MLP + Patch를 섞는 MLP + GAP (그림 1로 모든게 설명)
    • 구글스러운 연구
  • Audio Transformers:Transformer Architectures For Large Scale Audio Understanding. Adieu Convolutions
    • 사운드 인식에도 conv는 버리고 간다. (Conformer는 중간에서 쓰고 spectrogram 쓰는 모델은 앞단에 conv 사용)
    • raw waveform 입력에 대해 FC (== 1x1 conv)를 이용해 사이즈를 줄여가며 transformer 활용
    • 하지만 ASR은 아니고 classification 데이터임.
  • Towards Content Provider Aware Recommender Systems
    • 기존 추천시스템의 한계 개별 유저-컨텐츠 아이템 매칭 --> 컨텐츠 공급자 빠져있음
    • 장기적 관점에서 사용자 만족도 향상을 위해서는 당연히 컨텐츠 pool에 직접영향을 주는 컨텐츠 공급자가 시스템에 고려되어야함
    • 사용자와 공급자를 완전히 고려하는 추천시스템은 문제 자체가 매우 어렵기 때문에 일단 시뮬레이션 부터
    • 기술적으로는 일단 POMDP로 정의하고 RL agent 활용
  • Handwritten Mathematical Expression Recognition with Bidirectionally Trained Transformer
    • 손으로 쓴 수식을 LATEX으로 번역. transformer s2s 이고
    • EduTech 특히 수학교육 AI 활용 기업들은 체크해보시라
    • https://github.com/Green-Wood/BTTR (참고로 아직은 404)
  • Detection, Tracking, and Counting Meets Drones in Crowds: A Benchmark
    • CVPR 2021 논문 (ECCV2020땐 챌린지도 있었던듯)
    • 드론 촬영을 통한 detection, tracking, counting 대량 데이터셋
    • 112 비디오 클립, 33600 HD 이미지
    • 20,800명 이동동선 어노테이션 했다고...
    • 그리고 베이스라인 모델도 함께 공개
    • https://github.com/VisDrone/DroneCrowd
  • Unsupervised Visual Representation Learning by Tracking Patches in Video
    • CVPR2021 from MSRA
    • 잡기놀이에 영감을 얻어 비디오에 pseudo patch를 만들어 이 패치의 크기와 위치를 맞추도록 pretranining
    • 비디오내 실제 물체로 GT를 만드는것은 불가능하기 때문에 (그게 되면 이런연구 필요없....) 가상으로 만드는 방법 제시
    • 비디오 인식의 pretraining task로 꽤 괜찮은 듯
    • https://github.com/microsoft/CtP
  • Learning to Perturb Word Embeddings for Out-of-distribution QA
    • ACL 2021 (from KAIST AI 대학원 황성주 교수님)
    • QA 모델이 OOD나 unseen 데이터 취약하니 DA를 하긴 하는데
    • 기존 DA 잘못하면 semantic 이 바뀌면서 역효과를 줄수 있어서
    • 시맨틱 변경없이 input 과 context에 노이즈 좀 넣는 DA 기법 제안
  • MIMII DUE: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection with Domain Shifts due to Changes in Operational and Environmental Conditions
    • Hitachi 에서 공개한 기계고장 소리 Dataset 논문
    • 중구난방인 anomaly sound detection의 데이터/방법이라 제조 AI 분야에서 유용할 듯
    • https://zenodo.org/record/4740355#.YJeYXmVt-Uk
  • What's in the Box? An Analysis of Undesirable Content in the Common Crawl Corpus
    • ACL 2021 (from MILA)
    • 대부분 대규모 LM 학습하는데 CommonCrawl corpus 사용하고 있음
    • 이 안에 문제가 될만한 성적이슈, 편향성, 혐오표현 등 얼마나 많이 들어있는가 분석
    • Crawling system 개선에 대한 고찰이 필요
  • Introducing Information Retrieval for Biomedical Informatics Students
    • 의대나 관련 전공 수업에서 요긴하게 쓰일 듯한
    • https://github.com/dbmi-pitt/bioinf_teachingNLP
  • Real-time Face Mask Detection in Video Data
    • 당분간은 여전히 마스크 써야하니.
    • 이런 시스템을 적용해서 체크하는 것도 좋을 듯
    • Yolo or SSD를 사용했고 99.9%짜리는 5fps, 89%짜리는 52fps라고...
  • RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition
    • MLP-Mixer 가 나오면서 칭화대와 MEGVII가 급하게 정리해서 내놓은 느낌 (아 역시 cocurrent work 에서 timing attack이란)
    • 동일하게 Conv 대신 MLP 구성으로
    • 훈련시엔 CNN 쓰고 infer 때는 FC로 뭉쳐버리는 trick 포함
    • https://github.com/DingXiaoH/RepMLP

[qqueing]

• SUPERB: Speech processing Universal PERformance Benchmark
  
  • https://github.com/s3prl/s3prl
  • 다양한 self-supervised speech pre-trained models을 가지고 아래 툴킷을 이용해서 대부분의 스피치 관련 downstream task(Phoneme Recognition, ASR, Keyword spotting, Query by Example Spoken Term Detection, Speaker Identification, Automatic Speaker Verfication, Speaker Diarization, Intent Classification, Slot Filling, Emotion Recognition)에 대해서 평가한 벤치 마크
  • 리더 보드를 공개 한다고 하는데 인터스피치 발표 이후로 공개를 할 것 같습니다.
  • HUBERT(ICASSP2021)모델이 wav2vec 2.0에 비해서 성능이 훨씬 좋은 걸로 레포트 되어 있네요.

[hollobit]

Healthcare’s AI Future: A Conversation with Fei-Fei Li & Andrew Ng
https://www.youtube.com/watch?v=Gbnep6RJinQ&t=1312s

[jungwoo-ha]

@qqueing 공유 감사합니다. HUBERT 빠르게 뜯어보니 distillation 활용이고 token prediction 기반 SSL이군요. 다만 Pretraining data 크기가 LS960 정도라 더 큰 사이즈의 데이터를 학습했을때의 양상도 궁금해졌습니다 ㅎㅎ 그리고.. 음성 self-supervised 에서 ASR 외의 다른 downstream task 궁금했는데 잘 정리되어서 매우 유용하네요. 감사합니다!

[j-min]

• Self-Supervised Vision Transformers with DINO
  • https://ai.facebook.com/blog/dino-paws-computer-vision-with-self-supervised-transformers-and-10x-more-efficient-training
  • https://github.com/facebookresearch/dino

[hollobit]

이런 행사도 있었는데, 네이버 행사라 소개를 안해주신 듯 ^^
http://naversearchconf.naver.com/

[jungwoo-ha]

NAVER R&D US
https://naver-career.gitbook.io/en/