[20210530] Weekly AI ArXiv 만담

[jungwoo-ha]

• AI News

  • NeurIPS submission 수고 많으셨습니다. 드디어 2021년도 한해농사 작업까진 종료!
  • KLUE Day: https://www.facebook.com/groups/TensorFlowKR/permalink/1489810094693377
    • 6월 1일, 19:30!
    • KLUE 연구자들이 모여 직접 설명하는 웨비나!
    • 박성준님, 문지형님, 김성동님, 조경현 교수님, 오혜연 교수님 등으로 부터 재밌는 얘기 들으실 수 있어요~
  • NAVER AI Now: https://tv.naver.com/ainow
    • HyperCLOVA: 204B 한국어 GPT3 with 560B 한국어중심(97%) 토큰
    • 다시 보기 가능
    • Part 1은 비전과 현황 / Part 2는 기술 내용
    • 발표 영상들 (특히 저) Deep fake 아닙니다~.. 근데.. 딥페이크로 만들어도 구분 불가 일것 같긴하네요 ㅎㅎ
  • SW Engineers Social for Enabling HyperCLOVA: https://bit.ly/3oWXr2Q (5월 31일 까지 신청 받습니다!)
    • 6월 3일, 오후 8시
    • HyperCLOVA가 궁금한.. HyperCLOVA로 멋진 AI서비스를 만들고 싶은 엔지니어분들!
    • 이번엔 인터랙션/질의 응답 가능한 웨비나 입니다.
    • 네이버 클로바의 에이스 시니어, 중니어, 주니어 SW개발자 분들의 생생한 AI로 서비스 만드는 얘기 공유 예정
  • KAIST-NAVER Hypercreative AI Center
    • 초대규모 그다음을 바라보는 창의력을 가진 멀티미디어 컨텐츠 생성 AI

• ArXiv

  • AndroidEnv
    • We're excited to introduce AndroidEnv, a platform that allows agents to interact with an Android device and solve custom tasks built on top of the Android OS. In AndroidEnv, an agent makes decisions based on images displayed on the screen, and navigates the interface through touchscreen actions and gestures just like humans.
    • https://github.com/deepmind/android_env
  • Intriguing Properties of Vision Transformers
    • ViT가 CNN대비 갖는 여러가지 robust 한 이점들을 실험적으로 분석한 논문
    • 앱스에 매우 잘 정리되어 있음
    • Transformers are highly robust to severe occlusions, perturbations and domain shifts, e.g., retain as high as 60% top-1 accuracy on ImageNet even after randomly occluding 80% of the image content.
    • The robust performance to occlusions is not due to a bias towards local textures, and ViTs are significantly less biased towards textures compared to CNNs.
    • Using ViTs to encode shape representation leads to an interesting consequence of accurate semantic segmentation without pixel-level supervision.
    • Off-the-shelf features from a single ViT model can be combined to create a feature ensemble, leading to high accuracy rates across a range of classification datasets in both traditional and few-shot learning paradigms.
  • CogView: Mastering Text-to-Image Generation via Transformers
    • 진짜 중국판 DALL-E
    • 코드(https://github.com/THUDM/CogView ) 와 데모(https://lab.aminer.cn/cogview/index.html )도 공개
  • True Few-Shot Learning with Language Models
    • NYU, Facebook AI
    • 진짜 few-shot 환경 (held-out examples 가 없는 상황) 에서 LM이 정말 few-shot을 잘하는가?
    • Held-out이 압도적으로 잘하고 True few-shot 에서는 CV, MDL 기준으로 모델을 골라도 random대비 marginal 수준
    • Few-shot task는 LAMA (retrieval 쪽), 사실 generation쪽이 궁금하긴 한데.. 이쪽은 metric이 애매하여..
    • 그래서 True few-shot 세팅에선 GPT3 한계가 확실히 보인다고..
  • Learning to Optimize Industry-Scale Dynamic Pickup and Delivery Problems
    • 화웨이 Noah's ark 랩
    • 인더스트리 스케일에서 동적 물류 최적화 (비용 최소화를 위한 차량 배차 최적화)
    • 물류 AI 연구하시는 분들에게 꽤나 유용할 것으로 보이는 연구
    • GNN + RL: Attention-based GNN + Double DQN
  • Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation
    • Tsinghua 대학 + SenseTime
    • MRI 와 CT 데이터의 segmentation (Labeled 와 Unlabeled 데이터 둘다 있으때)
    • Supervised (Labeled로) + Constrastive loss를 활용한 Noisy student 비슷한 KD 기반 semi-supervised
    • Region-aware contrastive sampling & Anatomical-aware contrastive sampling
    • 의료 이미지 segmentation 연구에 활용하시면 좋을듯?
  • YOLO5Face: Why Reinventing a Face Detector
    • YOLO5 기반의 face detector
    • 다양한 크기/속도 백본 실험
    • 학술적 의미보단 실제적으로 꽤 유용해 보임
    • https://www.github.com/deepcam-cn/yolov5-face
  • Self-Supervised Multimodal Opinion Summarization
    • NC Soft Knowledge AI Lab (ACL 2021)
    • 문서요약에서 이미지와 메타데이터(테이블) 활용 요약
    • 1. Text를 BART (enc-dec) pretraining 2) dec freezing하고 이미지와 메타 각각 enc pretraining, 3) 셋다 merging하고 dec까지 훈련
  • Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error
    • 미니배치 구성할때 image당 augmented sample 하나씩 쓴다 --> 그래야 이미지 다양성이 확보되니까
    • 한 이미지에 대해 여러가지 aug sampling를 해보고 성능 비교
    • 의외로 미니배치내 이미지 다양성이 감소해도 test error가 더 감소하더라는.. 딥마인드 연구
    • 실험 백본은 Normalized-Free Net 갖고 해봄
    • 백본 트레이닝할때든 fine-tuning할때는 한번 해보시면 좋을 듯?
  • Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization
    • ACL 2021 발표 (from Georgia Tech, MSR, MS Azure)
    • Lottery Tickter의 연장선 상에서 파라미터가 줄어들 때 성능이 유지되는 정도가 아닌 일반화성능이 좋아지는 점이 존재
    • 그 최대값이 되는 sub model 이 super ticket이고 이게 가능한것은 파라미터가 줄어도 Bias는 증가하지 않으면서 variance만 감소하는 구간이 존재하기 때문으로 설명 (끄림1)
    • GLUE와 SNLI, SciTail 등으로 실험, Base는 역시 MT-DNN
    • 확실히 classification 모델류는 경량화 잘 하는 것이 ROI와 직결. 생성모델류도 이런게 있으면 좋겠다는...
  • From Motor Control to Team Play in Simulated Humanoid Football
    • https://youtu.be/KHMwq9pv7mg.

[nick-jhlee]

• A Flawed Dataset for Symbolic Equation Verfication

  • Combining symbolic expressions and black-box function evaluations in neural programs에서 사용된 데이터셋이 아주 이상하다..!
  • True equation의 coverage가 너무 낮다!
  • True equation과 false equation이 다른 방법으로 만들어져서 관련없는 feature에 기반하여 true/false를 detect 할 수도 있다...!
    (ex. 한 equation이 transcendental function 2개의 composition으로 이루어져 있으면 아주 높은 확률로 false이다...!)
  • "It seems to me that a scientist who is applying machine learning techniques to a domain has a responsibility to take that domain somewhat seriously." (<-- Ouch..)

• The complete sequence of a human genome

  • 약간 관련없지만, 아주 큰 뉴스...! (for people interested in ML/DL application in biology)
  • 2001에 레전더리 논문 The Sequence of the Human Genome에서 놓친 8%를 드디어 완성하였습니다!
  • 3.055B bps를 커버함

• Scaled-YOLOv4: Scaling Cross Stage Partial Network

  • IIS, Academia Sinica, Taiwan (accepted to CVPR'21)
  • CSPNet의 아이디어를 기반으로 YOLOv4를 scaling함! (Figure 2, 3 참조)
  • 진짜(?) 빠르면서 MS COCO의 새로운 SOTA! (abstract 중간~뒷 부분 참조)z

• Equivariant Convolutional Networks

  • T. S. Cohen이 이번에(???) 박사졸업을 하면서 낸 thesis
  • 제가 봤을땐, (Neal, 1994)처럼 geometric deep learning에서 거의 bible처럼 될 듯! (landmark)
  • Group Equivariant CNN, Steerable CNN, Spherical CNN, Gauge CNN, theory... 등등

[nick-jhlee]

https://www.theverge.com/2021/5/25/22451144/microsoft-gpt-3-openai-coding-autocomplete-powerapps-power-fx

[sujungleeml]

• AI News

  • NeurIPS submission 수고 많으셨습니다. 드디어 2021년도 한해농사 작업까진 종료!

  • KLUE Day: https://www.facebook.com/groups/TensorFlowKR/permalink/1489810094693377

    • 6월 1일, 19:30!
    • KLUE 연구자들이 모여 직접 설명하는 웨비나!
    • 박성준님, 문지형님, 김성동님, 조경현 교수님, 오혜연 교수님 등으로 부터 재밌는 얘기 들으실 수 있어요~

  • NAVER AI Now: https://tv.naver.com/ainow

    • HyperCLOVA: 204B 한국어 GPT3 with 560B 한국어중심(97%) 토큰
    • 다시 보기 가능
    • Part 1은 비전과 현황 / Part 2는 기술 내용
    • 발표 영상들 (특히 저) Deep fake 아닙니다~.. 근데.. 딥페이크로 만들어도 구분 불가 일것 같긴하네요 ㅎㅎ

  • SW Engineers Social for Enabling HyperCLOVA: https://bit.ly/3oWXr2Q (5월 31일 까지 신청 받습니다!)

    • 6월 3일, 오후 8시
    • HyperCLOVA가 궁금한.. HyperCLOVA로 멋진 AI서비스를 만들고 싶은 엔지니어분들!
    • 이번엔 인터랙션/질의 응답 가능한 웨비나 입니다.
    • 네이버 클로바의 에이스 시니어, 중니어, 주니어 SW개발자 분들의 생생한 AI로 서비스 만드는 얘기 공유 예정

  • KAIST-NAVER Hypercreative AI Center

    • 초대규모 그다음을 바라보는 창의력을 가진 멀티미디어 컨텐츠 생성 AI

• ArXiv

  • AndroidEnv

    • We're excited to introduce AndroidEnv, a platform that allows agents to interact with an Android device and solve custom tasks built on top of the Android OS. In AndroidEnv, an agent makes decisions based on images displayed on the screen, and navigates the interface through touchscreen actions and gestures just like humans.
    • https://github.com/deepmind/android_env

  • Intriguing Properties of Vision Transformers

    • ViT가 CNN대비 갖는 여러가지 robust 한 이점들을 실험적으로 분석한 논문
    • 앱스에 매우 잘 정리되어 있음
    • Transformers are highly robust to severe occlusions, perturbations and domain shifts, e.g., retain as high as 60% top-1 accuracy on ImageNet even after randomly occluding 80% of the image content.
    • The robust performance to occlusions is not due to a bias towards local textures, and ViTs are significantly less biased towards textures compared to CNNs.
    • Using ViTs to encode shape representation leads to an interesting consequence of accurate semantic segmentation without pixel-level supervision.
    • Off-the-shelf features from a single ViT model can be combined to create a feature ensemble, leading to high accuracy rates across a range of classification datasets in both traditional and few-shot learning paradigms.

  • CogView: Mastering Text-to-Image Generation via Transformers

    • 진짜 중국판 DALL-E
    • 코드(https://github.com/THUDM/CogView ) 와 데모(https://lab.aminer.cn/cogview/index.html )도 공개

  • True Few-Shot Learning with Language Models

    • NYU, Facebook AI
    • 진짜 few-shot 환경 (held-out examples 가 없는 상황) 에서 LM이 정말 few-shot을 잘하는가?
    • Held-out이 압도적으로 잘하고 True few-shot 에서는 CV, MDL 기준으로 모델을 골라도 random대비 marginal 수준
    • Few-shot task는 LAMA (retrieval 쪽), 사실 generation쪽이 궁금하긴 한데.. 이쪽은 metric이 애매하여..
    • 그래서 True few-shot 세팅에선 GPT3 한계가 확실히 보인다고..

  • Learning to Optimize Industry-Scale Dynamic Pickup and Delivery Problems

    • 화웨이 Noah's ark 랩
    • 인더스트리 스케일에서 동적 물류 최적화 (비용 최소화를 위한 차량 배차 최적화)
    • 물류 AI 연구하시는 분들에게 꽤나 유용할 것으로 보이는 연구
    • GNN + RL: Attention-based GNN + Double DQN

  • Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation

    • Tsinghua 대학 + SenseTime
    • MRI 와 CT 데이터의 segmentation (Labeled 와 Unlabeled 데이터 둘다 있으때)
    • Supervised (Labeled로) + Constrastive loss를 활용한 Noisy student 비슷한 KD 기반 semi-supervised
    • Region-aware contrastive sampling & Anatomical-aware contrastive sampling
    • 의료 이미지 segmentation 연구에 활용하시면 좋을듯?

  • YOLO5Face: Why Reinventing a Face Detector

    • YOLO5 기반의 face detector
    • 다양한 크기/속도 백본 실험
    • 학술적 의미보단 실제적으로 꽤 유용해 보임
    • https://www.github.com/deepcam-cn/yolov5-face

  • Self-Supervised Multimodal Opinion Summarization

    • NC Soft Knowledge AI Lab (ACL 2021)
    • 문서요약에서 이미지와 메타데이터(테이블) 활용 요약
    • 1. Text를 BART (enc-dec) pretraining 2) dec freezing하고 이미지와 메타 각각 enc pretraining, 3) 셋다 merging하고 dec까지 훈련

  • Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error

    • 미니배치 구성할때 image당 augmented sample 하나씩 쓴다 --> 그래야 이미지 다양성이 확보되니까
    • 한 이미지에 대해 여러가지 aug sampling를 해보고 성능 비교
    • 의외로 미니배치내 이미지 다양성이 감소해도 test error가 더 감소하더라는.. 딥마인드 연구
    • 실험 백본은 Normalized-Free Net 갖고 해봄
    • 백본 트레이닝할때든 fine-tuning할때는 한번 해보시면 좋을 듯?

  • Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization

    • ACL 2021 발표 (from Georgia Tech, MSR, MS Azure)
    • Lottery Tickter의 연장선 상에서 파라미터가 줄어들 때 성능이 유지되는 정도가 아닌 일반화성능이 좋아지는 점이 존재
    • 그 최대값이 되는 sub model 이 super ticket이고 이게 가능한것은 파라미터가 줄어도 Bias는 증가하지 않으면서 variance만 감소하는 구간이 존재하기 때문으로 설명 (끄림1)
    • GLUE와 SNLI, SciTail 등으로 실험, Base는 역시 MT-DNN
    • 확실히 classification 모델류는 경량화 잘 하는 것이 ROI와 직결. 생성모델류도 이런게 있으면 좋겠다는...

  • From Motor Control to Team Play in Simulated Humanoid Football

    • https://youtu.be/KHMwq9pv7mg.

게놈 지도 관련 내용이 있는 링크 드립니다 :)
https://www.hani.co.kr/arti/science/science_general/771715.html