Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[20211205] Weekly AI ArXiv 만담 - 32회차 #32

Closed
jungwoo-ha opened this issue Nov 29, 2021 · 7 comments
Closed

[20211205] Weekly AI ArXiv 만담 - 32회차 #32

jungwoo-ha opened this issue Nov 29, 2021 · 7 comments

Comments

@jungwoo-ha
Copy link
Owner

jungwoo-ha commented Nov 29, 2021 •
edited
Loading

  • News
  • ArXiv

    • BEVT: BERT Pretraining of Video Transformers

      • BEiT의 video version from Fudan Univ + MS Cloud + AI
      • 기본적으로 VQ-GAN류로 tokenizer 만들고 Masked Image Modeling & Masked video modeling
      • Encoder는 image와 video weight sharing 하고 decoder는 별도
      • 기본 구조는 Swin을 사용함.
      • Pretrain 데이터: ImageNet-1k, K-400 or HowTo100M
      • 다운스트림은 Video recognition (SSv2, Diving-48, K400) --> Zeroshot은 없음.
        image

    • Benchmarking Detection Transfer Learning with Vision Transformers

      • 뭔가 MAE의 Detection 실험 파트를 잘라내서 자세하게 리포팅한 것 같은 (from Meta AI: 조직 이름 언제 통일??)
      • Detection은 기본적으로 다른 다운스트림 보다 복잡해서 ViT 나온 이후 공정한 benchmark 만들기 어려웠음
      • 그래서 5가지 ViT 계열에 대해 Mask RCNN 붙이고 Coco 다운스트림 비교 (Self-super, super, random init 까지)
      • 결국 MAE가 젤 좋더라~ (BEiT는 dVAE의 Dall-e 데이터 때문에..)
        image

    • How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN

      • 언어모델의 NLG관점에서 정말 새로운 표현을 잘 생성하는 지 아니면 훈련데이터 복사하는지는 중요한 이슈
      • 이것을 모델 별로 (LSTM, Transformer-XL, GPT-2, 사람) 평가하는 지표와 프로토콜인 RAVEN 제안
      • 짧은 단위로는 novelty 가 약함. 문장단위로 넘어가면 novel 한 표현 잘 만들어냄 (전체적으로)
      • 특히 GPT2의 경우 문법적으로는 잘하는데 길어지면 모순되는 내용 생성
      • 자체 초대규모 언어모델 만드는 연구 그룹은 참조하면 좋을 듯
        image

    • Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks

      • 다양한 멀티모달 태스크를 하나의 Transformer encoder를 활용하여 학습하는 구조 (from 센스타임, 홍콩중문대)
      • 딥마인드 Perceiver와는 아무 상관없음 (인용도 안함)
      • input와 target을 동일한 encoder 를 쓰고 joint prob 계산
      • Pretrainig 데이터: 이미지, 텍스트, 비디오 다양한 종류로 많이 씀 (128 V100 실험)
      • Finetuning 보다 1% P-tuning 결과가 인상적 (P-tuning V2 썼다고함)
        image
        image
@jnhwkim
Copy link

jnhwkim commented Nov 30, 2021

  • VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling (ArXiv 2021, Nov)
    • Video pretraining method for 1) text-to-video retrieval (T2VR), 2) zero-shot T2VR, & 3) video QA
    • Pretraining datasets:
      • YT-Temproal-180M using 6M Youtube and its ASR (MERLOT, Zellers et al., 2021)
      • WebVid-2.5M (Bain et al., 2021)
      • CC 3M image-text pairs (Sharma et al., 2018)
    • Encoders:
      • Video: dVAE from DALL-E (Ramesh et al., 2021) and Video Swin Transformer (Liu et al., 2021)
      • Language: WordPiece (Wu et al., 2016) and VL-BERT (Su et al., 2020)
    • Losses:
      • Masked Visual-token Modeling (MVM) exploiting the dVAE indices for visual tokens.
      • Visual-Text Matching (VTM) and Masked Language Modeling (MLM), which are noting new ones
      • Blockwise (Bao et al., 2021; Tan et al., 2021) and attended (Zellers et al., 2021) maskings
    • Overall assessment:
      • A shallow contribution with the MVM with dVAE but with many upgraded parts

image

image

@nick-jhlee
Copy link

Downfall of AAAI 2022...? AAAI 2022 결과

  • AAAI 2022 결과가 나왔는데,,, 네 일단 나왔어요 (accept되신 분들 모두 축하드립니다! reject되신 분들은 너무 상심하지 마세요,, see below)

  • Good news: Naver CLOVA에서 4개, 저 1개 <- AI로 저의 데뷔 논문입니당! �Classical(?) ML논문으로 써보았습니다,,

  • Bad news: 리뷰 process가... 최선을 다했다면 할 말이 없지만 뭔가... 흠

    • Review가 늦었는데 rebuttal deadline은 유지..
    • final decision이 예정보다 이틀 늦었는데, 아무런 official announcement 없었음...
      • 나중에 어떤 분이 메일을 보내니까 "The decisions will go out tomorrow. Sorry for the delay"라는 답변을 받고, 그걸 twitter에 올려서 겨우 알게됨..
    • "This year we received a record 9,251 submissions, of which 9,020 were reviewed. Based on a thorough and rigorous review process we have accepted 1,349 papers. This yields an overall acceptance rate of 15%."
      • 이렇게 적게 하면 randomness가 커지는건 trivial한데,,, 단순 행정적인 이유..?
    • 많은 일들이 있었습니다...
      • first phase에서 억울하게 탈락한 논문들 (e.g. reviewer가 assign된 paper를 잘못알아서 탈락된 경우..)이 있었는데, PC(+AC?)는 안돼 돌아가시전..
      • review의 quality에도 의문이 약간 드는 부분.. (ex. theoretical results were "uninteresting to mainstream readers")
        • 이 분은 트위터에 "I don't submit to @RealAAAI anymore."라고 손절하셨습니다 ㅎㅎ
      • AC(PC?)가 어떤 reviewer의 review를 마음대로 건드린 일도 있었음
      • 4 accept였던 paper가 최종 reject 먹은 일도 있었음
    • 전체적으로 행정적으로 마음에 안들었음,,
    • 실제 행사에서도 이러면 아주 실망... (1.5티어 확정...?)

Upcoming conference deadlines:

  • IJCAI 2022
  • ICML 2022
  • COLT 2022
  • ...etc.

Upcoming conference attendances:

  • NeurIPS 2022 (online)
  • AAAI 2022 (Vancouver, BC, Canada)
  • ICSE 2022 (Pittsburgh, PA, USA)
  • ...etc.

@nick-jhlee
Copy link

nick-jhlee commented Dec 4, 2021 •
edited
Loading

  • Hashing it Out: A Survey of Programmers’ Cannabis Usage, Perception, and Motivation (ICSE 2022)

    • University of Michigan
    • cannabis=대마초
    • (study에 참여한) 프로그래머들의 35%는 대마초를 써봄, 18%는 지금도 최소 한달에 한번 씀
    • 왜 쓰는지: 기분이 좋아서 이렇게라도 즐기기 위허여, 쓰면 뭔가 더 잘되는 기분이 있어서
      • mental health, chronic pain 따문에 쓰는 비율은 상대적으로 적었음
    • 프로그래머들이 생각하는 것보다 상사들은 대마초 사용에 대한 생각이 열려있음(!)
    • 우리나라에선 alcohol로 한번 실험 해보는 것도 괜찮지 않을까요 ㅎㅎ

  • Fast and Efficient MMD-based Fair PCA via Optimization over Stiefel Manifold

    • KAIST(저 포함), UC Berkeley(->Citadel), UIUC
    • Fair representation(Zemel et al., ICML'13)의 일환
    • 요약: MMD를 기반으로 한 공정한 PCA의 새로운 정의를 내세우고, 이를 manifold optimisation으로 풀어서 fast and efficient하게 함
      • PCA는 사실 orthogonal linear projection을 찾는 일
      • 그런 matrix를 모으면 manifold가 됨!
      • MMD^2=0응 constraint로 함
      • MMD^2의 estimator가 differentiable함 (via kernel trick)
    • 더 짧은 요약: Figure 1
    • 기존 constrained manifold optim 알고리즘의 새로운 theoretical guarantee 제시
    • toy 및 real dataset (COMPAS, German Credit, Adult Income)에서 모든 측면 (runtime, fairness, downstream fairness)에서 outperform함
      • 특히 sensitive attribute의 communality (한 feature가 얼마나 중요하게 작용하는지)를 분석함 <- interpretability of fair PCA
    • Future works
      • 아무래도 kernel 방법론이라,, data수에 약간 민감.. => stochastic minimizatiotype modification?
      • high dimension에서 theoretical characterization
      • information theoretic하게 접근하는 방법론들 (ex. ?)

  • Advancing mathematics by guiding human intuition with AI (Nature)

    • DeepMind, University of Oxford, University of Sydney
    • AI로 순수수학을 풀 수 있다??! (갠적으로 전 상상만 했는데, 진짜 될 줄은 몰랐던...)
      • combinatorial invariance conjecture (representation theory)
      • relationship between geometry and some algebraic quantity of knots (knot theory - low dimensional topology)
    • AI로 conjecture를 푸는 새로운 approach를 얻어내고, 수학자들이 그 hint를 바탕으로 새로운 증명을 해냄..!
      • 기존 이론으로는 유추할 수 없는 connection이 있을 수 있다는 것을 ML이 알려줌!
    • (책으로만 읽은) 100년전에 Ramanujan을 보는 듯한...
    • cf. RL로 graph theory에서 counterexample 찾기! (Constructions in combinatorics via neural networks

@kimyoungdo0122
Copy link

kimyoungdo0122 commented Dec 5, 2021 •
edited
Loading

@veritas9872
Copy link

이번 주는 PyTorch Opacus 라이브러리 1.0 stable version이 나오면서 Privacy preserving AI에 대해 소개해드리고자 합니다.
White paper가 나온지 조~금 되었지만 아직까지 Arxiv talk에서 differential privacy에 대한 논의가 소개된 적이 없어 공유합니다.

image

GitHub: https://github.com/pytorch/opacus
Website: https://opacus.ai
Arxiv: https://arxiv.org/pdf/2109.12298.pdf
Blogposts:

  1. https://medium.com/pytorch/differential-privacy-series-part-1-dp-sgd-algorithm-explained-12512c3959a3
  2. https://medium.com/pytorch/differential-privacy-series-part-2-efficient-per-sample-gradient-computation-in-opacus-5bf4031d9e22

Differential privacy란 딥러닝에서 발생하는 training data memorization을 해결하고자 하는 연구 분야입니다.
예를 들어 우리나라에서 크게 이슈가 되었던 "이루다"는 질문에 대해서 학습 데이터에 포함되어 있던 특정 사용자의 집 주소와 같은 민감 정보를 공개하는 문제를 보여서 서비스가 종료되었습니다. Differential privacy는 학습에서 개별 데이터의 영향력을 특정 범위 내로 한정함으로써 이러한 문제를 완화하고자 합니다.

Screenshot (75)

오늘 소개드리는 Opacus는 페이스북(메타라고 쓰는걸 잊어버렸네요 ㅋㅋㅋ)에서 공식적으로 PyTorch에 호환되도록 만든 라이브러리로 위에 보시는 것처럼 기존 모델에 매우 단순하게 호환할 수 있습니다.

Opacus에서 Differential privacy를 구현하는 방식은 각 mini-batch에서 sample마다 gradient를 clipping하거나 regularization함으로써 개별 sample의 영향력을 한정시키고자 하는데 JAX를 제외한 다른 라이브러리에서는 평균 gradient만 접속할 수 있지 sample-wise gradient를 접속하는 방법은 구현되어있지 않습니다.

이를 해결하기 위해 einsum을 사용해 sample-wise gradient를 계산하는 방식을 사용하고 differential privacy가 한정치를 넘어가는 시점에서 early stopping을 하거나 개별 gradient에 noise를 주는 방식 등을 적용해서 연산을 진행한다고 합니다.

최근 인공지능이 privacy에 어떤 영향을 미칠지에 대해 많은 논의가 진행되었는데 연구가 필요한 분야라고 생각됩니다.

@hollobit
Copy link

hollobit commented Dec 5, 2021 •
edited
Loading

올해 RSNA 참가 국내 의료 AI 기업, 작년보다 2배 늘었다

http://www.aitimes.com/news/articleView.html?idxno=141760

  • Radiological Society of North America, 11월 28일부터 12월 2일
  • RSNA 2021 등록자는 21,300 명. RSNA 2019의 전체 참석자 수인 47,011명의 45% 수준
  • 571개 기업이 참가해 2019년 789개에서 27.63% 감소
  • RSNA 2021에 부스를 연 국내 의료 AI 기업은 ▲에이아이메딕(AI Medic) ▲제이엘케이(JLK) ▲코어라인소프트(Coreline Soft) ▲뉴로핏(Neurophet) ▲클라리파이(ClariPi) ▲팬토믹스(Phantomics) ▲프로메디우스(Promedius) ▲소이넷(SoyNet) ▲루닛(Lunit) ▲메디컬아이피(MEDICAL IP) ▲모니터코퍼레이션(Monitor Corporation) ▲뷰노(VUNO) ▲에어스메디칼(AIRS Medical) ▲피노맥스(PMX)
  • 그러나..... 12/1 (한국시간)으로 한국인 참석자들에게 날벼락 발생

AI to see stricter regulatory scrutiny starting in 2022, predicts Deloitte

https://www.techrepublic.com/article/ai-to-see-stricter-regulatory-scrutiny-starting-in-2022-predicts-deloitte/

  • 인공 지능 규제에 대한 논의가 내년에 본격화될 것이며, 2023년에는 실제 규칙이 뒤따를 것이라고 딜로이트가 예측
  • 지금까지 비즈니스 분야에서 새로운 기술 중심 접근으로 규제 회피
  • 프라이버시 및 기타 민감한 영역에 대한 우려가 높아짐에 따라 규제 가능성 높아짐
  • 올해 유럽 연합과 미국 연방 거래 위원회(FTC)는 AI를 보다 엄격하게 규제하기 위한 제안과 문서를 작성했습니다. 중국은 기술 회사를 규제하는 일련의 규정을 제안했으며 그 중 일부는 AI 규정을 포함
  • 규제 기관이 AI를 더 면밀히 주시하는 데에는 몇 가지 이유
  1. 첫째, 이 기술은 몇 년 전보다 훨씬 강력하고 유능
  2. 둘째, 규제 기관은 기계 학습 사용에 거의 고유한 사회적 편견, 차별 및 개인 정보 보호 문제에 대해 더 많이 우려
  3. 규제 진입장벽. 어느 한 국가나 정부가 자체 AI 규정을 설정하면 해당 지역 기업이 다른 국가의 기업보다 이점을 얻음

높아지는 AI 책임성에 대한 사례들

https://www.wired.com/story/movement-hold-ai-accountable-gains-steam/

  • 뉴욕시 법에 따르면 채용에 사용되는 알고리즘은 편견에 대해 "감사"해야 함. 이는 미국 최초 규제
  • 뉴욕 시의회는 지난달 고용이나 승진에 고용주가 사용하는 알고리즘에 대한 감사를 요구 하는 법률을 채택
  • 유럽 연합 의원들은 고위험으로 간주되는 AI의 검사를 요구 하고 고위험 시스템의 공개 레지스트리를 만드는 법안을 고려
  • 일부는 회사 재무 감사와 유사한 알고리즘의 의무 감사 방식을 선호, 그러나 한편에서는 환경 영향 보고서와 유사한 "영향 평가" 방식을 선호.
  • 검토가 어떻게 수행되어야 하고 무엇을 포함해야 하는지에 대한 표준이 현장에서 절실히 필요하다는 데 동의
  • 표준이 없으면 기업은 유리한 감사를 주선하여 "윤리 세척"에 참여

Why international cooperation matters in the development of artificial intelligence strategies

https://www.brookings.edu/blog/techtank/2021/11/30/why-international-cooperation-matters-in-the-development-of-artificial-intelligence-strategies/
https://www.brookings.edu/research/strengthening-international-cooperation-on-ai/

  • 브루킹스 연구소와 유럽정책연구센터가 2020년 설립한 Forum for Cooperation on Artificial Intelligence (FCAI)에서 인공지능 국제 협력에 관한 중간 보고서 발표
  • AI 정책 개발은 모든 국가에서 비교적 초기 단계에 있으므로 시기적절하고 집중적인 국제 협력은 AI 정책 및 규정을 조정하는 데 도움이 될 수 있
  • AI에 대한 국제 협력이 중요한 이유 7가지 이유를 비롯해 AI에 대한 국제 협력을 더욱 발전시키기 위한 15가지 구체적인 권장 사항을 제시
  1. AI 연구 및 개발은 규모가 중요한 이점인 점점 더 복잡하고 자원 집약적인 노력
  2. 책임 있는 AI에 대해 일반적으로 합의된 민주주의 원칙에 기반한 국제 협력은 책임 있는 AI 개발에 집중하고 신뢰를 구축하는 데 도움이 될 수 있음
  3. 규제와 관련하여 다양한 접근 방식은 혁신과 확산에 장벽을 만들 수 있음
  4. AI 규제의 주요 측면을 조정하면 AI 개발 전문 기업이 번창할 수 있음
  5. 무역 협력 강화는 상품과 데이터의 흐름에 대한 부당한 제한을 피하기 위해 필수적이며, 이로 인해 AI 확산의 잠재적 이점이 크게 감소
  6. AI 솔루션의 잠재력을 활용하여 글로벌 문제를 해결하려면 협력을 강화해야 함
  7. 민주주의, 표현의 자유 및 기타 인권의 개방과 보호의 핵심 원칙을 재확인하기 위해서는 같은 생각을 가진 국가 간의 협력이 중요

@nick-jhlee
Copy link

  • 지나간 행사: 제2회 인공지능 심포지엄 @ 코엑스
    • 인공지능 대학원 총 집합 + 관련 기업분들 부스
    • NAVER, NVIDIA talk (research collaboration)
    • 패널 토크..등등
    • booths
      • NAVER souvenier 감사드립니다 ㅎㅎ
    • 학생분들이 없어서 약간 아쉬웠습니다 ㅠㅠ
    • 그래도 뭔가 같이 교류하는 장이 있어서 좋았습니다..! (좀 더 많이 활성화되면 정말 좋을 듯 하네용!)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
6 participants
@hollobit @jnhwkim @jungwoo-ha @veritas9872 @nick-jhlee @kimyoungdo0122