[20230924] Weekly AI ArXiv 만담 시즌2 - 27회차

[jungwoo-ha]

Zoom 웨비나 주소: https://navercorp.zoom.us/j/92208940283

News

• Conferences

  • NeurIPS 2023 (D&B 트랙 포함) 결과발표: 억셉되신 분들 모두 축하드리고 아쉽게 리젝된 분들 ICLR 24 로 ㄱㄱ!
  • ICLR 2024: 오늘 밤 9시가 abstract 마감입니다. Full paper는 29일 밤 9시 입니다.
  • ICCV 2023: 10월 2일 (명절 임시 공휴일) 부터 6일까지 프랑스 파리에서!

• MS, 윈도11에 AI '코파일럿' 탑재…26일 업데이트

• How much energy does AI use compared to humans? Surprising study ignites controversy

  • The paper found that when producing a page of text, an AI system such as ChatGPT emits 130 to 1500 times fewer carbon dioxide equivalents (CO2e) compared to a human???
  • Similarly, in the case of creating an image, an AI system such as Midjourney or OpenAI’s DALL-E 2 emits 310 to 2900 times less CO2e.
  • UC Irvine과 MIT에서 연초에 arxiv에 올린논문
  • The Carbon Emissions of Writing and Illustrating Are Lower for AI than for Humans
  • 여기서 쓰는 AI는 ChatGPT, Bloom, DALLE2, Midjourney
  • 여기서 CO2 배출은 training은 제외하고 쿼리당 inference 때 쓰는 에너지를 기준으

• Amazon leader says new Gen AI Alexa is a ‘super agent’

  • Amazon의 LLM을 Alexa에 붙인다고...
  • 호출수가 많아졌을 때 운영비는? 좀 슬림한 모델일 것인

ArXiv

• LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
  • CHUK 와 MIT (Song Han) 협업 연구
  • Shift short attention 과 LoRA를 합해서 PEFT 형태로 long-context FT를 진행
  • Short attention은 전체 context leangth의 1/4만.. 이걸 shift로 커버
  • LoRA 외에 embedding 과 Norm을 추가 학습 하는 셋업을 LoRA+ 라고 --> 요건 context 길 때 유효
  • 주로 실험은 LLaMA 7B, 13B, 70B (8 A100 1대로 모든 실험)
  • 일단 숫자는 경쟁력 있어보이긴 한데 얼마나 워킹할지는 테스트 필요

[ghlee3401]

Arxiv

Paper	DDSP-SFX: Acoustically-guided sound effects generation with differentiable digital signal processing
URL	- 샘플 : https://reinliu.github.io/DDSP-SFX/
Recommendation	- AI를 이용한 sound effect 생성에 관심이 있으신 분
Task	Sound effects synthesis
Abstract	- Sound effect 생성을 DDSP architecture를 이용하여 구현 - DDSP (DDSP: Differentiable Digital Signal Processing) - transient signal (과도 신호) 는 일시적인, 순간적인 신호 - 총소리 혹은 발자국 소리와 같은 소리가 이에 해당 attack이 강하고 sustain이 짧은 특징을 가지고 있음 - DDSP에서 Onset과 Harmonics가 추가 - mel-spectrogram을 이용한 VAE 학습으로 음색에 대한 latent vector $Z$를 학습
Proposed Method
Datasets	- DCASE 2023의 Foley 데이터셋을 사용 - 총 7개의 카테고리가 있는데, 발자국, 총, 모터 소리만 사용 - 4초 내외의 16kHz 데이터를 이용
Results	- 26명이 참여 하여 평가를 수행

[nick-jhlee]

News

• 혹시 안타깝게 NeurIPS 2023에서 떨어지신 분들은 AAAI 2024 (NeurIPS fast track)도 있으니 한번 잘 고려해보시면 좋을 것 같습니다...!

NeurIPS 2023 Papers (저 및 제 주변 ㅎㅎ)

• Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
  • Junghyun Lee*, Hanseul Cho*, Se-Young Yun, Chulhee Yun (KAIST AI)
  • 드디어 neurips를 써보네요 ㅎㅎ
  • 제 fair PCA 두 번째 논문으로, 기존에 fair PCA algorithm들이 다 offline data를 요구하였다면, memory-limited, streaming 상황에선 어떻게 할지에 대한 연구입니다!
  • 특히 이 streaming setting을 잘 이용하여 AISTATS 2023에 나온 Efficient fair PCA for fair representation learning (from Amazon AWS)보다 더 scalable하게 만든 부분에 있어서 강점이 있는거 같습니다.
  • sample complexity analyses, experiments...etc 곧 나올 camera-ready ver을 기대해주세요 ㅎㅎ

• Enhancing Generalization and Plasticity for Sample Efficient Reinforcement Learning

  • Hojoon Lee, Hanseul Cho, Hyunseung Kim, Daehoon Gwak, Joonkee Kim, Jaegul Choo, Se-Young Yun, Chulhee Yun
  • generalization ~ input adaptability, plasticity ~ label adaptiability
  • For generalization, SAM! For plasticity, reset technique!
  • Especially, plasticity amplifies sample efficiency without any architectural modifications!

• Practical Sharpness-Aware Minimization Cannot Converge All the Way to Optima (Spotlight!)

  • Dongkuk Si, Chulhee Yun
  • Sharpness-Aware Minimization (SAM)이 지금까지 잘 분석이 되었는데, 실제로 이용되는 hyperparameter setting과는 다른 assumption하에서 분석됨!
  • 이번 연구에선 처음으로 realisitic hyperparameter setting에서 SAM을 theoretical하게 분석함!

• Trajectory Alignment: Understanding the Edge of Stability Phenomenon via Bifurcation Theory

  • Minhak Song (<-학부생...!), Chulhee Yun

• Navigating Data Heterogeneity in Federated Learning: A Semi-Supervised Approach for Object Detection

  • DynamoFL, KAIST AI (OSI Lab의 Taehyeon Kim!)