WeeklyArxivTalk
WeeklyArxivTalk copied to clipboard
jungwoo-ha
[20230409] Weekly AI ArXiv 만담 시즌2 - 13회차
공지
다음 주에는 Stanford AI Index Report 2023을 리뷰할 예정입니다. https://aiindex.stanford.edu/report/
뉴스
“Gemini”: Google and Deepmind develop GPT-4 competition URL: https://the-decoder.com/gemini-google-and-deepmind-develop-gpt-4-competition
Twitter:
구글과 딥마인드에서 GPT-4에 대항하기 위해 multi-trillion parameter model을 학습하는 중이라는 소문이 업계에서 빈번하게 들려옵니다. 심지어 Jeff Dean 옹께서 직접 코딩을 하신다고 하는데 그만큼 구글에서 LLM 부분에서 뒤쳐지지 않기 위해 올인하는 것을 볼 수 있습니다.
연구
Segment Anything
Blog: https://segment-anything.com GitHub: https://github.com/facebookresearch/segment-anything ArXiv: https://arxiv.org/abs/2304.02643
Meta에서 image segmentation을 위한 거대 모델을 코드와 model weight를 포함해서 오픈소스했습니다.
학습을 위해서 모델 스스로 라벨을 생성해서 학습에 포함하는 방법을 통해 처음에는 human segmentation의 도움을 받았지만 학습이 진행할수록 human labelling을 축소하는 방식을 적용하는 데이터 엔진을 구성했습니다. 단순히 클릭하는 것과 언어 프롬프트를 통해 물체의 영역을 분할할 수 있어 여러 분야에 범용적으로 적용될 것으로 생각됩니다.
보시다시피 학습에 포함되지 않은 의료영상에서도 우수한 성능을 보입니다. ~(그럼 나는 뭐 먹고 살지?)~
Self-Refine: Iterative Refinement with Self-Feedback
Blog: https://selfrefine.info GitHub: https://github.com/madaan/self-refine ArXiv: https://arxiv.org/abs/2303.17651
ChatGPT 및 대화형 거대 언어 모델이 지금까지 Reinforcement Learning with Human Feedback (RLHF)를 사용해왔지만 고품질의 human labelling이 필요하다는 단점이 있습니다. 이미 학습이 완료된 다른 모델에서 라벨을 생성하는 방법도 가능하지만 초거대 모델을 처음 개발하는 입장에서는 다른 방법이 있으면 도입이 더 쉬워질 것으로 생각됩니다.
해당 논문에서는 pre-trained model에 직접 RLHF를 진행하는 대신 refinement와 feedback prompt를 제시하는 방식을 통해 답변을 점진적으로 고도화합니다. 이것은 인간이 사고하는 방식과 유사하고 한 번 실수한 것을 수정할 기회를 준다는 장점이 있지만 최종 결과를 위해 즉답을 할 수 없어 real-time으로 답변하기 어려워진다는 단점이 있습니다.
Technical Papers
TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings Blog: https://cloud.google.com/blog/topics/systems/tpu-v4-enables-performance-energy-and-co2e-efficiency-gains?hl=en ArXiv: https://arxiv.org/abs/2304.01433
구글에서 딥러닝에 특화된 TPU v4의 구조를 설명하는 white paper를 공개했습니다. 기존에 비해 가장 유의할 부분은 데이터 전송에서 광학을 이용함으로써 전력 소모, 시간, 네트워크 구성 편의성 등 여러 장점을 살렸다는 것입니다. ~그러나 가격은 Infiniband의 10배라고 합니다. 역시 돈이 좋습니다...~
전부터 광학을 사용하는 것이 데이터 전송 속도 병목의 좋은 해결책이라고 생각을 했었는데 연산 회로에서는 아니지만 이미 데이터 전송에서 사용되고 있는 것을 보아 추후 더 중요해질 것으로 생각됩니다.
BloombergGPT: A Large Language Model for Finance Blog: https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance ArXiv: https://arxiv.org/abs/2303.17564
금융 정보 분야의 대표주자인 Bloomberg에서 금융 분야에 특화된 거대 언어모델을 학습해 서비스에 제공할 예정입니다. 기존의 task-specific한 모델과 다르게 대량의 financial data를 전체 학습 데이터의 절반 이상 차지할 정도로 많이 사용하고 금융 데이터에서 사용되는 정보의 구성 등에서 많은 전문성을 요구했습니다. 또한, AWS에서 비교적 적은 리소스로 50B 모델을 학습할 수 있었는데 GPT API에 의존하지 않고도 데이터만 충분하다면 분야에 특화된 모델을 만들 수 있는 것을 보여주었습니다. 추후 대화형 인공지능 모델의 비즈니스 모델 개발에서 중요한 요소일 것으로 생각됩니다.
알쓸신뉴스..
-
C. R. Rao (1920-) awarded international statistics prize
- 살아계신 레전드중 레전드중 레전드
- Cramer-Rao bound, Rao-Blackwell theorem, information geometry, asymptotic statistics....etc (DL < ML < Stat - Rao선생님의 캐리...)
-
Launch of Continual AI Unconference (CLAI Unconf)!
- https://continualai.github.io/
- 24hr long virtual conference
- proceeding to be available at PMLR
- "preregistration" with idea and write the actual paper during conf?!
- twitter link: https://twitter.com/continualai/status/1641092869728468993?s=46&t=llKohaNYR1IR_yaWlq40TA
-
Deep Gaussian Processes (Damainou & Lawrence, AISTATS 2013) awarded test of the time award at AISTATS 2023
-
Vesuvius Challenge
- ML/CV challenge to read the Herculaneum Papyri(!)
- Grand Prize $700,000 and more!
- https://scrollprize.org/
알쓸신paper...
-
PopulAtion Parameter Averaging (PAPA)
- Samsung SAIT Lab, Montreal (led by Simon Lacoste-Julien)
- differently train a population of p networks while
-
- occasionally replace rthe weights of the models by the population average of the weights during training (PAPA-all), or
-
- slowly push the models toward the population average of the weights at every few steps of training (PAPA-gradual).
-
- We also REPAIR the average of the weights for improved performance and return a single combined model at the end of training.
- twitter link: https://twitter.com/jm_alexia/status/1644296041930412033?s=46&t=llKohaNYR1IR_yaWlq40TA (see their blog as well)
뉴스
- ChatGPT의 개인정보 유출이 논란이 되고 있습니다. 특히 유럽에서 심각하게 바라보고 있으며 이탈리아는 30일간 ChatGPT의 사용을 금지했다고 합니다 [기사]
- OpenAI에선 Safety에 대한 블로그 글을 발행하며 안전함을 강조하고 있습니다 [블로그 글]
- Meta에선 Segmentation의 foundation model인 SAM을 발표했습니다 [블로그 글]
- Hugging Face의 여러 AI모델들과 GPT가 함께 동작하는 HuggingGPT 모델이 나왔습니다 [Arxiv논문]
- Y combinator 이번 배치 스타트업들은 "생성AI로 ㅇㅇ을 할 수 있다"라는 스타트업들이 많이 나왔다고 하네요 [관련 TechCrunch 기사]
다양한 GPT 어플리케이션들의 출시
SkinChat.ai
: ART Lab에서 SkinGPT를 활용한 SkinChat.ai 를 선보였습니다 [관련 페이스북 글]
https://user-images.githubusercontent.com/12528769/230769809-df9df509-84da-45fc-b6e9-e1673d951fb0.mp4
- GPT + Vision + Domain Knowledge (Skin+Cosmetics)
- GPT의 약점은 1) 전문성 2) 신뢰성 3) 최신성 4) 사용성 5) 멀티모달 인풋이 부족하단 점인데, 이 부분을 개선하기 위해 노력했습니다 (3주만에 만든 MVP라 매달 업데이트 될 예정입니다)
- 인도에서의 반응이 좋습니다. (국내는 "뷰티"적 접근, 해외는 "헬스케어"적 접근)
[의견]
- 전문지식+GPT, 검색+GPT 등은 강력한 비즈니스 툴을 만들어 줍니다.
- 앞으로는 태스크를 문서화하는 것 또는 대화 데이터를 쌓는 것이 곧 AI를 만드는 길이 될 것입니다.
- 누구나 해킹할 수 있는 시대, 새로운 LLM 보안이 필요합니다.
다양한 GPT Product들
https://user-images.githubusercontent.com/12528769/230769698-34c86de3-1db0-4378-8da1-28986e98735b.mp4
News
-
골드만삭스는 AI로 인해 일자리 3억 개가 줄어들 것으로 예측
- 자료 링크
- 전통적으로, 자동화 기술은 일자리에 큰 변화를 가져왔음
- 자동화로 인해 줄어든 일자리만큼 새로운 일자리가 창출되었고, AI로 인한 일자리 감소는 더 많은 일자리 창출로 이어질 것으로 예측
- 그동안 기계의 발전이 단순 노동을 대체해왔다면, AI는 이제 모든 직무에 영향을 미칠 예정
-
- Stability AI의 Stable Diffusion이 게티 이미지의 소스들을 무단 스크래핑해서 모델 학습에 사용했다는 주장
- 생성된 이미지가 양질일수록 높은 이미지 퀄리티를 유지해왔던 게티 이미지와 아티스트들의 비중이 많이 들어간다고(?)
- 두 번째 소송인데, 판결이 나오기까진 오래 걸리지 않을까..
-
- 재미로 보시면 좋겠지만, IBM이 리스트에 있는걸 보면 음...
