jwlee-neubla

### Arxiv #### [The effectiveness of MAE pre-pretraining for billion-scale pretraining](https://arxiv.org/abs/2303.13496) - Meta AI - MAE를 이용하여 computer vision에서 늘 사용되는 pretrain-then-finetune paradigm을 개선 - pre-pretraining : MAE를 이용한 SSL(1...

# Stanford AI Index Report - Chapter 1 ## Research and Development ### 1.1. Publication 2010년부터 2021년까지 AI publication의 총 수는 2010년 20만 건에서 2021년에는 약 50만 건으로 두 배...

### 논문 [Scaling Language-Image Pre-training via Masking](https://arxiv.org/abs/2212.00794) - META AI, FAIR - CLIP과 MAE의 만남 - image encoding 시에 50%(혹은 75%) masking 하고, unmasked patch 만으로 encoding 후 CLIP을 적용...

### News - [OpenAI CEO calls for global cooperation to regulate AI](https://edition.cnn.com/2023/06/09/tech/korea-altman-chatgpt-ai-regulation-intl-hnk/index.html) - Fireside Chat with OpenAI (https://www.youtube.com/watch?v=MyTYAz82-V4) - 일자리 대체에 대해, 노동시장은 2세대 정도에 걸쳐서 변화하였지만 10년안에 일어날 수...

### Cloud TPU v5e for large-scale AI inference Next 2023에서 TPU v5e를 공개했습니다. TPUv5의 lite version이고, TPUv4i의 후속작입니다. Tensor Core 1개 - 197TFLOPS, HBM2 1개 - 16GB, 819GBps, no twisted...

- [Interactive Text Generation](https://arxiv.org/abs/2303.00908) > - user simulator를 이용하여 interactive한 text generation 학습 > - generation model은 one-shot에 생성하기 때문에 hallucination과 같은 문제가 있어서 interactive한 방법이 중요함을 강조

### 소식 - 오랜만의 TF-KR event POE director of engineering 여환승님과의 on-line talk 3월 17(금) 저녁 9시 신청은 여기서 [https://forms.gle/Qj1C9benutcHxJuQA](https://forms.gle/Qj1C9benutcHxJuQA?fbclid=IwAR0NAm-o2l5ePdOL3VWGMIIBd6uT8y6zi-YU5LVH2cf6bfZA4Rd-j7V21zM) ### 논문 - [Mimic before Reconstruct: Enhancing Masked Autoencoders with...