2020-songpa-people icon indicating copy to clipboard operation
2020-songpa-people copied to clipboard

Published 20 hours ago • verified publisher icon woowacourse-teams

[REFACTOR] Instagram 크롤링 멀티 스레드로 병렬 처리

Open moonyoungCHAE opened this issue 4 years ago • 0 comments

리팩토링 대상 :

  • 429 too many req 문제에서 proxy를 queue로 처리하면 429 문제가 해결되지 않을까 싶어서 시도해봤으면 좋겠음
  • proxy를 random으로 돌리다 보니 같은 proxy로 여러 번 req를 보낼 수도 있을 것 같음
  • queue로 돌리면 이런 경우를 방지할 수 있음
  • 둔덩 말로 429가 나왔다가 안나왔다가 했다고 함

예상 공수 기간 :

특이 사항(optional) :

moonyoungCHAE avatar Sep 16 '20 03:09 moonyoungCHAE