트위터 다운로드시 끝까지 읽어들이지 못하는 현상

[tdi2020]

안녕하세요 존경하는 선생님. 업데이트는 최신 버전으로 사용중입니다. https://twitter.com/jav_samurai 이 계정에 대략 5400개 넘는 av미디어 게시물이 있는데 다운로드 했을때는 847개만 받아집니다. (쿠키 넣은 상태, 맥시멈 다운로드는 ~99999 상태)

영상 파일이 많은 다른 계정들도 테스트삼아 해봤는데 왜인지 850개가 맥시멈으로 받아집니다. 현재 받은 파일들 확인해보면 2022년 8월 정도 이전건 못읽어오는 것 같네요. 해결 방법을 알려주시면 감사하겠습니다!

[tdi2020]

혹시싶어서 테스트를 해보았는데 위처럼 영상만 많이 있는 계정이 아닌, 사진과 영상이 섞여서 사진비율이 많은 계정 or 사진만 많은 계정은 정상적으로 10만개 이상 까지도 무리없이 읽어서 받는것 같습니다.

[KurtBestor]

Twitter 에서 다음과 같이 검색하면 어떻게 뜨나요?:

from:jav_samurai

[tdi2020]

각각 검색한 첫화면과 동영상 탭 눌렀을때 입니다. 일단 최근 게시물로 잘 뜨고 있는것 같아요. 혹시 이 계정 특성상 댓글로 품번정보 댓글로 달아두는것 때문인가 해서 살펴봤는데 안달린 다른계정도 850개 맥시멈이네요. 작년에 영상 만개짜리 계정도 전부 받아졌던걸 보면 서치밴이나 그런 문제가 아닐지도 모르겠습니다!

[KurtBestor]

로그인 하고 검색한 것 맞나요?

[tdi2020]

네 항상 로그인이 되어있어서 로그인하고 검색했습니다.

[KurtBestor]

전 로그인 하고 검색하면 안 뜨네요

이 현상에 대해 아시는 것 있나요?

[tdi2020]

이 문제에 관심을 가져주실 줄이야ㅠ 감사합니다. ~~아마 랜덤인거 보니 주기적으로 서치밴이 먹어 생기는 현상같습니다. 당시에는 검색이 되어서 의문이었는데, 지금은 검색해도 선생님과 똑같네요.~~

+수정)) 잘못된 피드백이어서 수정합니다. 이번엔 제가 앞에 from을 빼고 그냥 jav_samurai만 넣어서 검색했었네요. from 저것을 붙이니까 다시 잘 검색되어서 인기-최근-동영상 탭 각각 첨부파일로 첨부해놓습니다. 로그인 후 검색결과 입니다.

인기탭

최신탭

동영상탭

+추가)) 최초에 이 이슈 썼을 당시엔 해당 jav_samurai 계정의 경우 850개가 맥시멈이었는데 현재 테스트로 다운로드 시도해본 결과 전체 6천개 가량 중 2941개 받아집니다.

https://twitter.com/WarpsiwaAV 2만개 넘는 영상 https://twitter.com/seishidasu01 1만개 넘는 영상

위 계정 두개를 각각 테스트 해보았는데, 어떨 때는 2천개 까지는 읽어들이고, 어떨 때는 아예 읽지 못할 때도 있는 것 같습니다. 고정 값은 850개 인데, 850개까지 읽으면 읽는걸 멈추고 자동으로 다운로드를 시작해버립니다.

일일이 확인은 못해봤지만 10만개씩 멀쩡히 받아지는 계정이 있는걸로 봐서는 그 계정들은 서치밴에 아직 안걸렸다거나 할 지도 모르겠습니다.

만약 서치밴 때문이라면 더 이상 계정 끝까지 크롤링 할 방법은 없다고 봐야 맞을까요?