ReadmangaGrabber
ReadmangaGrabber copied to clipboard
Попробовать ускорить загрузку страниц с readmanga
Добрый день, я сразу спрошу прощения, что возможно не понял всех деталей реализации.
Но насколько я понял по коду, происходит чтение страницы с выставлением timeout для исполнения её js скрипта, который инициализирует и прочие значения html страницы со страницами манги.
Возможно, имеет смысл попробовать передать при запросе через localStorage значение readerMode="web". Это переключает страницу в режим чтения всех страниц на одной, из-за чего все ссылки, полагаю, станут доступны для scrapping-а гораздо раньше. На UI эта настройка находится в шестеренке справа от картинки страницы манги.
Но опять же, я оговорюсь, я не сильно шарю в GO и в том, как он отправляет запрос на html страницу, соответственно возможно там нет при запросе инстанса браузера, что позволило бы передать подобные настройки.
(Сам пробовал парсить на джава, там с постраничным чтением все плохо, т.к. используется парсер, котороый по сути создает инстанс брузера, к примеру Firefox, но при этом если переделать в мультистраничное чтение за один запрос то ситуация выглядит гораздо лучше).
Список всех страниц главы и так получается с одной html-страницы. Ускорить загрузку самих изображений? В теории конечно можно их все хоть одновременно загружать. На практике при таком поведении вы очень быстро словите временное, а то и постоянное, ограничение по IP на серверах изображений.
Понял, значит я всё же неправильно понял код. Прошу прощения. Тогда мой запрос невалиден.