ReadmangaGrabber icon indicating copy to clipboard operation
ReadmangaGrabber copied to clipboard

Попробовать ускорить загрузку страниц с readmanga

Open rodion2 opened this issue 10 months ago • 2 comments

Добрый день, я сразу спрошу прощения, что возможно не понял всех деталей реализации. Но насколько я понял по коду, происходит чтение страницы с выставлением timeout для исполнения её js скрипта, который инициализирует и прочие значения html страницы со страницами манги. Возможно, имеет смысл попробовать передать при запросе через localStorage значение readerMode="web". Это переключает страницу в режим чтения всех страниц на одной, из-за чего все ссылки, полагаю, станут доступны для scrapping-а гораздо раньше. На UI эта настройка находится в шестеренке справа от картинки страницы манги. Но опять же, я оговорюсь, я не сильно шарю в GO и в том, как он отправляет запрос на html страницу, соответственно возможно там нет при запросе инстанса браузера, что позволило бы передать подобные настройки. (Сам пробовал парсить на джава, там с постраничным чтением все плохо, т.к. используется парсер, котороый по сути создает инстанс брузера, к примеру Firefox, но при этом если переделать в мультистраничное чтение за один запрос то ситуация выглядит гораздо лучше).

rodion2 avatar Apr 21 '24 10:04 rodion2

Список всех страниц главы и так получается с одной html-страницы. Ускорить загрузку самих изображений? В теории конечно можно их все хоть одновременно загружать. На практике при таком поведении вы очень быстро словите временное, а то и постоянное, ограничение по IP на серверах изображений.

lirix360 avatar Apr 23 '24 19:04 lirix360

Понял, значит я всё же неправильно понял код. Прошу прощения. Тогда мой запрос невалиден.

rodion2 avatar Apr 24 '24 10:04 rodion2