monitorrent icon indicating copy to clipboard operation
monitorrent copied to clipboard

не добавляет сериалы с LostFilm и не пишет логи (stdout) в docker

Open Shikaka opened this issue 5 years ago • 22 comments

Обновился с версии 1.1.10 до версии 1.1.11 запускаю в Docker #docker-compose version: '2' services: monitorrent: image: werwolfby/alpine-monitorrent network_mode: "host" environment: - MONITORRENT_DEBUG=True ports: - 6687:6687 volumes: - /opt/monitorrent/monitorrent.db:/var/www/monitorrent/monitorrent.db доступ к lostfilm был сохранен на версии 1.1.10. Ни одного сериала на 1.1.10 не было добавлено. На 1.1.11 Не смог добиться добавления ни одного сериала. Пробовал следующие ссылки: http://www.lostfilm.tv/series/The_Expanse http://www.lostfilm.tv/series/The_Expanse/season_4 http://www.lostfilm.tv/browse.php?cat-260 http://www.lostfilm.tv/series/Vikings http://www.lostfilm.tv/series/Lost_in_Space

Пробовал найти куда сервер пишет логи, но безуспешно

  • docker logs пуст
  • В базе таблица execute_logs похоже заполняется только при запуске уже добавленных торрентов
  • Внутри контейнера тоже не нашел чего то похожего на логи

Пробовал снести базу и с 0 настроить.

  • не выходит добавить авторизацию на lostfilm.tv

Shikaka avatar Dec 29 '19 12:12 Shikaka

Больше даже хочется понять где же смотреть логи :(

Shikaka avatar Dec 29 '19 12:12 Shikaka

Сейчас не добавить сериалы с лоста по причине https://github.com/werwolfby/monitorrent/issues/326

Логирование в вебке есть ? http://localhost:6687/#/logs

Akior avatar Dec 29 '19 18:12 Akior

Спасибо за ответ.

Да, это логгирование я нашел. Но оно работает только для уже добавленных торрентов. У меня проблема на этапе добавления (не активна кнопка ADD, не меняются поля диалога)

Я руками пробовал прописать в базу раздачу, но ошибку #326 так и не словил. просто писал Error. Видимо что-то не так добавил.

PS как временное решение использую rutor.info, где дублируют раздачи лоста.

Shikaka avatar Dec 30 '19 07:12 Shikaka

а у Вас случаем РКН до лоста не добрался ? Во время добавления, monitorrent делает запрос в лост, и парсит название сериала rus/eng. Только после этого кнопка ADD будет активна

Akior avatar Dec 30 '19 07:12 Akior

нет. Проверял elinks - сайт открывается.

Shikaka avatar Dec 30 '19 10:12 Shikaka

Аналогичная проблема. Решение из #326 не помогает.

lonsdaleite avatar Dec 31 '19 01:12 lonsdaleite

Cloudflare там добавили... Обойти надо

dronbi4 avatar Jan 04 '20 10:01 dronbi4

@dronbi4, просто в #326 пишут, что то решение помогает в обходе Cloudflare. Тут же то решение не помогает, а логов нет вообще. И еще теперь check в настройках показывает "Connection successful" при любом пароле.

lonsdaleite avatar Jan 04 '20 11:01 lonsdaleite

присоединяюсь, применил решение #326 - думал поможет, но по итогу просто молча ничего не качает с лоста и не получает данные, и не выводит ошибок. В глобальном логе тоже все красиво - проверка авторизационных данных для лоста, ок, проверка эпизода - типа как его нет вообще.

Ну и отдельно - пришлось раскурочить весь образ, так как запускаю это все в докере.

korableff avatar Jan 08 '20 19:01 korableff

присоединяюсь, применил решение #326 - думал поможет, но по итогу просто молча ничего не качает с лоста и не получает данные, и не выводит ошибок. В глобальном логе тоже все красиво - проверка авторизационных данных для лоста, ок, проверка эпизода - типа как его нет вообще.

Ну и отдельно - пришлось раскурочить весь образ, так как запускаю это все в докере. Вот проверка эпизода как раз и попадает в cloudflare ddos protection. в файле lostfilm.py добавьте в функцию

    def get_download_info(self, url, cat, season, episode):

строку до (сохраняя отступы)

    download_redirect = scraper.get(download_redirect_url, headers=self._headers, cookies=cookies,**self.tracker_settings.get_requests_kwargs())

строка:

    print(download_redirect_url)

и строку после (сохраняя отступы)

    download_page_url = meta_content.split(';')[1].strip()[4:]

строка:

    print(download_page_url)

Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста

Akior avatar Jan 08 '20 19:01 Akior

Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста

Как это сделать для докер инстанса?

korableff avatar Jan 09 '20 17:01 korableff

Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста

Как это сделать для докер инстанса?

По идее добавить переменную среды "MONITORRENT_DEBUG=True" и сделать docker logs ... но у меня это не работает. в лог ничего не пишется все равно.

Shikaka avatar Jan 09 '20 17:01 Shikaka

я бы предложил на период теста установить мониторрент без докера и проверить. Фактически запуск дебага такой: python3 server.py --debug

Akior avatar Jan 09 '20 18:01 Akior

поставил с исходников девелоперскую сборку.

При добавлении с лостфильма теперь вижу 2 строчки в логе

DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): www.lostfilm.tv:443 DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None напрямую нормально открываю адрес https://www.lostfilm.tv/series/The_Mandalorian/seasons

Shikaka avatar Jan 09 '20 18:01 Shikaka

если сделать curl https://www.lostfilm.tv/series/The_Mandalorian/seasons то попадаю на Cloudflare

elinks https://www.lostfilm.tv/series/The_Mandalorian/seasons показывает ошибку ssl :(

Shikaka avatar Jan 09 '20 19:01 Shikaka

если сделать curl https://www.lostfilm.tv/series/The_Mandalorian/seasons то попадаю на Cloudflare

elinks https://www.lostfilm.tv/series/The_Mandalorian/seasons показывает ошибку ssl :(

В таком случае примите фикс 326 но замените все requests на scraper. т.е requests.get >> scraper.get

Akior avatar Jan 09 '20 19:01 Akior

взял сборку из https://github.com/shemanaev/monitorrent/tree/fix/lostfilm результат тот же... видимо фикс нацелен только на чекалку уже готовых раздач.

пошел sed'ать весь проект.

Shikaka avatar Jan 09 '20 19:01 Shikaka

DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): www.lostfilm.tv:443 DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None DEBUG:urllib3.connectionpool:Resetting dropped connection: www.lostfilm.tv DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None RuntimeError("Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.",) Traceback (most recent call last): RuntimeError: Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.

видимо не все так просто как казалось :(

Shikaka avatar Jan 09 '20 19:01 Shikaka

Пересоздал информацию о логине/пароле - помогло... скрапер заработал.

@Akior спасибо за помощь. Буду ждать когда патч из #326 приедет на master

Shikaka avatar Jan 09 '20 19:01 Shikaka

Запустил мониторрент без докера, поборол все ошибки при установке и запуске, заменил в плагине лостфильма все вызовы requests на scraper и получил новую ошибку

RuntimeError: Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.

по комментарию @Shikaka заново попытался залогиниться на лостфильме но получал ту же ошибку о рекапче.

Перезапустил мониторрент и еще раз попытался перезайти в лостфильм - та же ошибка, ввел неправильные логин и пароль - ошибка, сохранил их и перезапустил мониторрент и указал правильные данные в авторизации в лостфильме - успешно, после этого заработала проверка эпизодов, но добавление нового сериала приводит опять к ошибке рекапча.

В любом случае @Shikaka @Akior спасибо!

Дополнено. У меня все это добро работало через прокси через тор, поменял прокси на другой - заработало все как нужно!

korableff avatar Jan 10 '20 17:01 korableff

Дополнено. У меня все это добро работало через прокси через тор, поменял прокси на другой - заработало все как нужно!

Мне видимо тоже придется искать прокси. потому что через tor добавление и чек заработали, но трекер лоста не выдает сидов :(

Shikaka avatar Jan 10 '20 17:01 Shikaka

UPD про "Cloudflare reCaptcha detected" тоже сегодня не добавился сериал, пока не зашел в настройки и не нажал "check" видимо ему надо менять куки логина почаще теперь

Shikaka avatar Jan 10 '20 17:01 Shikaka