ulozto-downloader
ulozto-downloader copied to clipboard
setnicka
Nefunkční stahování
Zdravím, dneska jsem si chtěl jít stáhnout něco většího, ale u všech souborů mi to háže chybu při stahování
ulozto-downloader https://uloz.to/file/H9sjRGjgnKh8/google-logo-png#!ZGWuAGR1Z2MzZwt5MGNmBJWuMQqvBTuYoxExpSD5FUOwAwVj
[Autodetect] tflite_runtime available, using --auto-captcha
Starting downloading for url 'https://uloz.to/file/H9sjRGjgnKh8/google-logo-png#!ZGWuAGR1Z2MzZwt5MGNmBJWuMQqvBTuYoxExpSD5FUOwAwVj'
Getting info (filename, filesize, …)
[TOR] TOR started
Cannot download file: Uloz.to returned status code 403, error: <!DOCTYPE html>
<html lang="en-US">
<head>
<title>Just a moment...</title>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=Edge">
<meta name="robots" content="noindex,nofollow">
<meta name="viewport" content="width=device-width,initial-scale=1">
<link href="/cdn-cgi/styles/challenges.css" rel="stylesheet">
</head>
<body class="no-js">
<div class="main-wrapper" role="main">
<div class="main-content">
<noscript>
<div id="challenge-error-title">
<div class="h2">
<span class="icon-wrapper">
<div class="heading-icon warning-icon"></div>
</span>
<span id="challenge-error-text">
Enable JavaScript and cookies to continue
</span>
</div>
</div>
</noscript>
<div id="trk_jschal_js" style="display:none;background-image:url('/cdn-cgi/images/trace/managed/nojs/transparent.gif?ray=7b6c8bc9efeb1b09')"></div>
<form id="challenge-form" action="/file/H9sjRGjgnKh8/google-logo-png?__cf_chl_f_tk=tQD0RYT2drK8z7aAjGvj0OnrSKOX6PezIcAR78vLI4E-1681313798-0-gaNycGzNCjs" method="POST" enctype="application/x-www-form-urlencoded">
<input type="hidden" name="md" value="7BBnyetmnkeQ_wxMkXVz.9KJYzwUp0Qb5l2l4EMn3Cs-1681313798-0-ATm69RZ7s6oZFyPIfq2zviVIQOvNIjZ4XNFW91L9BSDRIM-iwfTYRsQnvV-LI23zMqL7uH76PQOcinqMJ9-7yjDilUTnkKI4u5FMe3PTPISoFMIJRZHkaZg3kK0ggfALztYs_ulqMLb5q3kYwsxZDkJfK9KgFAUetPTgPd4AnMfeGrR6EGQC2ZHP7CGx4W4V5bwYkoebs25UfFfS6eFig7CgnksFKy9baFxtRIeChelm7Ar7rEc1gNnCBiQuPUfqqkQnw43HkAxhjbUXP88bSS8LiOwEXjqmNbO5Xo_S2yjTzdESgJZFWbyW8CiVFpZxzNyvmb4HuSDd5iSXtfnaqxiiuUvTBOJsP91dAU-xeGC_Tz2qPcdPohXx81TsV7-0mlP0E9h0j6EV8x9FzQjHD4IP1RgK-rsBT88VwCYCnipMuPq8sUyNpW5r3lPdUtnBRq4EOjSRtzj0uQATE9VDW8JgFpSoZPK53xz9vFZPAcrWcyMWx8nPRn8cmmy0u918yfuq4M5ZVf6mbUCDdu7si-b-7RF0EZXKMOZBhOLJplmxeWf0IgCuG9Ps3JIq7B7E6xxWoTnsCqtpEz3EucNkr3W5Ea7UBrgcBM63PCmq2VeH4IfbbR0UbhCIKQouyoPQcd6SvID0PvSKmMf6_48pVhDmLOsLWWydU3VImVlyE7mvJqU0DjaF9LgDDdm2uaSWkZs-tmZP6DyTttJ8TOMQUM8I-skBTOBlEiaTGyUSRUUsFU9kFK6oCq8x50caVFrNAYwNvYkEGvVAFNNu5UfuPUR3943G5lSLdR79Rb7DWvaNzZC_VBVJV3a75-Z2hco-YrOXksoXzPGWnJ31iJ3bARqtikwVs1VQV3zeIFrXB5x129k4HW4zysdy3vast_51cQe2nuaqSpb7bwcf8HOW5DOJndcczEWfDRN8lXDTsf5OUF7SjhZLDEaMBxBtJkHT1LKFTJTQ1524Ps8hD2ILHEsJcFroSHewLHnFd51k76-p-vq4NWPmMIZb1xF-Hwx8XFkVHOov9KhSaYnyBE1DQrq5rRZ8648kTmy1V8K1AGhfzOesFfVxnzztVlY6muGHbsPyqrkfijWhPb0LFIefTG3VkuI-iv_oAYM6Ig9-wPvPIoc5ZP7-mZkrXblsk4tptcsjgCgabql9HzC3sAbZo-OTSLt8sP8xRujGiMJrQNaVqGH0hyVNyABgPcM-Eia6gtAWMi8G0O0xe9KofNapUUULOuxfZPiAVpOv3cxMosc3WeGLQ-ZNGjwYbd0SATHBwichZVm0dgZkT4U4yyDNV5Fsd2WoDSm3TLSM5aV92CYQkXOK9ScoBRfqg9BhfVzz6AWipKtiBDil_txzqvuzpkAo5zzrm-FcsJL-LczdDkIjWgxNDgkrNhwK75ZORTH0IqH08arxwJVyCvGdywGFg_1fGPiGupMyyoyoojHz8TMA-m0A3Xdc9waE0HA0RxZ9wz0eK6Zg4Xp0fFWAE5ez7wgEzE8bdPIrz1bwbwA9PvTBta2RfNVbAy2v-3pTK3rFoM_QhyEWzupIM41uaVfEjXvVudb4sKoB4hX_zxRTYdbL6q1YAJvjgoCpMFiUiIExQBrNbpmi8jfXe_I57ucuIv6GpYrKpEtoEWXOM4_UHvB8fq8KISFtaD4tAOHPFYzDrQY1lSoIpCEceW3QJBLF5ux8Ef2sk-fEn4Lh9SVM_B_2ehV-cNg7m-PCIMEIIXKuV_k615BkG3D3arZht7ZfDtevvnj86jnxZzhMogcofPY92j3ZtM5baxEbwXOTJoABwwwAraWCdcPR0Pduqxhusd1vwhKf67R53LuZNlxX4suQbrNsUxcKuzQJZ-IeNMQxURKUj_ga-WPaWFoxMsbQHmRfGDayEF9R283zkJgY1a6RNglS2OVOWa60B68PqXXcRPY_ulyzPAsKhkeCpggQehrWxQ9fUyb5Z5OlmxezkP10i8v5ucKktzT8hDa8GIodCUjRn0peq9sMSJQsDMhryDYxrGQTp2Wz0GRr9TWUtaqIUnpsa2YkVNuIGBOaMG-7x-lO3yQllVDRNTnpdBqVELkU5LjugJ0IVJEjDnwULNA0tV2WPUvrF_c8NcW9LGKvGACEUu3CizfUsxOrM6x7VVurpwsmn5E5Nue3cSN7wHe2nUmW_7xav06cXvHrxbetIh1ylXLrAOxLnKkDsm7czAEouFm7UF7o4pXKKncEnxej9oD87A2WMdBylWyGPjIJbovWAhNv1oWv49T1pynipC6i8lfSXPKUR7y0hRj8p4qU3OCYyxvK8y9ZY0Fg_ZdGcjHcoTKtMdbv5UN5wcvGz3GKDZCLJ7cBp8wTVjl_YGt58ooA9aQGtWTMJQpBze6aqUa6z2FHtaXoqap4o4o7HdQggJF7Ohnr35zi0UueTXNdvf6B2l7SWaGHBvcrnlzYNH72OA-A2Chku0_HbPOkx1WMyEDw8IR8eJ6x2txQOYKcKGdO5iaVadfDST1qs5aRZNbTrnghXle92VZaP4OI4PmixHm7kDMHmD6F5x85OZk6j7u9wBKHQWLLP0Oe3Rsi8Q">
</form>
</div>
</div>
<script>
(function(){
window._cf_chl_opt={
cvId: '2',
cZone: 'uloz.to',
cType: 'managed',
cNounce: '905',
cRay: '7b6c8bc9efeb1b09',
cHash: 'd4f6c2da112a486',
cUPMDTk: "\/file\/H9sjRGjgnKh8\/google-logo-png?__cf_chl_tk=tQD0RYT2drK8z7aAjGvj0OnrSKOX6PezIcAR78vLI4E-1681313798-0-gaNycGzNCjs",
cFPWv: 'b',
cTTimeMs: '1000',
cMTimeMs: '0',
cTplV: 5,
cTplB: 'cf',
cK: "",
cRq: {
ru: 'aHR0cHM6Ly91bG96LnRvL2ZpbGUvSDlzalJHamduS2g4L2dvb2dsZS1sb2dvLXBuZw==',
ra: 'cHl0aG9uLXJlcXVlc3RzLzIuMjguMQ==',
rm: 'R0VU',
d: 'BbWHn9UHw5+vsw89l003+tWwnqgsw4ocVGu0y846sFiTMZFuzlkQU8pdJjRlswNYCiN+iXDxmLaqCHRP191qBlGfol5alyhR6AZUGK2bIQk41QQdVCedAeKfkYCIzJLK6OqcPvI+Y5Sph72oScdFaRu2wg4SfXHd4yPkBmxF0hGtacNVePrLTw1t4ybeI09B3Rs9Vxo2TAWeJkHwHAmoK+8y7t29Homa45SqT8ZfFCMx28cRMJvFKMymQz95MnV54OOwKxpRzaTbwq1tUjsIXBEBgckneZpxnrwJAU2FeUbCHJbcLQnWGJLpwVnnCwdmFSj4XfkF+0d0UXTPUfo+7pLvI70reeY1gaNtwsPbZ/GwF7wFU6hEyMRejezsehoRQepSCGrk75y/2ScXqlLWDQd1tG8e/BLj9kyPm9UPksQJ1E39cM+R0tc8evo94dRO1RWrt3B0IQegA0qwAUaN15kPKU1MiF3KBY2i+2exwKZd7+h21h+LIa0S4o/q2moR6g33wp6HSLGROo+08n7DtiBPcI7l//nGMvCZpxNTMrz9JnObQhp9Nh3WVtEaSLO0',
t: 'MTY4MTMxMzc5OC43MDMwMDA=',
m: 'bczx1lfTZctWcnlhUzYPpRumxRyZa1oFYe2sTqI02n4=',
i1: 'dLFrc0AEDQ/0laJed6tuYg==',
i2: 'fJAOKwqhjrGuip7VaVPqRQ==',
zh: 'H6H5rT46MdJEduO2EFVWUYu6Mz0W/6o6lKBs5jFOnDc=',
uh: 'SLdVolODg++SO356HusO5I/hbfOpiiOxQXj62i/MUkA=',
hh: 'AZxN1L+Nck6+Yo5cCT418B4s2dJxrgUeCciQcMYDIbA=',
}
};
var trkjs = document.createElement('img');
trkjs.setAttribute('src', '/cdn-cgi/images/trace/managed/js/transparent.gif?ray=7b6c8bc9efeb1b09');
trkjs.setAttribute('alt', '');
trkjs.setAttribute('style', 'display: none');
document.body.appendChild(trkjs);
var cpo = document.createElement('script');
cpo.src = '/cdn-cgi/challenge-platform/h/b/orchestrate/managed/v1?ray=7b6c8bc9efeb1b09';
window._cf_chl_opt.cOgUHash = location.hash === '' && location.href.indexOf('#') !== -1 ? '#' : location.hash;
window._cf_chl_opt.cOgUQuery = location.search === '' && location.href.slice(0, location.href.length - window._cf_chl_opt.cOgUHash.length).indexOf('?') !== -1 ? '?' : location.search;
if (window.history && window.history.replaceState) {
var ogU = location.pathname + window._cf_chl_opt.cOgUQuery + window._cf_chl_opt.cOgUHash;
history.replaceState(null, null, "\/file\/H9sjRGjgnKh8\/google-logo-png?__cf_chl_rt_tk=tQD0RYT2drK8z7aAjGvj0OnrSKOX6PezIcAR78vLI4E-1681313798-0-gaNycGzNCjs" + window._cf_chl_opt.cOgUHash);
cpo.onload = function() {
history.replaceState(null, null, ogU);
};
}
document.getElementsByTagName('head')[0].appendChild(cpo);
}());
</script>
</body>
</html>
Terminating download. Please wait for stopping all threads.
Download terminated.```
ulozto-downloader --version
3.4.1
Děje se mi s verzí 3.4.1. Verze 3.3.1 tento problém nemá - ale tam selhává captcha solver - teď mám třeba Ok 2 / 237 a pořád se snaží. To byl důvod proč jsem u sebe zkusil update na 3.4.1.
Tý captche se v 3.3.1 moc nedaří - výsledek byl
[Link solve] CAPTCHA answer 'rufl' (timeout 30)
[Ok: 9 / 1831] :( [Badcp: 3 Limited: 3 Censored: 2 NetErr: 3]
Nevím jakou jsem měl verzi před tím, ale captcha se mi nechtěla splnit vůbec, tak jsem zkusil update a ono tohle
Možná to souvisí s tím, že v téhle verzi se přes Tor pokouší ulozto-downloader stahovat i úvodní requesty, což obchází geoblocking v některých státech, ale vypadá to, že Ulozto začalo připojení přes Tor částečně blokovat.
Trochu podezřívám 86a6342433b60f94edcc2fca16dc932dc2da93c3 a pak taky nějaké změny na straně Ulozto.cz.
Zrovna nemám moc času se tomu věnovat, ale pokud na to nikdo nepřijde dřív, tak se k tomu dostanu možná v průběhu příštího týdne.
Děje se mi s verzí 3.4.1. Verze 3.3.1 tento problém nemá - ale tam selhává captcha solver - teď mám třeba Ok 2 / 237 a pořád se snaží. To byl důvod proč jsem u sebe zkusil update na 3.4.1.
Tý captche se v 3.3.1 moc nedaří - výsledek byl
[Link solve] CAPTCHA answer 'rufl' (timeout 30) [Ok: 9 / 1831] :( [Badcp: 3 Limited: 3 Censored: 2 NetErr: 3]
Mám uplně stejný problém. Stará verze 3.3.1 má posledních pár dní velké problémy s captchou. Nová verze 3.4.1 dostává 403 Forbidden na úvodní request. Navíc se mi zdá, že ignoruje parametr --temp
$ ulozto-downloader --temp /downloads https://uloz.to/file/WB4jdTwMMuxp/debian-11-6-0-amd64-netinst-iso
Starting downloading for url 'https://uloz.to/file/WB4jdTwMMuxp/debian-11-6-0-amd64-netinst-iso'
Getting info (filename, filesize, …)
[TOR] Unable to start TOR: Process terminated: Couldn't create private data directory "//.tor"
Mně nefungovala ani verze 3.3.1.
[TOR] TOR started Cannot download file: SOCKSHTTPSConnectionPool(host="'https", port=443): Max retries exceeded with url: //uloz.to/file/WB4jdTwMMuxp/debian-11-6-0-amd64-netinst-iso' (Caused by NewConnectionError('<urllib3.contrib.socks.SOCKSHTTPSConnection object at 0x00000250EB236FE0>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed')) Terminating download. Please wait for stopping all threads. Download terminated.
Možná to souvisí s tím, že v téhle verzi se přes Tor pokouší ulozto-downloader stahovat i úvodní requesty, což obchází geoblocking v některých státech, ale vypadá to, že Ulozto začalo připojení přes Tor částečně blokovat.
Trochu podezřívám 86a6342 a pak taky nějaké změny na straně Ulozto.cz.
Zrovna nemám moc času se tomu věnovat, ale pokud na to nikdo nepřijde dřív, tak se k tomu dostanu možná v průběhu příštího týdne.
Nezda sa mi, ze by to bolo tymto commitom. Pre istotu som pridal https://github.com/setnicka/ulozto-downloader/pull/158, ktory vracia povodnu funkcionalitu a novu zapina dedikovanym parametrom. U mna sa to kazdopadne chova rovnako nepredvidatelne v oboch pripadoch, takze tiez skor podozrievam zmeny na strane Ulozto.
Bude to ulozto, protože vžum teď taky přestal fungovat.
Vzum nefunguje už od začátku jara 2022, po létě byl opraven ale fungoval jen asi tyden nebo dva. A autor zřejmě už zlomil nad tím projektem hůl.
Bude to ulozto, protože vžum teď taky přestal fungovat.
Vzum nefunguje už od začátku jara 2022, po létě byl opraven ale fungoval jen asi tyden nebo dva. A autor zřejmě už zlomil nad tím projektem hůl.
Ve vzum nefungovala akorat captcha. Kdyz clovek vypnul automaticky vyplnovani a vyplnoval rucne, fungovalo vse ok - az do doby pred 4 dny, tj. presne ve stejnou dobu, kdy byl nahlasen problem i tady.
Asi to souvisí s tímhle https://developers.cloudflare.com/fundamentals/get-started/concepts/cloudflare-challenges/
Možná to souvisí s tím, že v téhle verzi se přes Tor pokouší ulozto-downloader stahovat i úvodní requesty, což obchází geoblocking v některých státech, ale vypadá to, že Ulozto začalo připojení přes Tor částečně blokovat.
Trochu podezřívám 86a6342 a pak taky nějaké změny na straně Ulozto.cz.
Ad geoblocking a Tor - z mych zkusenosti z TorBrowseru nejde z uloz.to stahovat ani v neblokovanych nodech, ale alias ulozto.net lze navstivit i z geoblokovaneho nodu a z aliasu zachovajto.pl lze i stahovat.
Hostname zachowajto.pl ulozto.sk funguji dale.. staci tedy pouzit vzdy jedno z nich.. https://gitlab.com/vladodriver/uld_go/-/commit/8e569c48dfdbb2eddeb30053fed2cd85d0f965b0
Takže pro laika - než se to opraví (pokud), tak adresu zadávanou upravit tak, že místo uloz.to nahradím za zachowajto.pl nebo ulozto.sk a ono to vezme. Právě také mi to nešlo se starou 3.3.1 - děsně pokusů dokola a pak jelo třeba jen 1 stahovací vlákno, což pak skoro ztrácí význam používat, tak jsem updatoval na 3.4.1 společně s Pythonem 3.11 a chyba jak se zde už uvádí - 403 a nebo podobné - blokováno, nenalezeno apod., takže zatím stačí to nahrazení adresy (části) a čekat a doufat. Je možné, že to je tedy vina UložTo a jejich blokování a mohou to zablokovat tak, že to již nepůjde obejít? Díky za info a za práci na aplikaci.
Edit: Jen dodám, že jsem zkusil stažení se změnou na zachowajto a jelo to, stejně to sice hodilo chybu nějaký TOR errorlog, ale stáhlo to.
Ten error.log na ploše obsahuje jen toto "Tor 0.4.7.13 (git-7c1601fb6edd780f) opening new log file.". TOR mám 12.0.4.
Jop, taky už mi to nejde :-(
Proto jsem svůj program neupravoval, protože jsem očekával tento výsledek v dohledné době.
Obávám se, že Ulož.to teď se snahou tvářit se spíše jako disk než jako místo pro sdílení souborů bude proti podobným stahovačům (které ale mimochodem nijak neporušují jejich docela krátké podmínky použití, ty jsem si mnohokrát pročítal) bojovat aktivněji. Možná někoho z nás napadne další způsob, jak zautomatizovat i tyhle nově přidané ochrany, ale obávám se, že to nebude vůbec lehké, bohužel :-(
Zatial by som to uplne nepochovaval. Skusil som narychlo naintegrovat https://github.com/VeNoMouS/cloudscraper (vid https://github.com/setnicka/ulozto-downloader/pull/163) a zatial to vyzera celkom nadejne.
Uplne 100% to zial nie je - obcas to hodi "Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version.", ale mozno niekto najde alternativny modul, ktory si s tym poradi.
Zatial by som to uplne nepochovaval. Skusil som narychlo naintegrovat https://github.com/VeNoMouS/cloudscraper (vid #163) a zatial to vyzera celkom nadejne.
Uplne 100% to zial nie je - obcas to hodi "Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version.", ale mozno niekto najde alternativny modul, ktory si s tym poradi.
? https://www.zenrows.com/blog/bypass-cloudflare-python#what-is-cloudflare-bot-manager
https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/
Oproti předchozímu stavu je stahování silně omezené ve své škálovatelnosti. Stále je ale použitelné a hlavně není třeba zadávat captchu ručně. Co mě nyní trápí, tak je že některé party se iniciují náhodně v jiném pořadí, než dříve. To způsobuje, že například 1. parta není iniciována, ale zbylých 9 ano. Pokud přes API posílám nekompletní soubor, tak to na základě 1. party selže, protože ji to potřebuje jako první.
Ale jinak většinu času je to stále použitelné.
@filo891
Zatial by som to uplne nepochovaval. Skusil som narychlo naintegrovat https://github.com/VeNoMouS/cloudscraper (vid https://github.com/setnicka/ulozto-downloader/pull/163) a zatial to vyzera celkom nadejne.
Tohle vypadá jako dobrá cesta, nebo aspoň dočasnén řešení. Mergnu to a vydám další verzi, ať je to alespoň nějak použitelné, díky moc za nápad a za pull request :)
Este som objavil https://github.com/FlareSolverr/FlareSolverr. Integracia s downloaderom a samotna ditribucia celeho dokopy je ale narocnejsia (vyzaduje to Docker, resp. binarku aplikacie) a aktualny release nepodporuje proxy cez Tor (riesi to ale jeden z merge requestov).
Toto se mi děje při aktuální verzi. První soubor se stahl třeba po 10 minutách. Nijak to asi fixnout nejde, což? Jinak naprosto super práce a díky za ní! Nejde mi o to něco stáhnout rychle, spíš stáhnout bez opisování captchy. Takhle si naprogramuju frontu a jdu pryč dělat něco lepšího. JDownloader, kterej jde taky používat headless je overkill zbytečně.
Jsou chvíle, kdy tam request projde, a jsou chvíle, kdy ne :( Použitý scrapper umí obejít jen tu základní úroveň CloudFlare zabezpečení (v podstatě stránka s javascriptem, která se zobrazí divným requestům a na které je potřeba několik sekund počkat). Ale když je pak potřeba vyklikávat semafory, přechody a podobně, tak tam už pohoří.
Třeba včera, když jsem to testoval, prošel tak jeden ze 30 requestů. Teď, když jsem to zkusil, neprošel ještě žádný :-(
hmm... a napada ta nejake riesenie ako by sa to dalo opravit alebo party skoncila? :cry: