?

Log in

No account? Create an account

Забанили на Гутенберге - АКАПУЛЬКОПСИС NOW!

Jan. 9th, 2016

01:29 am - Забанили на Гутенберге

Previous Entry Share Next Entry

Приспичило скачать с gutenberg.org много книг из одной рубрики. Сочинил скрипт, отладил, запустил. Несколько файлов скачались, а потом Error 403. Нельзя, оказывается, качать много сразу, много за день и вообще автоматизировать это дело. Надеюсь, помилуют через 24h, а то обидно как-то.

Оригинал записи на dreamwidth.org.

Comments:

[User Picture]
From:alexanderr
Date:January 9th, 2016 02:49 am (UTC)
(Link)
ну значит скрипт не совсем отладил ;-)
отлаженный скрипт бы делал задержки
на случайные интервалы времени, и качал бы
медленно. например, по одной книге в день.
впрочем, по одной книге можно и без скрипта.
вот такой парадокс ;-)
(Reply) (Thread)
[User Picture]
From:palindromer
Date:January 9th, 2016 04:32 pm (UTC)
(Link)
Так кто ж знал, что там банят за такое. Вернее, можно было догадаться, но большими красными буквами об этом не написано на главной странице, вот я и понадеялся что обойдется.
(Reply) (Parent) (Thread)
[User Picture]
From:sbobrovsky
Date:January 9th, 2016 05:31 pm (UTC)
(Link)
На Гутенберге, Карл! Никогда бы не поверил. Хотя и на торрентских сайтах могут забанить, если слишком много утаскиваешь и не раздаёшшь.
(Reply) (Thread)
[User Picture]
From:palindromer
Date:January 9th, 2016 05:40 pm (UTC)
(Link)
Ну их тоже можно понять, каналы то не резиновые, а желающих почтитать видимо хватает.
(Reply) (Parent) (Thread)
[User Picture]
From:woodenfriend
Date:January 11th, 2016 08:08 am (UTC)
(Link)
на чём скрипт?
когда мне доводится автоматизировать какие-то манипуляции связанные с данными из интернетов, увы, приходится браться за php.
(Reply) (Thread)
[User Picture]
From:palindromer
Date:January 11th, 2016 08:39 am (UTC)
(Link)
На питоне. Я нашел потом другой ресурс, где накачал гигабайта полтора, пока не решил что хватит. Жаль, там не так удобно как на Гутенберге, где по ссылкам до нормальных текстовых файлов добраться можно. Мне же пришлось по страницам ходить и из div'ов html выковыривать, да потом конвертировать еще (текст немецкий с умляутами всякими) Но зато интересно, плюс повод питон подучить немножко.
(Reply) (Parent) (Thread)
[User Picture]
From:woodenfriend
Date:January 11th, 2016 08:56 am (UTC)
(Link)
о да, изучение обусловленное практикой, да ещё и по собственному запросу - это лучший из возможных вариантов. я на питоне до сих пор не бе ни ме, потому что мне по ошибке подарили том 2 вместо тома 1 :))
(Reply) (Parent) (Thread)