GoogleBooks / Цусимские форумы

Глокий Куздр · 13.05.2009 14:19:06

О наболевшем.

Я думаю сам сабжевый ресурс в представлении не нуждается, и то, сколькие вкусности там лежат ни кому объяснять не надо. Проблема в том, что подавляющее большинсво этих самых вкусностей в лучшем случае доступны в качестве ограниченного просмотра (а чтобы сохранить просмотренные страницы хотя бы в виде отдельных картинок нужно неслабо изощриться). Была в своё время программка Google Books Downloader, которая презрев копирайты извлекала пэдэфки только в путь (пытливый ум библиофилов не стоял на месте)), но вскоре гугл поменял систему защиты, и почти 100 тысячь скачавших данный софт резко обломились и загрустили. Я узнал о данном программном продукте уже после того, как лавочка прикрылась, и поэтому мне грустно вдвойне, - а прикоснуться к вечному, чистому, светлому по прежнему очень хочется. Кто виноват - понятно. Остаётся вопрос - что делать?!

И тут есть один ньюанс...

Итак, существует известный ресурс http://www.archive.org/, который объединяет всякие там федеральные программы и прочая, используя который можно абсолютно легально скачивать оцифрованные старые книги (некоторые из которых я уже выкладывал). Только треть книг выдаваемых поиском аппелированы непосредственно к электронным фондам американских и канадских университетов, остальные к - "ГуглБукс". И вот тут-то есть инстересны момент. На примере:
1) Ищем старого-доброго Вильсона: Нашли . Как видно только второй том - "университетский", в то время как первый есть только на Гугле.
2) Нам нужен первый том. Жмём на ссылку и обнаруживаем что при нажатии на "PDF on Google.com" (в университетском случе просто "PDF", и всё качается без проблем), - мы попадаем на соответствующий профайл этого издания на сайте Гугл...Где эта книга даже для просмотра закрыта! Т.е. пользователь максимум что может - это полюбоваться на библиографическую карточку.
3) Но не всё так плохо. На "архив орг" жмём не "PDF on Google.com", а нижнюю сторку: "All Files: HTTP", и - о чудо!
Видим такую картину и спокойно качаем.
Вопрос - как архив.рог это делает?!! Почему через этот сайт можно качать с гугла некопирайтные книги столетней давности, в то время как на самом гугле они полность закрыты?
Единственное что мне приходит в голову, - так это то, что для простого I.P. из восточной Европы гуглем всё закрыто, в то время как американским I.P. - "можно", и имеено от них идёт запрос в случае скачки через archive.org.

Ёпрст, "излил"

Так у кого-нибудь есть соображения по этому поводу? Может быть есть какой-то рецепт, для скачки хотя бы допотопных книжек непосредственно с гугла? А то я ещё понимаю, - свежие издания (причём их-то как раз можно пощупать), но старые-то книги зачем "закрывать"? Этот копирайтный маразм просто "вымораживает"...

NMD · 13.05.2009 22:28:19

Эвмел написал:
Оригинальное сообщение #65512
Так у кого-нибудь есть соображения по этому поводу?

Эта фигня будет длиться как минимум до вступления в силу соглашения Гугла с гильдией авторов. имхо.

Cyr · 14.05.2009 03:45:34

Эвмел написал:
Оригинальное сообщение #65512
Единственное что мне приходит в голову, - так это то, что для простого I.P. из восточной Европы гуглем всё закрыто, в то время как американским I.P. - "можно", и имеено от них идёт запрос в случае скачки через archive.org.

Всё так и есть. Пользовался анонимными прокси и всё качалось, а с России напрямую - облом. Причины такой дискриминации мне не известны. Очевидно мировой заговор ))

Глокий Куздр · 14.05.2009 09:08:26

Cyr написал:
Оригинальное сообщение #65851
Всё так и есть. Пользовался анонимными прокси и всё качалось, а с России напрямую - облом.

О! Спасибо за разъяснения. *THUMBS UP* Осталось разобраться как в опере пользоваться прокси (с ходу у меня не получилось разобраться)

Cyr · 16.05.2009 20:51:18

Эвмел написал:
Оригинальное сообщение #65866
Осталось разобраться как в опере пользоваться прокси (с ходу у меня не получилось разобраться)

Не выйдет. Это в сети надо искать анонимные прокси. Раньше пользовался одним, но ресурс прикрыли. Поспрошаю, что на сегодня рабочее.

Глокий Куздр · 16.05.2009 21:27:39

Cyr написал:
Оригинальное сообщение #66612
Не выйдет. Это в сети надо искать анонимные прокси. Раньше пользовался одним, но ресурс прикрыли. Поспрошаю, что на сегодня рабочее.

Спасибо, но я уже разобрался. Списков US proxy в сети оказывается навалом. Перепробовал штук десять разных, пока не нашёл самый шустрый. Когда залезаю на гугл - включаю. Кстати оказалось что практически всё что доступно для скачивания на гугле - есть и на архив.орг (но там ещё до кучи есть и более аккуратные версии тех же книг, - то есть не отбеленные, аккуратно "обрезанные", распознанные, без заклинаний о копирайте на первых двух страницах, но тяжелые, - вобщем, если есть выбор- скачивать старую книгу с гугла, или с архива, т.е. "университетскую", - выбор однозначно в пользу второго варианта ), А так, - никаких сенсаций, - я ждал от гула большего

Коллежский советник · 24.05.2009 01:00:11

Эвмел написал:
Оригинальное сообщение #66626
никаких сенсаций, - я ждал от гула большего

Тем не менее - дарёному коню...
На мой взгляд, если творчески подойти к процессу поиска, то поле для работы немеряное.
Я также с прокси кажется, разобрался, но возникла новая проблема.
Файлы больше 50 Mb (примерно) не скачиваются, процесс обрывается ближе к концу пути.
Что делать?
Подскажите, коллеги!
С неизменным уважением
Л.И.

Глокий Куздр · 27.05.2009 10:30:03

Коллежский советник написал:
Оригинальное сообщение #69984
Файлы больше 50 Mb (примерно) не скачиваются, процесс обрывается ближе к концу пути.
Что делать?

Такая же проблема, но с моим провайдером у меня потолок и того ниже - около 20 мб. Попробуйте fleshget. Вроде помогает (по крайней мере в отличие от download master'a он "видит" pdf-ку и честно начинает скачивать).
Кстати нашёл в сети способ выкакчивать издания в формате "ограниченного просмотра" (правда в виде жпегов). Операция не такая уж и простая, но к сожалению как показала практика вытягиваются только те страницы, которые собственно доступны для просмотра. Утилита может "цеплять" все страницы, но они толком не качаются, а скачиваются только доступные, хотя и это уже неплохо, - всяко лучше чем сначала просматривать, а потом ковырятся в кеше.

Олег · 16.06.2009 01:24:37

Давайте вываливать сюда названия книг, которые есть в гугле, но нет на файлообменниках
Nelson to Vanguard By D K Brown
Warship 2007 By John Jordan, Antony Preston, Stephen Dent
U.S. amphibious ships and craft By Norman Friedman
Naval Firepower By Norman Friedman, A. D. Baker, III, W. J. Jurens
British Destroyers & Frigates By Norman Friedman, A. D. Baker, III, Alan Raven
Warship vol3
Rebuilding the Royal Navy By David K. Brown, George Moore

Древнее сообщение, (2005 год) но местами вполне рабочее в части записи страниц на диск

Как обмануть Google print

Многим конечно же известен этот популярный сервис, однако для тех, кто с ним не знаком, даю краткую справку - этот сервис предоставляет просмотр нескольких страниц из нескольких миллионов книг. По умолчанию доступно всего несколько страниц, однако это можно легко обойти, и бесплатно получить всю книгу.

Необходимые инструменты: 1 (лучше 2) аккаунта на gmail, браузер mozilla firefox, в редких случаях 1-2 анонимных прокси сервера, програмное обеспечение для создания pdf/djvu, для эстетов программа распознавания отсканированных текстов.

Рецепт:

1) Заходим на официальный сайт Google Print .

2) Вводим название интересующей книги (типа Linux and Unix Shell Programming, или там Lisp in Small Pieces), или ключевое слово (типа Adobe Photoshop CS)

3) Найдя нужную книгу, щелкаем по ее названию

4) После открытия, слева от скана будет поиск по книге. Вводим туда (0|1|2|3|4|5|6|7|8|9). После данной процедуры будут доступны практически все страницы данной книги. Однако, по непонятной причине, иногда всетаки не все страницы - для таких страниц (а их очень мало) вводите в поиск номер страницы.

5) В Firefox заходим в меню Инструменты -> Информация о странице, переходим на вкладку Мультимедиа, выбираем нужное изображение, сохраняем. Повторяем действия.

6) Через некоторое время, рано или поздно обязательно наткнетесь на заблокированные (restricted) страницы. Обходится это элементарно - в верхнем правом углу жмем Sign out, и продолжаем копировать страницы. Когда заблокированные страницы встретятся вновь, обратно логинимся, и т.д.

7) Когда книга будет полностью скопирована на хард, собираем страницы в готовый pdf/djvu, при желании распознаем, и по возможности выкладываем в форум

Отредактированно Олег (16.06.2009 01:38:58)

Коллежский советник · 16.06.2009 11:56:39

Cyr написал:
Оригинальное сообщение #66612
Это в сети надо искать анонимные прокси. Раньше пользовался одним, но ресурс прикрыли. Поспрошаю, что на сегодня рабочее.

Пользовал вот эту штуку http://www.azproxies.com/
Получалось кое-что, временами. Теперь и оно угасло.
Может поспрошаете на работе?
С неизменным уважением
Л.И.

Глокий Куздр · 16.06.2009 13:43:54

Олег написал:
Оригинальное сообщение #80691
Warship 2007 By John Jordan, Antony Preston, Stephen Dent
Warship vol3

Ничего себе. Они же вроде только для ограниченного просмотра там есть. Или для полного тоже?
В режиме ограниченного просмотра вытащил примерно по трети каждого по методе похожей на ту, что вы привели. Больше не получается хоть тресни. Проверено. С 2004 года много воды утекло и Гугль защиту заимпрувил нехило.
Практика показывает что сначала как бы видно все страницы, но качаются только те что не "рестриктед". При повторном заходе хоть с какого IP видно и того меньше. На третий раз цепляются 15-17 страниц из трёх сотен. Повбывав бы

Коллежский советник написал:
Оригинальное сообщение #80743
Пользовал вот эту штуку

Я просто захожу например сюда , когда старый айпишник сдох или потерял в тонусе (слишком многие уже ипользуют), - выбираю посвежее, тестирую на "Цусиме" (русские сайты открываются - значит всё ОК), и вперед, на Гугль.

Олег · 16.06.2009 23:10:47

Эвмел написал:
Оригинальное сообщение #80768
Ничего себе. Они же вроде только для ограниченного просмотра там есть. Или для полного тоже?

С русского-ограниченного, а американского я вроде бы все страницы видел. Качать Варишипы пока не пробовал, но Фридмена по амфибийным кораблям те страницы, которых нет на бронарме вчера прекрасно качались. Я использую для этого Сафари (Мозилла просто падает при попытке открыть любую книгу с гугла).

Отредактированно Олег (16.06.2009 23:11:40)

Глокий Куздр · 16.06.2009 23:56:13

Олег написал:
Оригинальное сообщение #80921
С русского-ограниченного, а американского я вроде бы все страницы видел.

Интересно. По моим наблюдеям, хоть с какого IP (причем один варшип видно только с русского, другой - только с штатовского), доступны для просмотра чётко каждая четвертая страница (обложка, 1-2-6-10 и т.д.) в начале книги, и каждая шестая - во второй половине книги. Если вам удаётся видеть все страницы, - пожалуйста поделитесь технологией.

Олег написал:
Оригинальное сообщение #80921
Я использую для этого Сафари (Мозилла просто падает при попытке открыть любую книгу с гугла).

Хм. А я для вытягивания доступных для просмотра страниц, наоборот использую только файрфокс, т.к. для него есть спец. штучка, позволяющая делать это потоквым методом. Например сегодня попытался цепануть 19 century torpedoes. Утилита захватила все страницы (ну или точнее вычислила предполагаемые URL всех страниц). Но скачалась четко каждая четвертая (причём это именно те страницы, которые можно посмотреть в браузере). Все остальные - ошибка 404, т.е. фантомы. Хотел бы верить что эти страницы есть, но просто не получается подцепить, но чем дальше, тем больше я убеждаюсь, что их в принципе нет, т.е. никаких сокрытых от просмотра страниц не существует, а есть только доступные страницы. Если это не так, - буду очень признателен за информацию о том, как их "пощупать".

Олег · 17.06.2009 00:26:02

Эвмел написал:
Оригинальное сообщение #80931
Интересно.

Извиняюсь, ввёл вас в заблуждение (я гуглом только начал заниматься ) страницы у меня видны в разрешении 1000 на 600 точек вся страница (или порядка этого). Читать можно, но крайне неприятно.
Мозилла у меня висла старая, обновление помогло.

Олег · 17.06.2009 00:55:20

Можно вопрос? Ссылки на страницы выделяются, но как их качать я не понял. Как вы вызываете менеджер закачки FlashGet?

Глокий Куздр · 17.06.2009 01:22:23

Олег написал:
Оригинальное сообщение #80947
Ссылки на страницы выделяются, но как их качать я не понял. Как вы вызываете менеджер закачки FlashGet?

Если вы установили в файрфокс плагин FleshGot, то просто выделите страницы, и нажмите правую кнопку мыши. Будет столбик функций плагина, - нажмите Fleshgot selection, и выпадет окно менеджера закачки со списком URL, предлагающее всё это оприходывать. Жмёте ок, - и процесс пойдёт.
Кстати, как я понял вы узичили инструкцию по ссылке, которуя я приводил. Так вот всё что начинается с фразы "Временно останавливаем все закачки, выделяем их все и делаем Manage-Rename-Comment As Filename" и далее - не принимайте во внимание. Пускай качает как есть, без всяких переименований, т.к. в этом нет особого смысла (во fleshgete функцию Manage-Rename-Comment As Filename лучше запустить когда всё уже скачано, а то если делать как в инструкции, в разгар процесса, - у менеджера "упадёт"))) . Просто скачайте какую-нибудь программульку типа rename master, и в ней скачанным файлам одним махом присвойте расширение .jpg. Только и всего. Описанный же там метод, - довольно-таки кривой. Кстати Fleshget'ом пользоватся совсем необязательно. Я вот перешёл на привычный downloadmaster, и всё получается ничуть не хуже (в чём-то даже лучше, - он не нарушает порядок страниц). Главное не забудьте в менеджере поставить количество одновременных закачек равное единице.

Евгений Пинак · 17.06.2009 13:16:15

Эвмел написал:
Оригинальное сообщение #80931
Например сегодня попытался цепануть 19 century torpedoes. Утилита захватила все страницы (ну или точнее вычислила предполагаемые URL всех страниц). Но скачалась четко каждая четвертая (причём это именно те страницы, которые можно посмотреть в браузере). Все остальные - ошибка 404, т.е. фантомы. Хотел бы верить что эти страницы есть, но просто не получается подцепить, но чем дальше, тем больше я убеждаюсь, что их в принципе нет, т.е. никаких сокрытых от просмотра страниц не существует, а есть только доступные страницы. Если это не так, - буду очень признателен за информацию о том, как их "пощупать". ab

Увы! Часть страниц в каждой книге просто закрыта, и их увидеть нельзя ни при каком раскладе (по крайней мере, у меня не получалось).
Что касается предупреждения "Вы достигли предел просмотра данной книги", то это ограничение вроде действует в течение месяца, т.е. через месяц Вы сможете снова видеть все "разрешенные" страницы этой книги (и докачать те, что недокачали в прошлый раз).

И ещё - а к чему такие сложности при скачке, когда те же странички с Гугльбукс можно безо всяких плагинов и прочей фигни спокойно вынимать из кеша Интернет Эксплорера?

Глокий Куздр · 17.06.2009 14:47:21

Евгений Пинак написал:
Оригинальное сообщение #81036
Часть страниц в каждой книге просто закрыта, и их увидеть нельзя ни при каком раскладе (по крайней мере, у меня не получалось).

В этом как раз и загадка, - "закрыты", или их просто нет в природе на гугловском сервере.

Евгений Пинак написал:
Оригинальное сообщение #81036
Что касается предупреждения "Вы достигли предел просмотра данной книги", то это ограничение вроде действует в течение месяца

Месяц ждать совсем необязательно. При перемене IP, можно постучаться через сутки, - и всё будет видно. Иногда и того меньше.

Евгений Пинак написал:
Оригинальное сообщение #81036
И ещё - а к чему такие сложности при скачке, когда те же странички с Гугльбукс можно безо всяких плагинов и прочей фигни спокойно вынимать из кеша Интернет Эксплорера?

У меня опера, и ковырятся в её кеше - удовольствие ещё то (может в IE это проще, но его я воспринимаю как унтер-браузер, - на работе терпел его ровно пять минут, и установил нормальный (врочем такого рода препочтения носят скорее почти религиозный характер, нежели прагматический)). Вобщем - это на любителя, кому то не лень ковырятся в кеше, а кто-то ищет более лёгких путей (так сказать, автоматизация производства)

Евгений Пинак · 17.06.2009 16:00:59

Эвмел написал:
Оригинальное сообщение #81054
Евгений Пинак написал:

Оригинальное сообщение #81036
Часть страниц в каждой книге просто закрыта, и их увидеть нельзя ни при каком раскладе (по крайней мере, у меня не получалось).

В этом как раз и загадка, - "закрыты", или их просто нет в природе на гугловском сервере.

А какая разница? Если они по умолчанию закрыты для доступа "снаружи", то их физическое наличие может обрадовать разве что работников Гугльбукс

Эвмел написал:
Оригинальное сообщение #81054
Евгений Пинак написал:

Оригинальное сообщение #81036
Что касается предупреждения "Вы достигли предел просмотра данной книги", то это ограничение вроде действует в течение месяца

Месяц ждать совсем необязательно. При перемене IP, можно постучаться через сутки, - и всё будет видно. Иногда и того меньше.

Да? А у меня вроде подобная фигня не помогала. Впрочем, может, я просто с обеих IP очень быстро квоту выбрал

Эвмел написал:
Оригинальное сообщение #81054
Евгений Пинак написал:

Оригинальное сообщение #81036
И ещё - а к чему такие сложности при скачке, когда те же странички с Гугльбукс можно безо всяких плагинов и прочей фигни спокойно вынимать из кеша Интернет Эксплорера?

У меня опера, и ковырятся в её кеше - удовольствие ещё то (может в IE это проще, но его я воспринимаю как унтер-браузер, - на работе терпел его ровно пять минут, и установил нормальный (врочем такого рода препочтения носят скорее почти религиозный характер, нежели прагматический)). Вобщем - это на любителя, кому то не лень ковырятся в кеше, а кто-то ищет более лёгких путей (так сказать, автоматизация производства) ab

Полной автоматизации производства я пока не увидел, поскольку все доступные страницы с одной книги Вы всё равно за один проход не скачаете, и никакие плагины тут не помогут. Т.е. в тех же "19 century torpedoes" Вам сначала надо будет скачать одну пачку страниц, потом сменить IP и скачать вторую пачку, и т.д., пока не скачаете все доступные страницы.

Глокий Куздр · 17.06.2009 22:45:51

Евгений Пинак написал:
Оригинальное сообщение #81078
Да? А у меня вроде подобная фигня не помогала. Впрочем, может, я просто с обеих IP очень быстро квоту выбрал

Значит как повезёт

Евгений Пинак написал:
Оригинальное сообщение #81078
оскольку все доступные страницы с одной книги Вы всё равно за один проход не скачаете, и никакие плагины тут не помогут.

В том то и дело, что именно все доступные страницы скачиваются. В данном случае - каждая четвертая, и в один заход. Попробуйте гляньте 19 century torpedoes, -доступны именно каждые четвёртые страницы. Только при просмотре, всех их за один заход посмотреть не удастся скорее всего. В этом и смысл этих изгаляний с плагинами. Впрочем я ни в коем случае не агитирую. Опять же - это дело вкуса.

Олег · 17.06.2009 22:49:05

Эвмел написал:
Оригинальное сообщение #80950
Будет столбик функций плагина, - нажмите Fleshgot selection,

У меня Мозилла русифицированна, нажимал все варианты с Fleshgot ом - всё равно список файлов для закачки не вылезает. Продолжим эксперименты.
Я думаю, мои преимущества за счёт того, что у меня динамический IP-при каждом новом входе в инет он новый. А скаченные вами страницы имеют хорошее разрешение? У меня страница в высоту 700-1200 пикселов.

Глокий Куздр · 17.06.2009 22:58:16

Олег написал:
Оригинальное сообщение #81246
У меня Мозилла русифицированна, нажимал все варианты с Fleshgot ом - всё равно список файлов для закачки не вылезает.

Странно. А другой менеджер не пробовали?

Олег написал:
Оригинальное сообщение #81246
А скаченные вами страницы имеют хорошее разрешение? У меня страница в высоту 700-1200 пикселов.

Сейчас посмотрел - примерно 800х1100. Вобщем не фонтан, но видимо это предел.

Олег · 18.06.2009 01:00:40

Разобрался, файлы пошли закачиваться. Однако оказался в ситуации "дудочки и кувшинчика" - от своего IP я вижу мало страниц, а использую американскую проксю страницы вижу почти все, но кнопки "Download book" там нет. У вас так же?

Евгений Пинак · 18.06.2009 01:19:43

Эвмел написал:
Оригинальное сообщение #81245
В том то и дело, что именно все доступные страницы скачиваются. В данном случае - каждая четвертая, и в один заход. Попробуйте гляньте 19 century torpedoes, -доступны именно каждые четвёртые страницы.

Вот в том-то и прикол, что я перед тем, как написать - глянул, и прошёл ок. дюжины страниц с парой пропусков.

Глокий Куздр · 18.06.2009 08:48:55

Олег написал:
Оригинальное сообщение #81276
У вас так же?

Да нет вроде. А перезапускать страницу с книгой не пробовали?

Евгений Пинак написал:
Оригинальное сообщение #81280
Вот в том-то и прикол, что я перед тем, как написать - глянул, и прошёл ок. дюжины страниц с парой пропусков.

Блин, может я какой кривой прокси пользую (или криво его использую)... *hmm gmm* . Если говорить о начале книги интересуют страницы 1,3,4,5,7,8,9. Не могли бы вы повторить эксперимент, - видно их вам или нет?

Отредактированно Эвмел (18.06.2009 08:50:13)

#1 13.05.2009 14:19:06

GoogleBooks

#2 13.05.2009 22:28:19

Re: GoogleBooks

Эвмел написал:

#3 14.05.2009 03:45:34

Re: GoogleBooks

Эвмел написал:

#4 14.05.2009 09:08:26

Re: GoogleBooks

Cyr написал:

#5 16.05.2009 20:51:18

Re: GoogleBooks

Эвмел написал:

#6 16.05.2009 21:27:39

Re: GoogleBooks

Cyr написал:

#7 24.05.2009 01:00:11

Re: GoogleBooks

Эвмел написал:

#8 27.05.2009 10:30:03

Re: GoogleBooks

Коллежский советник написал:

#9 16.06.2009 01:24:37

Re: GoogleBooks

#10 16.06.2009 11:56:39

Re: GoogleBooks

Cyr написал:

#11 16.06.2009 13:43:54

Re: GoogleBooks

Олег написал:

Коллежский советник написал:

#12 16.06.2009 23:10:47

Re: GoogleBooks

Эвмел написал:

#13 16.06.2009 23:56:13

Re: GoogleBooks

Олег написал:

Олег написал:

#14 17.06.2009 00:26:02

Re: GoogleBooks

Эвмел написал:

#15 17.06.2009 00:55:20

Re: GoogleBooks

#16 17.06.2009 01:22:23

Re: GoogleBooks

Олег написал:

#17 17.06.2009 13:16:15

Re: GoogleBooks

Эвмел написал:

#18 17.06.2009 14:47:21

Re: GoogleBooks

Евгений Пинак написал:

Евгений Пинак написал:

Евгений Пинак написал:

#19 17.06.2009 16:00:59

Re: GoogleBooks

Эвмел написал:

Эвмел написал:

Эвмел написал:

#20 17.06.2009 22:45:51

Re: GoogleBooks

Евгений Пинак написал:

Евгений Пинак написал:

#21 17.06.2009 22:49:05

Re: GoogleBooks

Эвмел написал:

#22 17.06.2009 22:58:16

Re: GoogleBooks

Олег написал:

Олег написал:

#23 18.06.2009 01:00:40

Re: GoogleBooks

#24 18.06.2009 01:19:43

Re: GoogleBooks

Эвмел написал:

#25 18.06.2009 08:48:55

Re: GoogleBooks

Олег написал:

Евгений Пинак написал: