*Drive*- Здесь рулят padonki
https://drivesource.ru/

Как скачать сайт к себе на диск целиком ?
https://drivesource.ru/viewtopic.php?f=15&t=784
Страница 1 из 1

Автор:  Padonak [ 04 дек 2008, 00:31 ]
Заголовок сообщения:  Как скачать сайт к себе на диск целиком ?

Бывает, что хочется иметь локальную копию какого-то сайта, чтобы можно было её просматривать, не подключаясь к Интернет, или чтобы сохранить её на будущее, на случай, если «оригинал» исчезнет.

Сделать это легко. Я часто использую скрипт siteget, написанный Джильсом Орром. По сути это всего лишь вызов программы wget c «правильным набором опций», однако вводить две строчки опций каждый раз лень :)

Итак,

* создайте скрипт
Код:
#!/bin/bash
#
#   siteget - Use wget to retrieve a website
#
if [ "$#" -ne "1" ]
then
   echo "$(basename ${0}) <URL>"
   echo ""
   echo "Get a website or book on the web using wget.  It's a one-liner, but"
   echo "it uses a lot of options, so I put it in a script.  Takes one option,"
   echo "a top-level URL."
   exit 1
fi

# --mirror gives infinite recursion, follows links ...
# --convert-links converts links for local viewing
# --no-verbose is a relatively quiet (but not silent) mode
# --no-parent won't traverse up the tree - don't know how this combines with
#    "page-requisites," but I hope the latter wins ... (seems to work well)
# --page-requisites get images (inline OR external) for local viewing
# --user-agent sets a user agent string because some sites send empty pages if
#    they don't like wget, so I use the string for what I'll be viewing with
#
wget --mirror --convert-links --no-verbose --no-parent --page-requisites \
   --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1}

* поместите его в одно из мест, перечисленных в переменной окружения $PATH (я обычно держу такие вещи в ~/bin), и сделайте скрипт исполняемым (chmod a+x ~/bin/siteget)
* скачивайте любые сайты одной командой: $ siteget АДРЕС_САЙТА.


Например, чтобы получить локальную копию своего любимого сайта, я выполняю

$ siteget http://fsb.ru/


После этого в текущем каталоге появляется подкаталог fsb.ru/. Его можно посмотреть любимым браузером (например, Firefox):

$ firefox fsb/index.html


В большинстве случаев полученная копия вполне функциональна.

Те же, кто не хотят возиться со скриптом, могут использовать wget напрямую:

$ wget -m -k -nv -np -p --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" АДРЕС_САЙТА



Для ограничения глубины скачивания можно ещё добавлять опцию -l глубина_ссылок. А при работе с плохим или ненадёжным соединением пригодятся опции -c -t 0.

подтырил у sovety.blogspot.com

Автор:  Padonak [ 17 авг 2012, 11:45 ]
Заголовок сообщения:  Re: Как скачать сайт к себе на диск целиком ?

КОманда для скачивания одной директории :

Код:
wget --continue --recursive --level=1 http://www.сайт.ru/music/директория



А если надо скачать определённые типы файлов добавить в строку :

Код:
-A ".mp3,.bsp,.jpg"


типа вот так :
Код:
wget -A ".mp3" --continue --recursive --level=1 http://www.сайт.ru/music/директория

скачать из директории только музыкальные файлы...

Страница 1 из 1 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/