*Drive*- Здесь рулят padonki

*Drive* - Counter Strike Source
It is currently 17 Jan 2019, 08:26

All times are UTC + 3 hours [ DST ]




Post new topic Reply to topic  [ 2 posts ] 
Author Message
PostPosted: 04 Dec 2008, 00:31 
Offline
padonki
User avatar

Joined: 14 Aug 2006, 20:43
Posts: 3657
Location: Солнцево
Has thanked: 9 times
Have thanks: 45 times
Бывает, что хочется иметь локальную копию какого-то сайта, чтобы можно было её просматривать, не подключаясь к Интернет, или чтобы сохранить её на будущее, на случай, если «оригинал» исчезнет.

Сделать это легко. Я часто использую скрипт siteget, написанный Джильсом Орром. По сути это всего лишь вызов программы wget c «правильным набором опций», однако вводить две строчки опций каждый раз лень :)

Итак,

* создайте скрипт
Code:
#!/bin/bash
#
#   siteget - Use wget to retrieve a website
#
if [ "$#" -ne "1" ]
then
   echo "$(basename ${0}) <URL>"
   echo ""
   echo "Get a website or book on the web using wget.  It's a one-liner, but"
   echo "it uses a lot of options, so I put it in a script.  Takes one option,"
   echo "a top-level URL."
   exit 1
fi

# --mirror gives infinite recursion, follows links ...
# --convert-links converts links for local viewing
# --no-verbose is a relatively quiet (but not silent) mode
# --no-parent won't traverse up the tree - don't know how this combines with
#    "page-requisites," but I hope the latter wins ... (seems to work well)
# --page-requisites get images (inline OR external) for local viewing
# --user-agent sets a user agent string because some sites send empty pages if
#    they don't like wget, so I use the string for what I'll be viewing with
#
wget --mirror --convert-links --no-verbose --no-parent --page-requisites \
   --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1}

* поместите его в одно из мест, перечисленных в переменной окружения $PATH (я обычно держу такие вещи в ~/bin), и сделайте скрипт исполняемым (chmod a+x ~/bin/siteget)
* скачивайте любые сайты одной командой: $ siteget АДРЕС_САЙТА.


Например, чтобы получить локальную копию своего любимого сайта, я выполняю

$ siteget http://fsb.ru/


После этого в текущем каталоге появляется подкаталог fsb.ru/. Его можно посмотреть любимым браузером (например, Firefox):

$ firefox fsb/index.html


В большинстве случаев полученная копия вполне функциональна.

Те же, кто не хотят возиться со скриптом, могут использовать wget напрямую:

$ wget -m -k -nv -np -p --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" АДРЕС_САЙТА



Для ограничения глубины скачивания можно ещё добавлять опцию -l глубина_ссылок. А при работе с плохим или ненадёжным соединением пригодятся опции -c -t 0.

подтырил у sovety.blogspot.com

_________________
Моя характеристика с детского сада: Хорошо кушает, спит, гуляет! Прошло много лет, ничего не изменилось.
Image


Top
 Profile  
 
PostPosted: 17 Aug 2012, 11:45 
Offline
padonki
User avatar

Joined: 14 Aug 2006, 20:43
Posts: 3657
Location: Солнцево
Has thanked: 9 times
Have thanks: 45 times
КОманда для скачивания одной директории :

Code:
wget --continue --recursive --level=1 http://www.сайт.ru/music/директория



А если надо скачать определённые типы файлов добавить в строку :

Code:
-A ".mp3,.bsp,.jpg"


типа вот так :
Code:
wget -A ".mp3" --continue --recursive --level=1 http://www.сайт.ru/music/директория

скачать из директории только музыкальные файлы...

_________________
Моя характеристика с детского сада: Хорошо кушает, спит, гуляет! Прошло много лет, ничего не изменилось.
Image


Top
 Profile  
 
Display posts from previous:  Sort by  
Post new topic Reply to topic  [ 2 posts ] 

All times are UTC + 3 hours [ DST ]


Who is online

Users browsing this forum: No registered users and 2 guests


You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot post attachments in this forum

Search for:
Jump to:  


Powered by -=PadonaK=- ®, Forum Drivesource.ru, Статситика игрового ресурса *Drive* HLstatsX, Система забаненых игроков Sourcebans

drivesource.ru ® 2006-2019