Как удалить сайт из интернет-архива Wayback Machine

Как удалить сайт из интернет-архива Wayback Machine

Интернет-архив, Wayback Machine — портал, сохраняющий базы с историей сайтов.

Роботы архива периодически обходят и индексируют сайты в интернете, которые они заносят в свою базу. Некоторые сайты могут долго не попадать в веб-архив, хотя со временем, вероятнее всего они там будут. Но чтобы не ждать, можно самостоятельно добавить URL страниц своего ресурса в интернет-архив.

Копии сайтов в веб архиве выглядят по разному, некоторые ресурсы отражаются корректно, другие — нет.

Wayback Machine — своего рода «машина времени», где можно увидеть как выглядел тот или иной сайт в прошлом. Не только увидеть, но и восстановить страницы если необходимо.

Возможно кто-то не желает, чтобы его сайт находился в базе архива и желает его удалить.

Лучший способ запретить сохранять в интернет архиве страницы сайта — это прописать в файле robors.txt запрещающую директиву:

User-agent: ia_archiver

 Disallow: /

 

Директива работает — проверено. Но если существуют сомнения, можно подстраховаться и добавить в файл .htaccess запись:

<Files 403.shtml>

order allow,deny

allow from all

</Files> 

SetEnvIfNoCase User-Agent ia_archiver bad_bot 

Order Allow,Deny

Allow from all

Deny from env=bad_bot

 

 

Страницы сайта не будут сохраняться в интернет-архиве, а уже имеющиеся скоро удаляться из базы.

 ***

Сохранить копию сайта в веб архив Internet archive Wayback Machine

Как обновить компьютер с Windows 7 до Windows 10