Как удалить сайт из интернет-архива Wayback Machine

Интернет-архив, Wayback Machine — портал, сохраняющий базы с историей сайтов.

Роботы архива периодически обходят и индексируют сайты в интернете, которые они заносят в свою базу. Некоторые сайты могут долго не попадать в веб-архив, хотя со временем, вероятнее всего они там будут. Но чтобы не ждать, можно самостоятельно добавить URL страниц своего ресурса в интернет-архив.

Копии сайтов в веб архиве выглядят по разному, некоторые ресурсы отражаются корректно, другие — нет.

Wayback Machine — своего рода «машина времени», где можно увидеть как выглядел тот или иной сайт в прошлом. Не только увидеть, но и восстановить страницы если необходимо.

Возможно кто-то не желает, чтобы его сайт находился в базе архива и желает его удалить.

Лучший способ запретить сохранять в интернет архиве страницы сайта — это прописать в файле robors.txt запрещающую директиву:

User-agent: ia_archiver

Disallow: /

Директива работает — проверено. Но если существуют сомнения, можно подстраховаться и добавить в файл .htaccess запись:

order allow,deny

allow from all

</Files>

SetEnvIfNoCase User-Agent ia_archiver bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

Страницы сайта не будут сохраняться в интернет-архиве, а уже имеющиеся скоро удаляться из базы.

***

Сохранить копию сайта в веб архив Internet archive Wayback Machine

Как обновить компьютер с Windows 7 до Windows 10

Добавить комментарий