Як захистити свій вебсайт від проксі-дзеркал?

Що таке проксі-дзеркала?

Під час створення сучасних сайтів існує вразливість, яка дозволяє шахраям копіювати сайти і безкоштовно отримувати прибуток із їхнього контенту.

Такі проксі-дзеркала, тобто копії ваших сайтів, з’являються в Інтернеті, і, можливо, ви навіть про це не знаєте. Такі копії засмічують бази пошукових систем і створюють дублікати у результатах пошуку.

Яка основна мета проксі-дзеркал?

Безумовно, основна мета — отримання прибутку. Подібно до п’явок, ці нечесні люди заробляють на викраденні вашого трафіку доти, доки ваш сайт не буде захищений. Чесно кажучи, шахраї можуть легко клонувати тисячі сайтів за кілька днів, використовуючи лише проксі-скрипт, і робити їх доступними в Інтернеті. Якщо ваш сайт входить до топ-500 000 світових сайтів, то, швидше за все, його вже скопіювали.

Як проксі-дзеркала можуть вплинути на ваш сайт?

Без сумніву, якщо не вжити термінових заходів, клоновані сайти вплинуть на позиції оригінального сайту в пошукових системах, викрадаючи ваш цінний трафік і гроші. Як тільки з'являються сторінки з дубльованим контентом вашого сайту, пошукові системи реагують на це, штрафуючи за копії вашого оригінального сайту або навіть повністю видаляючи ваш сайт із пошукового індексу, у той час як клонований сайт продовжує працювати.

Як перевірити, чи був мій сайт скопійований?

Ось кілька найкращих способів виявити проксі-дзеркала:

1. Скопіюйте найпопулярніші URL-адреси вашого сайту і вставте їх у пошуковий рядок браузера. Щоб спростити роботу, додайте параметр типу inurl: перед URL-адресою, яку хочете перевірити.

Наприклад, для Google inurl:/category/3344/flowers

2. Використовуйте кілька онлайн-сервісів для виявлення плагіату, які допоможуть вам знайти скопійовані сайти. Просто візьміть текст або назву, включно з описом сайту, і перевірте їх через такі сервіси. Не використовуйте доменне ім’я, оскільки його могли змінити або видалити (майте на увазі, деякі спритні шахраї не тільки копіюють ваш сайт, але й перекладають описи іншими мовами).

Перші два сайти виявилися випадковими, але останній, із доменом .ru, є клоном третього сайту.

3. Google Search Console (Google Webmaster Tools) показує посилання на ваш сайт. Якщо ваш сайт отримав посилання на себе, то серед них може бути і клонований сайт.

4. Цей метод підходить людям з адміністративними навичками або тим, у кого є знайомі спеціалісти. Він потребує детального аналізу та об’єднання логів і підсистем за ознаками аномальної активності, враховуючи всю доступну інформацію, таку як запитувана URL-адреса, IP-адреса відправника, user-agent, cookies тощо. Це можна робити вручну. Але пам’ятайте, шахраї не сплять, тож робити це потрібно постійно. Крім того, аналіз є дуже трудомістким процесом. І навіть якщо ви гарний програміст або системний адміністратор, вам усе одно доведеться постійно стежити за станом системи і вносити зміни до сайту, щоб його не змогли скопіювати.

Що можна зробити проти дзеркальних сайтів?

1. Найпростіший спосіб — скарга (абюз). Для цього використовується протокол WHOIS для отримання інформації про власника доменного імені та провайдера Інтернету. Зазвичай ніхто не захищає шахраїв, тому з великою ймовірністю їх заблокують.

Але що робити, якщо доменів багато, IP-адреси змінюються кожні 5 хвилин (наприклад, через використання Tor), а хостинг-провайдер або реєстратор мають безвідмовну систему?

2. У такому випадку не обійтися без кваліфікованих системних адміністраторів. Hostiserver може надати цю послугу за доступними тарифами, включно з базовими пакетами. Крім автоматичного аналізу, наші технічні спеціалісти вручну перевіряють систему на наявність підозрілої активності, щоб запобігти клонуванню сайту. Іншими словами, якщо автоматична система щось пропустить, експерт виправить помилку, щоб таке більше не повторилося. Оскільки ми вже захищаємо багато сайтів, кількість IP-адрес у нашому чорному списку постійно зростає, забезпечуючи безпеку вашого сайту від усіх виявлених шахраїв.

Розглянемо такий приклад:

example.com 163.**.99.** - - [06/Dec/2017:07:32:20 +0000] "GET /search/1.html HTTP/1.1" 200 6656 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

У цьому випадку потрібно подивитися на IP-адресу запитувача (друге поле) та user-agent (останнє поле). Може здатися, що запит надійшов від Googlebot, але якщо уважно вивчити дані Google https://support.google.com/webmasters/answer/80553?hl=uk і виконати просту перевірку:

# host 163.**.99.** **.99.**.163.in-addr.arpa domain name pointer 63-**-99-**.rev.poneytelecom.eu.

Бачимо, що запит був надісланий не Googlebot'ом. Тож можна зробити висновок, що user-agent був підроблений. Принаймні це виглядає дуже підозріло. Далі потрібно перевірити домени, що використовують цю IP-адресу, і якщо їх багато та вони є клонами, тоді блокуємо IP і перенаправляємо весь трафік із цієї адреси кудись. Таке трапляється щодня, і шахраї вигадують тисячі нових способів обходити блокування IP-адрес.

Підсумки

Кожен сайт може бути повністю скопійований, особливо якщо він має великий потік трафіку і входить до списку топових сайтів світу. Недобросовісні люди не мають ані моральних, ані етичних принципів; їм байдуже, що саме надає чи продає ваш сайт. Вони можуть клонувати практично все, використовуючи списки найпопулярніших сайтів (наприклад, Alexa.com). Проксі-дзеркала крадуть ваш трафік і ваші гроші. Найкращий спосіб боротися з проксі-дзеркальними сайтами — це найняти справжніх експертів, які постійно моніторитимуть ваш сервер і миттєво реагуватимуть на захист сайту від шкідливих дзеркал.