Відкривати не можна закривати

На позиції сайту в пошукових системах впливають 2 типи факторів — внутрішні і зовнішні

Сьогодні поговоримо про деякі внутрішні

А саме про боротьбу з дубльованим контентом на сайті, зі сторінками, які не варто відкривати Гуглу для індексації

Є 2 типи сторінок, з якими треба щось робити:

1. Сторінки які дублюють повністю або частково контент цільових сторінок — сторінки пагінації, сторінки фільтрів, сортування, пошуку…. (цільовими сторінками назвемо всі сторінки, які ви хочете, щоб Гугл індексував)

2. Технічні сторінки — профіль користувача, адмінка, сторінка оформлення замовлення тощо

(Є ще третій тип — Непотріб. Але ці сторінки треба просто видалити з сайту.)

Такі сторінки треба якось позначати, щоб гугл зрозумів, що це певний чи повний дубль, або непотріб для його машин

Для чого це? 

Знову 2 цілі:

1. Щоб Гугл не відправив ваш сайт під санкції алгоритму Панда — який наказує, знижує ваш сайт в пошуку за дубльований, неякісний контент на сайті

2. Щоб бот Гуглу не витрачав час і сили на індексування непотрібних сторінок, а швидше і якісніше індексував цільові сторінки сайту (краулінговий бюджет), щоб пошукова вага сайту концентрувалася тільки на потрібних сторінках

Що і як треба і можна зкривати до індексації?

Для такої роботи використовуються наступні інструменти:

  1. Мета-Тег NOINDEX — на сторінках, які хочете закрити до індексації треба поставити тег NOINDEX Приклад —   
  2. Robots.txt  — непотрібні сторінки треба закрити в файлі Robots.txt Приклад —   , а ось посилання на Robots Промобуду https://www.promobud.ua/robots.txt
  3. Атрибут rel= «canonical» — на непотрібних (чи не зовсім потрібних, під питанням) для пошуку сторінках ставлять canonical на сторінку, яка є основною, першочерговою для індексу Приклад — 
  4. Ajax — за допомогою цієї технології можна закрити частини тексту від індексу, наприклад — частини текстів статей в списках, частини описів товарів. За допомогою Ajax користувач бачить контент, а Гугл не бачить. (Але останнім часом кажуть, що Гугл все більше йде в бік того, щоб бачити все, що бачить користувач — врахуйте це). Ось приклад закриття частинок тексту Аяксом  (це тут https://www.promobud.ua/announce/category/572/ )

Це основні способи

Перші 3 працюють зі всією сторінкою, а четвертим можна закрити певні частини сторінки.

Також певні частини сторінки, тексту на сторінці можна закрити тегом noindex (не плутати з мета-тегом noindex в першому пункті), але цей тег сприймає тільки Яндекс і Рамблер, а Гугл не працює з ним, тому не використовуйте його на своїх сайтах

Також, якщо у вас є декілька мовних версій на сайті, і контент на них не повністю перекладений, то роботу по «антидублюванню» робить правильне налаштування атрибуту hreflang, але це окрема історія — в наступних розсилках напишемо

Робота з вищевказаними інструментами на прикладі будівельного торгового порталу Promobud.ua:

Мета-Тег NOINDEX — встановлений на наступних типах сторінок:

  • на сторінках результатів пошуку https://www.promobud.ua/search/?q=%D0%B0%D0%BD%D0%B3%D0%B0%D1%80%D1%8B&area=price 
  • на сторінках сортування і показу в вигляді фото 
  • на сторінках прайс-рядка на основному домені і на субдоменах регіонів https://www.promobud.ua/uteplit_-angar-kachestvenno-i-nedorogo-p1189631.htm (для того, щоб контент окремих прайс-рядків індексувався тільки на сторінках субдоменів безпосередньо компаній)
  • на сторінках мультіфільтрів https://www.promobud.ua/tverdotoplivny_kotel.htm/filter=44889-57819/ 
  • на сторінках вибору міст і користувацьких виробників  — тому що: по першому у нас регіональні сторінки індексуються на субдоменах регіонів, а користувацькі виробники — це виробники створені користувачами, не модеруються, там буває сильна маячня і замість них у нас є затверджені виробники порталу
  • на сторінках кабінету-профілю користувача

В Robots.txt закриті всі технічні сторінки і продубльовані багато тих, що закриті через Мета-Тег NOINDEX. Чому варто дублювати? Щоб робот навіть не намагався туди заходити, щоб побачити, що там стоїть NOINDEX — облегшуємо роботу боту. Також варто робити навпаки — сторінки які закрили в роботсі додатково закрити через NOINDEX, тому що бот може зайти на такі сторінки по якимось посиланням на них пропустивши вказівку в Robots.txt . Ось тут гляньте все, що в Роботсі закрито https://www.promobud.ua/robots.tx

Атрибут rel= «canonical» — у нас стоїть на індивідуальних сторінках оголошень на субдоменах регіонів https://kharkov.promobud.ua/fanera-v-assortimente-vsya-ukraina-an320301.htm і канонічна сторінка для них це сторінка на основному домені https://www.promobud.ua/fanera-v-assortimente-vsya-ukraina-an320301.htm Таким чином ми кажемо Гуглу, що так ці сторінки мають однаковий контент, але краще індексувати з них ось цю сторінку https://www.promobud.ua/fanera-v-assortimente-vsya-ukraina-an320301.htm , а він вже сам приймає рішення яку взяти в індекс. Тобто канонікал — це не пряма вказівка і гарантія на 100% як індексувати, а рекомендація. Також канонікали ще можуть використовувати на сторінках фільтрів, сортування, на сторінках пагінації. Але на Промобуді ми фільтри (не мільтіфільтри) повністю відкрили для індесації, сортування закрили ноуіндексом. Сторінки пагінації теж відкриті для індексації на Промобуді з добавками певних слів до тайтлів, дескріпшенів, щоб виключити дублювання метатегів — таким чином ми намагаємось збільшити кількість індексування порталу за низькочастотниками. Як варіант рішення для сторінок пагінації — зробити там канонікали на першу сторінку з тими ж добавками до метатегів (сторінка 2, сторінка 3….) — дивіться по своєму сайту — наскільки в категоріях зі старінок пагінації можна витягнути низькочастотники, як на Промобуді. Сторінки пагінації — це взагалі може бути окрема тема для розмови (наприклад раніше були такі фішки як next/prev, але десь півроки тому Гугл сказав, що їх він вже давно не враховує — постфактум :))

Технологія Ajax на Промобуді використовується для закриття шматочків текстів в списках оголошень і статей

https://www.promobud.ua/announce/category/223/

https://reklama.promobud.ua/

https://www.promobud.ua/articles/

Отже, оптимізуйте свій сайт і буде вам seo-щастя!

З повагою, Сергій Пастухов, інтернет-агентство Net Adaptation

Оставить комментарий