Как убрать дубли страниц

Дубли страниц - это документы с одинаковым контентом, но с разными урлами. То есть, один и тот же материал сайта доступный по разным адресам.

Что плохого в дублях, и почему нужно от них избавляться?

Сайт с дублями хуже индексируется. Дело в том, что у ПС есть определенный предел для конкретного сайта по количеству страниц который обойдет поисковый робот за раз. И лучше этот лимит использовать для оригинальных страниц чем для клонов.

Алгоритм поисковика может неправильно определить основную страницу и включить ее в поисковую выдачу. Вы работали над продвижением основной страницы, возможно тратили деньги и тут раз - ее нет в выдаче.

Потеря положительного эффекта от ссылок. Известно что хороший сайт со временем обрастает естественными ссылками. И если пользователь находясь на странице-дубле захочет им поделиться, через соц.сеть или на форуме, то он скопирует именно URL-дубля. Такая ссылка, для продвигаемой странице будет бесполезна.

Откуда берутся дубли?

В основном дубли страниц генерируют сами движки (CMS), на которой размещен сайт или их плагины.

Так же есть вероятность просто ошибки вебмастера или пользователя, который поставит ссылку с измененным урлом.

Например эта страница может быть доступна по следующим адресам:

http://zarabotoknasite.ru/optimizatsiya/79-ubrat-dubli-stranits — Основной урл

http://zarabotoknasite.ru/79

http://zarabotoknasite.ru/qwerty/79ку-ку

http://zarabotoknasite.ru/optimizatsiya/79-БлаБлаБла

http://zarabotoknasite.ru/raskrutka/optimizatsiya/79-privet

Как обнаружить дубли страниц на сайте?

1.Самый простой способ увидеть дубли, это зайти в панель инструментов Гугл-Вембастера:

Вид в поиске » Оптимизация html.

И сравнить страницы где есть «Повторяющиеся заголовки (теги title)». (Сайт должен быть проиндексирован)

2.Воспользоваться программой для анализа сайта. Например Netpeak Spider или Ксену. Программа просканирует сайт и найдет страницы с одинаковыми тайтлами.

(Одинаковые Тайтлы, говорят о том что возможно контент тоже одинаковый)

Как удалить дубли?

Существуют всего три способа борьбы с дублями страниц, это:

1. 301 редирект в файле хтассес
2. Ссылка на каноническую страницу с помощью линка - рел каноникал
3. Запрет на индексацию страницы в файле роботс

Как избавиться от дублей страниц в Joomla?

На этом сайте (который на Джумле), я использую все три способа.

Если страница находиться в выдаче ПС, и я хочу сохранить трафик, то я применяю 301 редирект.

Если мне нужно насовсем выкинуть страницу из результатов поиска то сначала прописываю запрет в robots.txt. А затем удаляю URL в панели инструментов вебмастера Яндекса и Гугла (Индекс Google » Удалить URL-адреса)

Что бы Джумла не дублировала материалы, добавляю тег с атрибутом rel="canonical". Этот способ подходит и для пагинации.