Что такое технические ошибки на сайте

Технический аудит на примере сайта клиента. Разбор проблем и ошибок, которые мешают при продвижении сайта в Яндекс и Google. Рекомендации по оптимизации ресурса и первые результаты работы.

Всем привет. Меня зовут Толстенко Александр. Я СЕОшник. С командой занимаемся созданием сайтов, SEO продвижением в Яндекс/Google, настройкой контекстной и таргетированной рекламой. Кейсы продвижения можно посмотреть на сайте или в профиле на vc.ru.

C разрешения клиента, поделюсь техническим аудитом интернет магазина, чтобы те кто заказывал его где то, имели примерное представление, как он примерно должен выглядеть и какие рекомендации в нем должны быть даны.

Понятное дело, что в каждой компании свои стандарты подготовки, чек листы, что каждый SEOшник его будет делать по своему, но +/- на выходе, примерно вам должны сдать в таком формате, как ниже.

Немного предыстории

В начале апреля, ко мне обратился клиент за консультацией.

Цитирую:

Сходу на такие вопросы сложно дать ответ. Поэтому, ответ был таков:

Поизучав немного интернет магазин, видно, что им кто то занимался. Задал вопрос:

Получил следующий ответ:

Пообщавшись еще немного, согласовали проведение технического аудита.

После получения предоплаты, запросили доступы от вебмастеров, метрик и принялись за работу, по окончанию которой получил вот такой отзыв

Сначала я покажу, какие результаты получились после исправления большей части технических ошибок, а потом расскажу про технические проблемы сайта.

Результаты после исправления ошибок

После завершения технического аудита, интернет магазин не находился на продвижении. Поэтому, снять позиции сразу не кинулись, чтобы сравнить результаты до и после. Если бы сделали, скорее всего, результаты были бы еще лучше.

Первый съем позиций сделали по маркерным запросам, в середине июля.
В апреле — проводили аудит и готовили рекомендации по техправкам.
Май-июнь — активно внедрялись правки на сайт.

В июле решили ради интереса произвести первый съем позиций по маркерным ключевым запросам в двух регионах. Результаты на скринах ниже.

P.S.: Все скрины с Яндеса. Гугл пока ни как не отреагировал на изменения (склейкой зеркал происходит долго).

Рост видимости по позициям по МСК в Яндекс

Рост по ключевым запросам по МСК

Рост видимости по позициям по Перми

Рост по ключевым запросам по Перми

Вот такие результаты получились после исправления технических ошибок сайта. Какие ошибки исправляли, расскажу ниже.

В процессе раскопок

Анализируя сайт, был найден сайт, который очень был похож на аффилиат анализируемого.

Аффилированность с продвигаемым сайтом не так быстро проверить. Это выходит за рамки тех аудита, но кое какие общие рекомендации все же были даны в личной переписке и продолжил работы.

Технические ошибки которые мешали росту позиций и видимости

В ходе проведения тех аудита были обнаружены технические ошибки и даны рекомендации по их исправлению.

P.S.: Ниже немного укороченная версия техаудита, без проставления приоритетов по исправлению ошибок (просто список).

1) Мобильный гугл бот говорит, что страницы блога закрыта от индексации

Пример страницы https://rdshop.ru/articles/recepty_vina_iz_vinograda

Проверил c ПК, страница в индексе — переходы из поиска идут.

Тоже самое, подтвердила метрика

Рекомендую: убрать запрещающий метатег, позволит получать трафик из поиска с мобильных устройств

2) В результатах поиска найдены поддомены сайта

Робот их видит, но некоторые не работают.

Примеры:

http://api.lk.rdshop.ru

https://90ahkico2a6b9d.rdshop.ru

https://abakan.rdshop.ru

и другие

Рекомендую: Если не планируется использовать эти поддомены, удалить их и настроить 301 редирект на основной домен.

3) У сайта есть аффилиаты

Из за аффилиат фильтра возникают проблемы с позициями и падением трафика на основном сайте.

[Список доменов отправлен клиенту]

Рекомендую: Начать анализировать изменение позиций по пересекающимся направлениям на сайтах. Если будет выявлены “прыжки позиций между сайтами” по ключевым запросам, то решать проблему. Анализ выходит за рамки технического аудита.

4) Не настроен 301 редирект с дополнительных зеркал сайта на основной

Нужно настроить, т.к. поисковые системы могут считать дополнительные зеркала копиями сайта.

[Полный список был предоставлен клиенту]

Рекомендую: Настроить 301 редирект на https://rdshop.ru/.

5) На сайте есть много страниц с 301 кодом ответа сервера

[Полный список был предоставлен клиенту]Рекомендую: Убрать 301 редиректы, очень желательно все, чтобы ускорить индексацию сайта.

Как искать: Открываем url, смотрим исходный код, нажав CTRL+SHIFT+i вставляем часть ссылки и ищем проблемные места по документу. Ошибки как правило шаблонные, исправив в одном месте, они пропадут сразу на всех страницах сайтов с поддоменами. Вычищать придется итерациями, сайт большой.
Пример поиска:

Пару примеров (в аудите, было больше):

Пример страницы https://rdshop.ru/otzyvy/195 (в указанном месте бывают // или /// слэша)

6) На сайте есть страницы с 404 кодом

[Полный список был предоставлен клиенту]

Ниже, вроде бы все перечислил, после исправлений, ошибки должны шаблонно пропасть. Узнаем после сканирования сайта программой показывающей ошибки (пауком).

Смотрим на эти столбцы

Рекомендую: Разобраться со страницами с 404 кодом, удалив неработающие ссылки или заменить на актуальные.

Задача в первую очередь для программиста — найти шаблонные битые ссылки и исправить их на работающие или удалить их с кода.

Во вторую, для контент менеджера — по анкорам в столбце D Найти битые ссылки и исправить или удалить неработающие.

Пару примеров (в аудите, было больше):

7) На сайте есть много страниц с 302 кодом

[Полный список был предоставлен клиенту]

Из за 302 редиректов замедляется скорость индексации сайта.

Рекомендую: Заменить ссылки на рабочие, чтобы они открывались без редиректа

Пару примеров (в аудите, было больше):

[Полный список был предоставлен клиенту]

8) Есть Дубли title на страницах

Рекомендую: Уникализировать title.

В зависимости от того как сделано, делается или по шаблону h1 + какой то хвост или прописывается вручную для каждого url. Для важных категорий желательно прописать в ручную с вхождением ключей из кластера.

Пример шаблона

8.1. title для разделов

Title: [Название раздела во множественном числе] купить в [городе] | Интернет-магазин Русская Дымка

Пример для страницы https://saratov.rdshop.ru/shop/samogonovarenie/samogonnye-apparaty:

Title: Самогонный аппарат купить в Саратове | Интернет-магазин Русская Дымка

8.2. title для товаров

Title: [Название товара] в [городе] купить в магазине Русская Дымка

Пример для страницы https://saratov.rdshop.ru/shop/samogonovarenie/samogonnye-apparaty/samogonnyy-apparat-wein-6-pro-20-l

Title: Самогонный аппарат Wein 6 PRO, 20 л в Саратове купить в магазине Русская Дымка

9) Title соответствует H1

[Полный список был предоставлен клиенту]

Рекомендую: Уникализировать title и H1. Не рекомендуется, чтобы они были 1 в 1.

10) Дубли description на страницах

[Полный список был предоставлен клиенту]

Рекомендую: уникализировать description. Не рекомендуется, чтобы они были одинаковыми в рамках сайта.

В зависимости от того как сделано, делается или по шаблону h1 + какой то хвост или прописывается вручную для каждого url

Пример шаблона

10.1) description для разделов:

Description: В нашем каталоге вы найдете [название раздела] по цене от [минимальная цена в разделе]. ✓От производителя. ✓Доставка. ✓Розничные магазины в [городе]

Пример для страницы https://saratov.rdshop.ru/shop/samogonovarenie/samogonnye-apparaty:

Description: В нашем каталоге вы найдете самогонные аппараты по цене от 4500. ✓От производителя. ✓Доставка. ✓Розничные магазины в [город]

10.2) description для товаров:

Description: Оформите заказ на [название товара] по цене [цена товара] в [городе]. Отзывов о товаре — 30. ✓ Рассрочка 0% ✓ Скидка на 1-й заказ! ✓ Доставка

Пример для страницы https://saratov.rdshop.ru/shop/samogonovarenie/samogonnye-apparaty/samogonnyy-apparat-wein-6-pro-20-l

Description: Самогонный аппарат Wein 6 PRO, 20 л. по цене 34990 ₽ в Саратове. Отзывов о товаре — 30. ✓ Рассрочка 0% ✓ Скидка на 1-й заказ! ✓ Доставка

11) Есть несколько Н1-1 на странице

URL: https://franchise.rdshop.ru

Н1-1: Русская Дымка — Франшиза федеральной сети магазинов для ценителей натурального

Н1-2: Изучаем и предугадываем потребности клиентов. Наше оборудование всегда востребовано.

Рекомендую: Убрать Н1-2. При необходимости выделить текст, использовать теги div и span.

12) Есть страницы, где предусмотрено поле для H1-2, но там пусто

Пример (в аудите было больше):

URL: https://rdshop.ru/articles/povod/09

Н1-1: Изучаем и предугадываем потребности клиентов. Наше оборудование всегда востребовано.

Н1-2: Пусто

Рекомендую: Убрать поле для Н1-2 в коде страниц. Или заменить на обертку div с классом.

13) В H1 есть переспам по топонимам (названия городов)

Это может негативно влиять на позиции сайта. Пример:

Рекомендую: Убрать топонимы из Н1. Упоминания на страницах и в мета тегах будет достаточно.

14) Есть проблемы со скоростью загрузки сайта в разных шаблонах страниц

Рекомендую: Поднять скорость загрузки сайта минимум до 80% по главной странице, страницам каталога и карточкам товаров, статьям для мобильных и ПК.

15) Файл robots.txt содержит некорректные правила

Рекомендую: Заменить содержимое robots.txt на тот, что в файле [файл передан клиенту].

16) На сайте есть не ЧПУ страницы

Проблема может быть глобальной. В выгрузке с сайта нашел только один url, но могут быть и другие в будущем.

Как сейчас

https://rdshop.ru/%D0%BA%D0%B0%D0%BA-%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C-%D1%81%D0%B0%D0%BC%D0%BE%D0%B3%D0%BE%D0%BD

Как должно быть

https://rdshop.ru/kak-sdelat-samogon

Рекомендую:

17) Не корректно работает lastmod в sitemap.xml

Он показывает текущее время минус 2 часа по всем страницам:

Рекомендую: Настроить параметр lastmod таким образом, чтобы он отдавал правильное время изменения страницы.

18) Нет кнопки «в корзину» на листинге в мобильной версии.

Рекомендую: Добавить кнопку “в корзину”. Если есть возможность желательно добавить также кнопку “купить в 1 клик” для увеличения продаж.

19) Отзывы выводятся через сторонний сервис

Бот не учитывает полезный контент на странице, который мог бы повлиять положительно на ранжирование документа

Пример: Тут отзывы не индексируются, выводятся через сторонний сервис

https://rdshop.ru/kak-sdelat-samogon

Рекомендую: Изменить формат вывода отзывов. Сделать так, чтобы они физически выводились в html документе. Для этого придется внедрить свой функционал.

20) Неверно сверстан блок с фотографией товара

Пример: https://rdshop.ru/shop/avtoklavy/bytovie/avtoklav-wein-23-litra

Фото должны выводиться в html коде страницы в теге img, а не в списке ul > li

Рекомендую: Изменить верстку блока с фотографиями, они должны быть в теге img. Пример кода:

21) Непонятно, что за техническая страница

https://rdshop.ru/articles/autocompletemagazinesearch, должен посмотреть программист.

Рекомендую: Поправить работу страницы или отдать 404 код ответа сервера для роботов. На данный момент отдает 200 код ответа сервера (страница доступна для роботов и посетитетелей сайта)

22) В html коде неверная разметка в теге img

Пример url https://rdshop.ru/otzyvy/63 — найти можно по тексту анкора: Отзыв о Дрожжи пивные MANGROVE JACK

Рекомендую: Сделать вырезание кавычек в title, description и img, чтобы робот правильно индексировал содержимое страниц.

23) На сайте есть пустые категории с отзывами о товарах

которые могут отрицательно влиять на качество сайта в целом

Пример url: https://rdshop.ru/otzyvy/14

24) Не использовать в важных зонах документа лишний раз заголовки h2-h6

Пример: https://rdshop.ru/otzyvy

Рекомендую: Ненужные заголовки h2-h6 обернуть в span с классом или id

25) Не использовать в верстке тег b, может отрицательно влиять на позиции

Если нужно выделить, использовать span, назначив класс, задав ему стили css.

Один из примеров (в аудите, было больше по разным страницам):

и тут

26) В html коде нужно указать роботу верный язык языковой версии сайта

Пример:

для домена rdshop.kz в html коде указать
<html lang=»ru-KZ»>

в head, перед тем как он закроется вставить ссылку на другие версии сайта.
<link rel=»alternate» hreflang=»ru-KZ» href=»url_stranicy»>

В ru версии, соответственно исключить ru и добавить KZ.

27) В футере на разных страницах много модальных форм

Пример: https://rdshop.ru/shop/samogonovarenie/ingredienty/laktoza-kristallicheskaya-500-g

Рекомендую: Избавиться от них, выводить или подгрузкой js после полной загрузки страницы, или сделать в iframe или еще каким нибудь другим методом, чтобы не было ненужных портянок в html коде.

28) В карте сайта есть битые ссылки

Пример: https://rdshop.ru/shop/emkosti/samogonnie-apparaty

[Полный список был предоставлен клиенту, с требованиям к содержимому в файле sitemap.xml ]

29) В шапке, в меню нет ссылки на страницу контакты

Рекомендую: Вставить ссылку на страницу контактов. Щас на страницу можно попасть только с футера. Важный раздел, в котором есть информация о месторасположении магазина, контактные данные и реквизиты.

30) В разделе контактов нет формы обратной связи

Пользователи не могут с вами связаться, отправив письмо с сайта.

Рекомендую: добавить на страницу форму для отправки сообщений, с минимальным набором полей: ФИО, Телефон, email, Текстовое поле сообщения. Пример:

31) Можно доработать страницу с 404 ошибкой

Пример 404: https://rdshop.ru/ao

Рекомендую: Добавить блоки как на главной: Новинки, Хиты продаж, Обзоры и рецепты, Русская Дымка Онлайн, Интернет-магазин самогонных аппаратов

32) На сайте нет кнопки обратного звонка

Потенциальные покупатели не могут оставить запрос на звонок с сайта, если им не удобно набрать в данный момент.

Рекомендую: Добавить кнопку заказа обратного звонка, где нибудь в шапке.

33) На ПК в листинге товаров нет кнопки: Купить в 1 клик

Рекомендую: Добавить, чтобы увеличить количество заказов без процедуры оформления заказа

34) Все стили css и js убрать с html кода в соответствующие файлы

Рекомендую: По возможности, убрать все css и js в файлы, а так же:

35) Проверить в .htaccess настройки включения кэша для картинок и стилей.

Позволит ускорить загрузку страниц сайта, если посетитель уже был на сайте.

Пример для .htaccess

У вас nix — настройки будут другие, сделать по аналогии:

36) В мобильной версии есть не все те же блоки, что и в ПК

37) В коде страницы есть мета-тег keywords

Сейчас он потерял актуальность.

Рекомендую: Удалить мета-тег keywords из кода страниц сайта.

38) Не выводить в код закомментированные части кода в html

Пример: https://rdshop.ru/shop/kak_kupit_so_skidkoy

Рекомендую: Посмотреть исходный код основных типов страниц, убрать вывод в html все что закомментировано. Очень много мусора в html коде, который может отрицательно влиять на продвижение в целом. [Список типов страниц передан клиенту]

39) Найдены мусорные страницы мешающие продвижению

Пример: https://rdshop.ru/shop/callme/2472 — робот пачками сканирует данные url

Рекомендую:

Подводя итоги

Если хотите бесплатно узнать, какие технические ошибки мешают росту проекта или получить бесплатную консультацию по продвижению, напишите в личку. Посмотрю техническую часть сайта, на созвоне дам рекомендации, что нужно будет исправить.

P.S.: Зашел материал? Подписывайтесь на публикации, чтобы быть в курсе новых)

Технический аудит выявляет программные и технические неполадки на сайте. От них зависит функционирование ресурса, его продвижение в поисковиках и удовлетворенность пользователей. Рассмотрим основные моменты.

Макаке не нравится, как работает сайт

Проблемы с хостингом и сервером

Из-за проблем с сервером страницы сайта могут очень медленно загружаться или вовсе быть недоступны, тогда пользователь увидит ошибку с кодом 500 в браузере. Сбои в работе сервера отображаются в логах ошибок, эту информацию можно узнать на сайте вашего хостера.

Большая часть информации находится в панели управления хостингом.

Проверьте:

• используемую версию PHP: в августе 2022 года актуальная стабильная версия — 7.4, более старые могут содержать уязвимости;
• настройку файла конфигурации веб-сервера: ошибки влияют на безопасность на уровне сервера и могут повлечь за собой проблемы с кодировкой, ответом сервера, редиректами, HTTP-заголовками и прочим;
• режим работы PHP и других модулей: сбитая конфигурация будет задерживать ответ сервера;
• настройки сжатия и кэширования объектов.

У вас должно быть настроено резервное копирование сайта на случай, если вам понадобится откатить изменения. Актуальная копия должна храниться в облаке, к которому у вас есть доступ.

Если у вас мало опыта в теме, советуем привлечь программиста для экономии времени и уменьшения ошибок.

Работа CMS, модулей и виджетов

Проверьте, как установлены, отображаются и работают модули и виджеты на вашем сайте. Чем меньше дополнительных объектов установлено, тем лучше — меньше ошибок и лазеек для взлома сайта. 

Вебинар с конспектом по теме —
Как защитить сайт от взломов и атак

Все установленные элементы и сам движок должны быть актуальной версии. Если какой-то виджет больше не поддерживается, найдите альтернативу, это важно для безопасности сайта. Для проверки сайта на вирусы используйте бесплатный инструмент.

Наличие дубликатов сайта

У сайта не должно быть сайтов-дублей или копий отдельных страниц. Для оправданных дублей, например, страниц с одного и того же товара, есть rel canonical.

Проверьте доступ к другим версиям сайта и редиректы:

• сайт доступен по протоколу HTTPS, у него есть SSL-сертификат;
• настроен 301 редирект с версии сайта с www.site.com на основное зеркало без www — site.com (об этом подробнее в следующем пункте);
• настроен 301 редирект со страниц без слеша на конце на страницы со слешем — с https://pr-cy.ru/seo-guide/ на https://pr-cy.ru/seo-guide//;
• у дублей страниц, которые появляются оправданно, например, из-за параметров фильтрации в URL, прописан тег rel = «canonical».

Всем сессиям поискового бота присваивается идентификатор — параметр PHPSESSID. Когда бот посещает страницу, к URL добавляется этот параметр. В следующую сессию он будет новый, и если бот снова посетит страницу, у URL будет новый параметр. Все эти URL с разными параметрами как бы разные URL, хотя принадлежат одной странице. Это может навредить индексированию сайта. В адресе страниц не должно быть идентификаторов сессий.

Забейте в поисковик телефоны, указанные на вашем сайте, ИНН компании и другую регистрационную информацию. Это поможет быстро найти двойников: в выдаче с такой информацией должен быть ваш сайт и справочники.

Склейка доменов с www и без

Технически, домены с www и без www — это два разных ресурса, поисковые системы индексируют и ранжируют их отдельно, а ссылки будут иметь разный вес. Это может грозить:

• понижением в поисковой выдаче;
• фильтром, потому что поисковик может принять один сайт за дубликат другого;
• проблемами с авторизацией на сайте и другим функционалом, использующим cookie.

Проблема решается указанием поисковикам основного зеркала и 301 редиректом на него. Проверьте, сделана ли склейка.

Как указать основное зеркало для Яндекса:

1. Откройте или создайте в корне вашего сайта файл robots.txt;
2. Добавьте строку Host: site.com, где site.com — основное зеркало вашего сайта.

Обработка информации ботом Яндекса займет около 2-3 недель. Ускорить учет новых указаний можно в Яндекс.Вебмастере.

Директива Host должна содержать указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://site.com).

В файле robots.txt необходимо использовать только Punycode для кириллических доменов

Как указать основное зеркало для Google:

1. Авторизуйтесь/зарегистрируйтесь в Google Search Console;
2. Добавьте ваш сайт, подтвердите права, если не сделали это ранее;
3. Нажмите на значок шестеренки и выберите «Настройки сайта»;
4. Укажите нужный вариант в разделе «Основной домен».

Google обрабатывает информацию от суток до двух недель.

Как настроить 301 редирект

Важно! Приступайте к этому пункту только когда боты поисковых систем обработают информацию об основных зеркалах, иначе ваш сайт может полностью выпасть из поисковой выдачи.

1. Откройте/создайте в корне вашего сайта файл .htaccess.
2. Добавьте строки кода:

RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.(.*) [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Подробнее о настройке:
Как настроить 301 редирект самостоятельно

Ошибки в разметке HTML и CSS

Код должен соответствовать стандарту W3C, иначе он считается невалидным и его могут не распознать какие-то браузеры и гаджеты. Ошибки в HTML и CSS приводят к неправильному отображению страниц сайта, они мешают рендерингу на мобильных устройствах, могут повлечь за собой потерю позиций в поисковой выдаче и санкции от поисковиков. 

Ошибки могут появиться из-за установки сторонних плагинов, тем и других элементов. Самые распространенные ошибки в HTML и CSS:

• использовали не рекомендованный стандартом тег;
• в ссылки добавили лишние символы;
• не указали обязательный атрибут;
• не закрыли тег.

Для проверки HTML и CSS есть онлайн-сервисы HTML Validator и CSS Validator, они сканируют код и выдают подробный отчет на предмет ошибок. Отправить код для проверки можно по ссылке, можно загрузить из файла или скопировать и вставить в соответствующее поле.

Почитать по теме:
Проверка валидации кода: как найти ошибки в HTML и CSS

Корректность кодировки

Из-за некорректной кодировки контент сайта может отображаться неправильно. Если кодировки на сайте и на сервере не совпадают, вместо текста на страницах будет абракадабра. Помимо того, что посетителям это не понравится, сайт не проиндексируется или даже попадет под фильтр поисковиков.

Кодировка UTF-8 общепринята, она правильно отображает сайт и поддерживает кириллические символы.  Кодировка указана в строке, содержащей слово charset внутри тега head.

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">

Для проверки используйте онлайн анализ сайта от PR-CY. Конкретные страницы со сбитой кодировкой вы найдете в модуле аудита внутренних страниц. Он покажет URL со всеми проблемами, вы сразу узнаете, что и где нужно исправить.

Почитать по теме:
Как настроить кодировку сайта самостоятельно

404 Not Found

Страница ошибки 404 отображается, когда посетитель сайта пытается попасть в несуществующую часть сайта. URL больше не ведет на искомую страницу, потому что ее переместили или удалили.

Почему пользователи попадают на страницу, которая больше недоступна по старому URL:

• страница осталась в индексе поисковика и пользователь получил на нее ссылку в выдаче;
• на сайте остались внутренние ссылки на страницу;
• на нее ссылаются сторонние ресурсы;
• опечатка в адресной строке браузера.

Сервер должен отдавать пользователю страницу 404, если тот пытается перейти по некорректному URL. При этом таких пользователей не обязательно терять. Если сделать страницу в общем дизайне и разместить на ней ссылки на другие разделы сайта, он может перейти к ним. О том, как оформить страницу 404 — ниже.

Если сайт отдает ответ 200 для страниц, которые больше недоступны, поисковые роботы ее обработают и добавят в индекс, так она может попасть в выдачу.

Что сделать для оптимизации страниц 404

1. Сделайте так, чтобы пользователи не попадали на несуществующую страницу

Проверьте сайт на «битые» ссылки — внутренние и внешние. Для этого можно использовать панели вебмастеров Яндекс и Google, бесплатную программу Xenu’s Link Sleuth или плагин для WordPress Broken Link Checker, если используется соответствующая CMS.

Дальше определите, что делать с каждой из «битых» ссылок:

• Если ошибку выдает сайт по внешней коммерческой ссылке, свяжитесь с рекламодателем и сообщите, что его сайт не работает.
• Если страницу по ссылке переместили, настройте 301 редирект на ее новый URL.
• Если страницу удалили, то удалите и ссылку на нее. Или заполните несуществующую страницу контентом.

После исправления ссылок необходимо удалить несуществующие страницы из индекса поисковых систем. Это делается средствами уже упомянутых панелей вебмастеров
Яндекс и Google.

Чтобы страница удалилась из индекса, сервер при обращении к ней должен возвращать ошибку 404. Если страница существует, но не должна участвовать в поисковой выдаче, закройте ее от индексации правилами robots.txt или мета-тегом
noindex. При следующем обходе сайта роботом он выполнит запросы на удаление, страницы исчезнут из результатов поиска. 

Почитать по теме:
Чем вредят сайту битые ссылки? Способы их найти и исправить

2. Создайте оригинальную страницу 404 Not Found

Если пользователь попадет на несуществующую страницу, сервер покажет страницу 404 по умолчанию. В лучшем случае, это краткое пояснение, что пользователь не туда попал, и реклама вашего хостера, а может быть и просто «404 Not Found».

Скорее всего, пользователь покинет такую страницу. Оригинальная страница 404 поможет удержать его на сайте.

Какой сделать страницу 404:

• Оригинальная страница 404 должна соответствовать дизайну и идее вашего сайта. Пользователь должен понять, что попал именно на ваш сайт.
• Страница 404 не должна быть «тупиковой». Разместите на ней ссылки на основные разделы, поиск по сайту, ссылки на группы в соцсетях.
• Пользователь должен понять, почему он попал на несуществующую страницу. Добавьте небольшое текстовое пояснение, справочную информацию, живой чат с техподдержкой пользователей или форму обратной связи.

Смешные изображения, видеоролики, интересные интерактивные элементы помогают сгладить разочарование от попадания на страницу 404 и поднимают настроение. А это хорошо, если подъем настроения связан с вашим сайтом. 🙂

Чтобы указать серверу, куда перенаправлять пользователей, если возникает ошибка 404, используют директиву ErrorDocument в файле .htaccess в корневой папке сайта:

ErrorDocument 404 http://site.com/404.html

Где
http://site.com/404.html — адрес вашей оригинальной страницы 404.

Таким же способом с помощью файла .htaccess вы можете обрабатывать и другие ошибки сервера:

• 401 ошибка (ErrorDocument 401 http://site.com/page.html) — требуется авторизация;
• 403 ошибка (ErrorDocument 403 http://site.com/page.html) — доступ запрещен;
• 500 ошибка (ErrorDocument 500 http://site.com/page.html) — внутренняя ошибка сервера.

Работоспособность ссылок

Поисковик воспринимает ссылками объекты, заключенные в тег с атрибутом href. Все остальное — не ссылки в понимании поисковика, хоть на сайтах и встречаются ссылки, сделанные с помощью Javascript — с тегами div и span. Например, это встречается в каталоге в системе фильтров, которые применяет пользователь. Если в тегах фильтра нет ссылок с a href, поисковик их не увидит и страницы каталога могут не попасть в выдачу.

В этом случае нужно добавить ссылки в виде статических элементов HTML с атрибутом href, чтобы поисковик мог перейти по ссылке, проанализировать контент и проиндексировать страницу. 

Javascript не стоит использовать для ссылок в меню, это затруднит индексацию. Вы можете проверить, как поисковый бот индексирует ссылки с помощью сервисов типа Screaming Frog или Xenu’s Link Sleuth. Проведите индексирование сайта два раза с включенным и отключенным JavaScript и сравните, есть ли разделы или страницы, недоступные из-за меню в JavaScript.

Еще проверьте, настроены ли ЧПУ — человеко-понятные URL или Friendly URL. Они произносимые, не содержат посторонних символов, поэтому выглядят естественнее, проще запоминаются и не ассоциируются со спамом.

Пример структуры: главная / категория / раздел / подраздел / товар (услуга, статья, другая страница).

Какими должны быть ЧПУ в SEO:

• естественная формулировка с произносимыми словами;
• транслитерация или перевод слова;
• могут упоминаться ключи, но без переспама;
• длина до примерно 70-90 символов;
• только прописные, без заглавных букв;
• дефис в качестве разделителя.

ЧПУ легко настраиваются в админке сайта на популярных CMS.

Проверьте, работает ли ссылка на главную страницу на логотипе компании в шапке, чтобы пользователь мог в один клик вернутся на главную из любого раздела.

Проверьте, чтобы значки соцсетей отправляли на соответствующие страницы в соцсетях, принадлежащие компании. Не забудьте убрать из списка неактуальные и заблокированные в стране соцсети.

Мобилопригодность и кроссбраузерность

Быть удобным на мобильных — обязательное требование к сайтам от поисковиков. Google перешел на Mobile-first index, поэтому выстраивает выдачу, основываясь на мобильных версиях сайтов. Сайт должен корректно работать на всех устройствах, полностью помещаться в экран и не уступать десктопной версии по функциональности и оптимизированности.

Кроссбраузерность означает, что сайт корректно открывается во всех актуальных версиях браузеров.

О мобилопригодности сайта и отображении в браузерах нужно думать на стадии его разработки. Проверьте сайт:

• в robots.txt нет запрета для сканирования CSS и JavaScript и персонально для мобильного бота;
• макет умещается на смартфонах в область просмотра без горизонтальной прокрутки;
• кнопки работают корректно и достаточно крупные, чтобы попасть по ним пальцем;
• всплывающие объекты можно закрыть, крестик на видимой части экрана;
• элементы быстро загружаются;нет Flash-элементов, Java-апплетов и Silverlight-плагинов;
• текст достаточно крупный, чтобы читать с небольшого экрана;
• вся навигация помещается в экран;
• кнопка звонка или чата не мешает чтению контента;
• в компанию можно позвонить по клику на номер.

Проверить отображение сайта на мобильных также поможет сервис для аудита сайта онлайн: оценит сжатие элементов, миниатюру на дисплее, тег viewport, плагины, мобильную скорость и прочее.

Проверьте, нет ли скрытой переадресации для мобильных устройств, когда пользователь на смартфоне нажимает на сайт в выдаче, а попадает на другую страницу — с рекламой, например. Это может быть не безобидная реклама, а скам или фишинговая программа для кражи данных. Из-за этого можно потерять доверие пользователей, мобильный трафик, выпасть из поисковой выдачи и получить санкции от Яндекса и Google. Мы написали статью о причинах появления такого редиректа, способах его обнаружить, удалить и защитить сайт.

Фавикон

Фавикон — это маленькая иконка у сайта, видна в выдаче Яндекса, в мобильной выдаче Google, на браузерных вкладках и закладках. Иконка может обратить на себя внимание, помочь считать тематику сайта и запомниться, чтобы в следующий раз пользователь зашел на знакомый по фавикону сайт.

В руководстве по фавиконам мы описали, как сделать картинку и установить ее на сайт, какие параметры нужны, а также как установить разные иконки для разделов сайта.

Поисковые системы не сразу начнут отображать фавикон, может потребоваться довольно много времени. Вы можете проверить, как они видят вашу иконку. Введите в поисковую строку https://favicon.yandex.net/favicon/site.com для Яндекса и еще https://www.google.com/s2/favicons?domain=site.com для Google, вместо site.com напишите ваш домен.

Скорость загрузки страниц

Низкая скорость загрузки страниц не нравится ни пользователям, ни поисковикам. Оптимальная скорость загрузки сайта на десктопе — не более 3 секунд, на мобильных устройствах — около 5 секунд, хотя и это уже перебор.

Оценить скорость загрузки можно с помощью нашего сервиса. Он анализирует этапы загрузки страницы в соответствии с набором показателей Core Web Vitals, в который входит:

• Время, за которое браузер отрисовывает самый крупный видимый объект в области просмотра.
• Отзывчивость браузера на первое действие пользователя на странице.
• Визуальная стабильность — оценка сдвигов макета во время загрузки страницы.

У этих показателей есть пороговые значения. Если сайт очень медленный и не дотягивает, то Google может его пессимизировать. Если сайт преодолел порог — хорошо, но остальные микроулучшения роли не сыграют.

Интересное почитать:
Вообще всё о Core WebVitals и многое об ускорении сайта

Как увеличить скорость загрузки страницы:

1. Сократите размер кода CSS и JavaScript

Онлайн-сервисы для упрощения JavaScript и CSS удаляют из кода пробелы и комментарии, сокращая время его загрузки.

Советуем, к примеру, эти:

• Refresh-SF
• CSSResizer
• Minifycode
• Letteros

Больше инструментов и приемов оптимизации верхней части страницы.

Размещайте CSS-файлы в начале страницы, а JS-файлы — перед закрывающим тегом body. До момента отображения контента страницы браузер должен загрузить только стили, а скрипты — в последнюю очередь. Так пользователь быстрее увидит содержимое страницы. Если стили тоже перенести в низ страницы, то разметка после загрузки будет не стилизована, до момента загрузки стилей это будет выглядеть некрасиво.

2. Уменьшите объем загружаемых страниц

Используйте сжатие gzip, это сократит время передачи файлов браузеру.
В новых версиях Nginx gzip сжатие включено по умолчанию. Для включения сжатия gzip в Apache убедитесь, что подключен модуль mod_gzip. Далее добавьте в файл .htaccess следующие строки:

<ifmodule mod_gzip.c="">
     mod_gzip_on Yes
     mod_gzip_dechunk Yes
     mod_gzip_item_include file .(html?|txt|css|js|php|pl)$
     mod_gzip_item_include mime ^application/x-javascript.*
     mod_gzip_item_include mime ^text/.*
     mod_gzip_item_exclude rspheader ^Content-Encoding:.*gzip.*
     mod_gzip_item_exclude mime ^image/.* 
     mod_gzip_item_include handler ^cgi-script$
    </ifmodule>

Проверить работоспособность и степень сжатия gzip вашего сайта можно с помощью сервиса
GIDZipTest.

Подробности по теме:
Как уменьшить вес сайта — минификация кода, разное сжатие, кэширование

3. Включите кэш данных

Настройте сервер так, чтобы браузер пользователя кэшировал данные. При первом посещении сайта изображения, CSS- и JS-файлы сохранятся автоматически. В следующий раз браузер не потратит время на их загрузку.

Для веб-сервера на Nginx используется модуль expires в файле конфигурации:

location ~* .(js|css|png|jpg|jpeg|gif)$ {
    expires 86400s;
    log_not_found off;
    }

В строке
location ~* .(js|css|png|jpg|jpeg|gif)$ { перечисляются типы файлов, которые требуют кэширования. Допускается использование нескольких блоков для более гибкой настройки.

Строка
expires 86400s; указывает, сколько будет храниться кэш. Можно указывать значения:

• в секундах — s;
• часах — h;
• днях — d;
• месяцах — m;
• навсегда — max.

Либо можно указать дату в формате RFC 1123, когда кэшированный файл потеряет актуальность:

    expires Fri, 24 Nov 2017 01:01:01 GMT;

Строка
log_not_found off; отключает ведение лога сообщений с 404 ошибкой для указанных типов файлов. Это помогает снизить нагрузку на сервер.

Настройка кэширования на серверах Apache происходит в файле конфигурации или в файле .htaccess. Поддерживается как модуль expires, так и альтернативный способ Cache-Control.

Expires:

  <ifmodule mod_expires.c="">
     ExpiresActive On
     ExpiresDefault "access plus 2 month"
     ExpiresByType image/gif "access plus 4 months"
     ExpiresByType image/jpeg "access plus 4 months"
    </ifmodule>

Строка
ExpiresActive On включает кэширование.

Строка
ExpiresDefault «access plus 2 month» устанавливает срок кэширования по умолчанию в 2 месяца.

Строки
ExpiresByType image/gif «access plus 4 months» и ExpiresByType image/jpeg «access plus 4 months» задают срок кэширования 4 месяца для GIF- и JPEG-файлов.

Поддерживаются значения в:

• Годах — years, year
• Месяцах — months, month
• Неделях — weeks, week
• Днях — days, day
• Часах — hours, hour
• Минутах — minutes, minute
• Секундах — seconds

Cache-Control:

<ifmodule mod_headers.c="">
     <filesmatch ".(js|css)$"="">
     Header set Cache-Control "max-age=604800"
     </filesmatch>
     <filesmatch ".(ico|gif|jpg|jpeg|png)$"="">
     Header set Cache-Control "max-age=2628000"
     </filesmatch>
    <filesmatch ".(php|cgi)$"=""> 
    Header unset Cache-Control 
    </filesmatch>
    </ifmodule>

Этот код устанавливает время хранения JS- и CSS-файлов в кэше в 1 неделю, для файлов с расширением .ico, .gif, .jpg, .jpeg и .png — 1 месяц, а для .php и .cgi — запрещает кэширования.

Для Cache-Control время хранения файлов можно задать только в секундах. Самые популярные значения:

• Одна минута: max-age=60;
• Один час: max-age=3600;
• Один день: max-age=86400;
• Одна неделя: max-age=604800;
• Один месяц: max-age=2628000;
• Один год: max-age=31536000.

4. Оптимизируйте изображения

Оптимизируйте размер изображения под сайт. Не загружайте изображение на хостинг в разрешении 4000×3000, если отображаться оно будет в 800×600 без возможности увеличения по клику.

Бесплатные онлайн-сервисы для редактирования изображений:

• PicMonkey
• Pixlr
• BeFunky
• Больше сервисов для редактирования, цветокоррекции и скругления углов

Формат JPEG лучше всего подходит для фотографий. PNG лучше сжимает однотонные участки и градиенты, поддерживает прозрачность. Используйте его для иконок, иллюстраций и прочего.

Добейтесь баланса между сжатием и качеством изображения. Используйте максимально возможное сжатие, но следите, чтобы не было излишней размытости, пикселизации или артефактов.

Примеры с разной степенью сжатия JPEG:

JPEG Оригинал 95 Кб	JPEG Сжатие 27 Кб

Онлайн-сервисы для сжатия изображений:

• CompressJPEG;
• TinyPNG;
• Pngquant.

Укажите ширину и высоту всех изображений. Браузер отображает страницу еще до загрузки изображений, если известны размеры места, которое зарезервировано для них. Укажите эти размеры, чтобы ускорить загрузку страницы и сделать ее удобной для пользователей.

Огромное руководство по оптимизации картинок: как уменьшить размер картинки и сохранить качество, как настроить адаптивность изображений, как заполнить SEO-атрибуты и другое

С осторожностью используйте изображения для оформления сайта. Везде, где это возможно, вместо изображений пользуйтесь CSS для создания фона.

5. Избавьтесь от лишних редиректов

Везде, где возможно, избавьтесь от редиректов, чтобы посетители сайта сразу направлялись на нужную страницу. Редирект увеличивает время загрузки страницы, а поисковые системы могут расценить множественные перенаправления как проблемы на сайте.

Использование редиректа оправдано в случаях, если адреса страниц меняются по техническим причинам, для склейки доменов с www и без www и для перенаправления на мобильную версию сайта. 

Почитать по теме:
Как настроить 301 редирект самостоятельно

6. Уменьшите количество запросов к серверу

• Объедините все файлы JavaScript в один. 

Внимание! При обнаружении в JavaScript-файле ошибки браузер прекращает обработку этого файла. Поэтому, перед объединением всех файлов в один убедитесь в их полной работоспособности.

Чтобы обнаружить ошибки в JS, воспользуйтесь консолью веб-браузера. В Firefox и Chrome она есть по умолчанию.

В Firefox нажмите правой кнопкой в окне браузера, в контекстном меню выберите пункт «Исследовать элемент». Появится панель, в которой мы можем исследовать и отлаживать наш код. Рядом со вкладкой «Инспектор» есть вкладка «Консоль», она то нас и интересует. Переключитесь на нее, обновите страницу, и вы увидите все ошибки JavaScript. В Chrome консоль вызывается из контекстного меню или клавишей F12.

• Объедините мелкие графические элементы сайта в CSS-спрайты. 

Sprite Sheet — это одно большое изображение мелких графических элементов сайта, например иконок или кнопок. Благодаря CSS можно отображать каждый элемент отдельно.

Подробнее об использовании CSS-спрайтов читайте
здесь.

Это первая из трех статей о комплексном аудите сайта. В отдельных статьях рассмотрим SEO- и юзабилити-аудит. А если не хотите разбираться самостоятельно,
проверьте сайт в нашем сервисе. Он проведет полный аудит SEO, технички, ссылочного профиля, релевантности, трафика и остального, найдет ошибки на внутренних страницах и будет следить за позициями сайта.

В этом посте мы постарались помочь оптимизаторам сориентироваться в аудите технических параметров. Все существующие параметры сложно разобрать в посте на сайте, удобнее было бы сделать это в книге. Мы затронули основы, но вы всегда можете дополнить материал в комментариях.

Продолжение серии:

Самостоятельный аудит сайта: часть 2. SEO-аудит

Содержание

Составили подробный классификатор кодов состояния HTTP. Добавляйте в закладки, чтобы был под рукой, когда понадобится.

Что такое код ответа HTTP

Когда посетитель переходит по ссылке на сайт или вбивает её в поисковую строку вручную, отправляется запрос на сервер. Сервер обрабатывает этот запрос и выдаёт ответ — трехзначный цифровой код HTTP от 100 до 510. По коду ответа можно понять реакцию сервера на запрос. 

Первая цифра в ответе обозначает класс состояния, другие две — причину, по которой мог появиться такой ответ.

Как проверить код состояния страницы

Проверить коды ответа сервера можно вручную с помощью браузера и в панелях веб‑мастеров: Яндекс.Вебмастер и Google Search Console.

В браузере

Для примера возьмём Google Chrome.

1. Откройте панель разработчика в браузере клавишей F12, комбинацией клавиш Ctrl + Shift + I или в меню браузера → «Дополнительные инструменты» → «Инструменты разработчика». Подробнее об этом рассказывали в статье «Как открыть исходный код страницы». 

2. Переключитесь на вкладку «Сеть» в Инструментах разработчика и обновите страницу: 

В Яндекс.Вебмастере

Откройте инструмент «Проверка ответа сервера» в Вебмастере. Введите URL в специальное поле и нажмите кнопку «Проверить»:

Как добавить сайт в Яндекс.Вебмастер и другие сервисы Яндекса

В Google Search Console

Чтобы посмотреть код ответа сервера в GSC, перейдите в инструмент проверки URL — он находится в самом верху панели:

Введите ссылку на страницу, которую хотите проверить, и нажмите Enter. В результатах проверки нажмите на «Изучить просканированную страницу» в блоке «URL есть в индексе Google».

А затем в открывшемся окне перейдите на вкладку «Подробнее»:

Теперь расскажем подробнее про все классы кодов состояния HTTP.

1* класс кодов (информационные сообщения)

Это системный класс кодов, который только информирует о процессе передачи запроса. Такие ответы не являются ошибкой, хотя и могут отображаться в браузере как Error Code.

100 Continue

Этот ответ сообщает, что полученные сведения о запросе устраивают сервер и клиент может продолжать отправлять данные. Такой ответ может требоваться клиенту, если на сервер отправляется большой объём данных.

101 Switching Protocols

Сервер одобрил переключение типа протокола, которое запросил пользователь, и в настоящий момент выполняет действие.

102 Processing

Запрос принят — он находится в обработке, и на это понадобится чуть больше времени.

103 Checkpoint

Контрольная точка — используется в запросах для возобновления после прерывания запросов POST или PUT.

105 Name Not Resolved

Не удается преобразовать DNS‑адрес сервера — это  означает ошибку в службе DNS. Эта служба преобразует IP‑адреса в знакомые нам доменные имена.

2* класс кодов (успешно обработанные запросы)

Эти коды информируют об успешности принятия и обработки запроса. Также сервер может передать заголовки или тело сообщений. 

200 ОК

Все хорошо — HTTP‑запрос успешно обработан (не ошибка).

201 Created

Создано — транзакция успешна, сформирован новый ресурс или документ.

202 Accepted

Принято — запрос принят, но ещё не обработан.

203 Non‑Authoritative Information

Информация не авторитетна — запрос успешно обработан, но передаваемая информация была взята не из первичного источника (данные могут быть устаревшими).

204 No Content

Нет содержимого — запрос успешно обработан, однако в ответе только заголовки без контента сообщения. Не нужно обновлять содержимое документа, но можно применить к нему полученные метаданные.

205 Reset Content

Сбросить содержимое. Запрос успешно обработан — но нужно сбросить введенные данные. Страницу можно не обновлять.

206 Partial Content

Частичное содержимое. Сервер успешно обработал часть GET‑запроса, а другую часть вернул.

При работе с подобными ответами следует уделить внимание кэшированию.

207 Multi‑Status

Успешно выполнено несколько операций — сервер передал результаты выполнения нескольких независимых операций. Они появятся в виде XML‑документа с объектом multistatus. 

226 IM Used

Успешно обработан IM‑заголовок (специальный заголовок, который отправляется клиентом и используется для передачи состояния HTTP).

3* класс кодов (перенаправление на другой адрес)

Эти коды информируют, что для достижения успешной операции нужно будет сделать другой запрос, возможно, по другому URL.

300 Multiple Choices

Множественный выбор — сервер выдает список нескольких возможных вариантов перенаправления (максимум — 5). Можно выбрать один из них.

301 Moved Permanently

Окончательно перемещено — страница перемещена на другой URL, который указан в поле Location.

302 Found/Moved 

Временно перемещено — страница временно перенесена на другой URL,  который указан в поле Location.

303 See Other

Ищите другую страницу — страница не найдена по данному URL, поэтому смотрите страницу по другому URL, используя метод GET.

304 Not Modified

Модификаций не было — с момента последнего визита клиента изменений не было.

305 Use Proxy

Используйте прокси — запрос к нужному ресурсу можно сделать только через прокси‑сервер, URL которого указан в поле Location заголовка.

306 Unused

Зарезервировано. Код в настоящий момент не используется.

307 Temporary Redirect

Временное перенаправление — запрашиваемый ресурс временно доступен по другому URL.

Этот код имеет ту же семантику, что код ответа 302 Found, за исключением того, что агент пользователя не должен изменять используемый метод HTTP: если в первом запросе использовался POST, то во втором запросе также должен использоваться POST.

308 Resume Incomplete

Перемещено полностью (навсегда) — запрашиваемая страница была перенесена на новый URL, указанный в поле Location заголовка. Метод запроса (GET/POST) менять не разрешается.

4* класс кодов (ошибки на стороне клиента)

Эти коды указывают на ошибки со стороны клиентов. 

400 Bad Request

Неверный запрос — запрос клиента не может быть обработан, так как есть синтаксическая ошибка (возможно, опечатка).

401 Unauthorized

Не пройдена авторизация — запрос ещё в обработке, но доступа нет, так как пользователь не авторизован.

Для доступа к запрашиваемому ресурсу клиент должен представиться, послав запрос, включив при этом в заголовок сообщения поле Authorization.

402 Payment Required

Требуется оплата — зарезервировано для использования в будущем. Код предусмотрен для платных пользовательских сервисов, а не для хостинговых компаний.

403 Forbidden

Запрещено — запрос принят, но не будет обработан, так как у клиента недостаточно прав. Может возникнуть, когда пользователь хочет открыть системные файлы (robots, htaccess) или не прошёл авторизацию.

404 Not Found

Не найдено — запрашиваемая страница не обнаружена. Сервер принял запрос, но не нашёл ресурса по указанному URL (возможно, была ошибка в URL или страница была перемещена).

405 Method Not Allowed

Метод не разрешён — запрос был сделан методом, который не поддерживается данным ресурсом. Сервер должен предложить доступные методы решения в заголовке Allow.

406 Not Acceptable

Некорректный запрос — неподдерживаемый поисковиком формат запроса (поисковый робот не поддерживает кодировку или язык).

407 Proxy Authentication Required

Нужно пройти аутентификацию прокси — ответ аналогичен коду 401, только нужно аутентифицировать прокси‑сервер.

408 Request Timeout

Тайм‑аут запроса — запрос клиента занял слишком много времени. На каждом сайте существует свое время тайм‑аута — проверьте интернет‑соединение  и просто обновите страницу.

409 Conflict

Конфликт (что‑то пошло не так) — запрос не может быть выполнен из‑за конфликтного обращения к ресурсу (несовместимость двух запросов).

410 Gone

Недоступно — ресурс раньше был размещён по указанному URL, но сейчас удалён и  недоступен (серверу неизвестно месторасположение).

411 Length Required

Добавьте длины — сервер отклоняет отправляемый запрос, так как длина заголовка не определена, и он не находит значение Content‑Length. 

Нужно исправить заголовки на сервере, и в следующий раз робот сможет проиндексировать страницу.

412 Precondition Failed

Предварительное условие не выполнено — стоит проверить правильность HTTP‑заголовков данного запроса.

413 Request Entity Too Large

Превышен размер запроса — перелимит максимального размера запроса, принимаемого сервером. Браузеры поддерживают запросы от 2 до 8 килобайт.

414 Request‑URI Too Long

Превышена длина запроса — сервер не может обработать запрос из‑за длинного URL. Такая ошибка может возникнуть, например, когда клиент пытается передать чересчур длинные параметры через метод GET, а не POST.

415 Unsupported Media Type

Формат не поддерживается —  сервер не может принять запрос, так как  данные подгружаются в некорректном формате, и сервер разрывает соединение.

416 Requested Range Not Satisfiable

Диапазон не поддерживается — ошибка возникает в случаях, когда в самом HTTP‑заголовке прописывается некорректный байтовый диапазон.

Корректного диапазона в необходимом документе может просто не быть, или есть опечатка в синтаксисе.

417 Expectation Failed

Ожидания не оправдались — прокси некорректно идентифицировал содержимое поля «Expect: 100‑Continue».

418 I’m a teapot

Первоапрельская шутка разработчиков в 1998 году. В расшифровке звучит как «я не приготовлю вам кофе, потому что я чайник». Не используется в работе.

422 Unprocessable Entity

Объект не обработан — сервер принял запрос, но в нём  есть логическая ошибка. Стоит посмотреть в сторону семантики сайта.

423 Locked

Закрыто — ресурс заблокирован для выбранного HTTP‑метода. Можно перезагрузить роутер и компьютер. А также использовать только статистический IP.

424 Failed Dependency

Неуспешная зависимость — сервер не может обработать запрос, так как  один из зависимых ресурсов заблокирован.

Выполнение запроса напрямую зависит от успешности выполнения другой операции, и если она не будет успешно завершена, то вся обработка запроса будет прервана.

425 Unordered Collection

Неверный порядок в коллекции — ошибка возникает, если клиент указал номер элемента в неупорядоченном списке или запросил несколько элементов в порядке, отличном от серверного.

426 Upgrade Required

Нужно обновление — в заголовке ответа нужно корректно сформировать поля Upgrade и Connection. 

Этот ответ возникает, когда серверу требуется обновление до SSL‑протокола, но клиент не имеет его поддержки.

428 Precondition Required

Нужно предварительное условие — сервер просит внести в запрос информацию о предварительных условиях обработки данных, чтобы выдавать корректную информацию по итогу.

429 Too Many Requests

Слишком много запросов — отправлено слишком много запросов за короткое время. Это может указывать, например, на попытку DDoS‑атаки, для защиты от которой запросы блокируются.

431 Request Header Fields Too Large

Превышена длина заголовков — сервер может и не отвечать этим кодом, вместо этого он может просто сбросить соединение.

Исправляется это с помощью сокращения заголовков и повторной отправки запроса.

434 Requested Host Unavailable

Адрес запрашиваемой страницы недоступен.

444 No Response

Нет ответа — код отображается в лог‑файлах, чтобы подтвердить, что сервер никак не отреагировал на запрос пользователя и прервал соединение. Возвращается только сервером nginx.

Nginx — программное обеспечение с открытым исходным кодом. Его используют для создания веб‑серверов, а также  в качестве почтового или обратного прокси‑сервера. Nginx решает проблему падения производительности из‑за роста трафика. 

449 Retry With

Повторите попытку — ошибка говорит о необходимости скорректировать запрос и повторить его снова. Причиной становятся неверно указанные параметры (возможно, недостаточно данных).

450 Blocked by Windows Parental Controls

Заблокировано родительским контролем — говорит о том, что с компьютера попытались зайти на заблокированный ресурс. Избежать этой ошибки можно изменением параметров системы родительского контроля.

451 Unavailable For Legal Reasons

Недоступно по юридическим причинам — доступ к ресурсу закрыт, например, по требованию органов государственной власти или по требованию правообладателя в случае нарушения авторских прав. 

456 Unrecoverable Error

Неустранимая ошибка — при обработке запроса возникла ошибка, которая вызывает некорректируемые сбои в таблицах баз данных.

499 Client Closed Request

Запрос закрыт клиентом — нестандартный код, используемый nginx в ситуациях, когда клиент закрыл соединение, пока nginx обрабатывал запрос.

5* класс кодов (ошибки на стороне сервера)

Эти коды указывают на ошибки со стороны серверов. 

При использовании всех методов, кроме HEAD, сервер должен вернуть в теле сообщения гипертекстовое пояснение для пользователя. И его можно использовать в работе.

500 Internal Server Error

Внутренняя ошибка сервера — сервер столкнулся с неким условием, из‑за которого не может выполнить запрос. 

Проверяйте, корректно ли указаны директивы в системных файлах (особенно htaccess) и нет ли ошибки прав доступа к файлам. Обратите внимание на ошибки внутри скриптов и их медленную работу.

501 Not Implemented

Не выполнено —  код отдается, когда сам сервер не может идентифицировать метод запроса. 

Сами вы эту ошибку не исправите. Устранить её может только сервер.

502 Bad Gateway

Ошибка шлюза — появляется, когда сервер, выступая в роли шлюза или прокси‑сервера, получил ответное сообщение от вышестоящего сервера о несоответствии протоколов.

Актуально исключительно для прокси и шлюзовых конфигураций.

503 Service Unavailable

Временно не доступен — сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее). 

В поле Retry‑After заголовка сервер укажет время, через которое  можно повторить запрос.

504 Gateway Timeout

Тайм‑аут шлюза —  сервер, выступая в роли шлюза или прокси‑сервера, не получил ответа от вышестоящего сервера в нужное время.

Исправить эту ошибку самостоятельно не получится. Здесь дело в прокси, часто — в веб‑сервере. 

Первым делом просто обновите веб‑страницу. Если это не помогло, нужно почистить DNS‑кэш. Для этого  нажмите горячие клавиши Windows+R и введите команду cmd (Control+пробел). В открывшемся окне укажите команду ipconfig / flushdns и подтвердите её нажатием Enter.

505 HTTP Version Not Supported

Сервер не поддерживает версию протокола — отсутствует поддержка текущей версии HTTP‑протокола. Нужно обеспечить клиента и сервер одинаковой версией.

506 Variant Also Negotiates

Неуспешные переговоры — с такой ошибкой сталкиваются, если сервер изначально настроен неправильно. По причине ошибочной конфигурации выбранный вариант указывает сам на себя, из‑за чего процесс и прерывается.

507 Insufficient Storage

Не хватает места для хранения — серверу недостаточно места в хранилище. Нужно либо расчистить место, либо увеличить доступное пространство.

508 Loop Detected

Обнаружен цикл — ошибка означает провал запроса и выполняемой операции в целом.

509 Bandwidth Limit Exceeded

Превышена пропускная способность —  используется при чрезмерном потреблении трафика. Владельцу площадки следует обратиться к своему хостинг‑провайдеру. 

510 Not Extended

Не продлён — ошибка говорит, что на сервере отсутствует нужное для клиента расширение. Чтобы исправить проблему, надо убрать часть неподдерживаемого расширения из запроса или добавить поддержку на сервер.

511 Network Authentication Required

Требуется аутентификация — ошибка генерируется сервером‑посредником, к примеру, сервером интернет‑провайдера, если нужно ввести пароль для получения доступа к сети через платную точку доступа.

4. Дальше переходим к ЧПУ или человекоподобным урлам – URL.

Речь идет об URL, близких к человеческому восприятию и пониманию. Ниже вы видите URL, который сразу говорит о том, какая информация на странице:

А вот на этом примере очевидно – нет ЧПУ:

URL должен быть читабельным – не делайте его длинным.

5. Переходим к 404 коду ответа

Код ответа 404 используется для указания браузеру или поисковой системе, что страницы не существует. Сервер в этом случае отображает или стандартную страницу «по этому адресу ничего не найдено», или страницу-заглушку, если создан специальный шаблон для несуществующих страниц:

Чтобы проверить код 404, используйте адрес несуществующей на сайте страницы – например, случайную комбинацию букв и цифр — https://youngcatering.ru/furshetyfhrgdbxdyrncc/. Если в кодах ответа указано 404, то сервер отдает правильный код, если что-то иное — даем задание программисту.

6. Хлебные крошки

Хлебные крошки, или навигационная цепочка – часть навигации на сайте, отображающая часть структуры сайта и вложенность страницы, по которой гуляет пользовать. Часто хлебные крошки выглядят как пути от корня сайта к текущему просматриваемому документу. Эта цепочка как раз и улучшает навигацию по вашему сайту. Проверьте, есть ли у вас такое☺ :

7. Проверяем мета-теги страниц сайта

• Тайтл – еще его именуют титлом или заголовком страницы. Это текстовый элемент, в котором указываются основные ключевые фразы, продвигаемые на странице.

Важно! Тайтл должен быть до 60 знаков и написан на русском языке, а не перечислением ключевых фраз.

Проверяем:

Переходим на код страницы, либо правой кнопкой мыши – код страницы, либо комбинацией клавиш Ctrl+U.

Далее клавишами ctrl+f вызываем поиск и пишем туда title или description и проверяем:

Обратите внимание – тайтл должен отличаться от заголовка Н1. Отметим, что в основном многие CMS автоматически генерируют тайтл таким же, как Н1. Чтобы избежать этого, проверим их отличия.

• Дескрипшен – краткое описание статьи. До 150 знаков, больше не нужно.

В Google дескрипшен отображается в сниппете:

В Яндексе – не всегда в сниппете отображается дескрипшен.

Поэтому важно написать по-русски. Сделайте описание статьи точным, привлекательным и грамотным.

8. Индексирование страниц

Индексация сайта – обнаружение вашего сайта поисковыми роботами. Проверяем наличие сайта в базе Яндекс:

Проверяем присутствие в Google:

Разница не должна быть больше 50.

На нашем примере – сайт индексируется в двух поисковых системах по-разному, нужно искать ошибки и исправлять их ☺

9. Robots.txt – при оптимизации важнейший текстовый файл, который находится в корневой директории вашего сайта. Отсутствие такого файла приводит к высокой нагрузке на ресурс со стороны поисковиков, а также медленной индексации и переиндексации. В результате неправильной настройки robots.txt сайт пропадает из Поиска или просто лишается индексации.

Проверяем наличие:

• Добавьте к домену сайта robots.txt:

Не должно быть такой строчки – Dissalow: /

Если такая строчка есть – то ваш сайт закрыт от индексации. Исправляйте.

10. Проверяем наличие sitemap.xml

Карта сайта или sitemap.xml – файл, в котором отражены все страницы ресурса. Sitemap ускоряет процесс индексации страниц сайта.

Проверяем наличие:

Если не находит – значит устанавливаем.

11. Мобильная версия сайта – если у вас есть такая версия, трафик с мобильных устройств вы не потеряете. А вы наверняка знаете, что большее количество трафика на сайт приходит с мобильных устройств, поэтому позаботьтесь о пользователях смартфонов и планшетов. Так вы не потеряете свою целевую аудиторию.

Проверить наличие или отсутствие мобильной версии сайта несложно.

Проверьте здесь – https://search.google.com/test/mobile-friendly

Либо сделайте это вручную на мобильном устройстве.

12. Наличие сайта в Яндекс. Справочнике и Google Мой бизнес

• Яндекс. Справочник и Google Мой бизнес – полезные сервисы для CEO-продвижения вашего сайта. Прочтите эту рубрику и вы поймете, что регистрация в каталогах Яндекс. Справочника и Google Мой бизнес крайне важны, ведь за счет них решается – сколько вы получsslите просмотров и по каким видам запросов.

Так выглядит организация в Я. Справочнике:

Так Google Мой Бизнес показывает информацию о компании:

Выберите правильные нишевые категории и рубрики – станьте лидером сегмента и собирайте все сливки ☺

Друзья! Если вы дочитали наш чек-лист по аудиту сайта и прошли 12 пунктов по исправлению ошибок – то уже поняли, как несложно проверить техническую часть вашего сайта.

P.s.: для вашего удобства мы подготовили простую форму на аудит сайта https://yadi.sk/d/t7X9SoaD3SEtAf, заполняйте проверенные пункты, и так вам будет проще ориентироваться.

Подпишитесь на рассылку FireSEO

и получайте подборки статей, полезных сервисов, анонсы и бонусы. Присоединяйтесь!

Ошибки на сайте сложно заметить невооруженным взглядом. С виду все нормально: загружается главная, работает корзина, индексируются страницы. А на деле сайт постепенно падает в выдаче без видимых причин. Чаще всего это происходит из-за технических ошибок. Они существенно тормозят продвижение в поисковых системах, что сказывается на органическом трафике и продажах. Самый простой способ найти и устранить проблемы — провести технический аудит сайта. Специалисты сервиса Sitechecker рассказали, что такое технический аудит сайта и как его провести самостоятельно.

Что такое технический аудит

Владелец любого ресурса, даже предпочитающий получить трафика из рекламных каналов, должен уделять внимание SEO. Давно доказано, что пользователи больше доверяют органической выдаче, чем самой креативной рекламе. А по некоторым транзакционным запросам реклама невыгодна — слишком высоки ставки на аукционах. Потому важно следить за позицией сайта в поисковых системах и стремиться ее повышать.

К сожалению, тренды поискового продвижения постоянно меняются. Например, последние пять лет растет мобильный поисковый трафик. Это означает что сайты, которые не оптимизированы для под мобильные устройства будут опускаться в выдаче. То же самое касается ресурсов с неоптимизированным контентом и ошибками Чтобы устранить эти неприятности, проводится технический аудит.

Как провести технический аудит

Технический аудит помогает определить эффективность работы сайта или его частей, найти критические ошибки. Аудит сайта можно сравнить с техосмотром автомобиля. В процессе аудита проверяется наличие ошибок в коде, скорость загрузки страниц, правильность карты сайта и robots.txt и так далее.

Технический аудит сайта — вотчина SEO-специалиста. Если у вас его нет, придется самому набраться опыта в сфере поисковой оптимизации начав с рекомендаций сотрудников Google. Затем открыть инструменты аналитики: Яндекс.Вебмастер или Search Console от Google, и поколдунствовать.

Но даже опытные сеошники не слишком любят заниматься ручным трудом. Потому для быстрого технического аудита сайта можно воспользоваться автоматическими сервисами. Они позволяют диагностировать большинство ошибок на сайте, которые влияют на позиции сайта в Яндексе и Google. Расскажем поподробнее, как сделать технический аудит сайта онлайн с помощью сервиса SiteChecker.

Сервисы для проведения технического аудита

Сервисы для технического аудита работают по принципу одного окна. Они проверяют сайт по нескольким десяткам показателей и выдают отчет с ошибками. А самые умные системы еще подсказывают, как их исправить. Так, SiteChecker позиционируется как онлайн-сервис «все в одном». Его преимущества:

• глубокий SEO-аудит,
• проверка ключей, метатегов, ссылок, анкоров, атрибутов картинок,
• проверка сайта с помощью формулы Google PageRank,
• градация проблем сайта от неприоритетных до критических,
• проведение общего мониторинга сайта и получения репорта по результатам,
• возможность улучшить внутреннюю структуру сайта работая с модулем ссылок,
• проверка и устранение ошибки «страница 404»,
• сравнение позиций сайта с конкурентами с помощью сервиса Rank Tracker.

Интерфейс и принцип работы сервиса SiteChecker

Чтобы показать, как работают подобные сервисы, мы проанализировали известный тематический ресурс. Бесплатная версия SiteChecker позволяет изучить 150 страниц, что достаточно для оценки общего «здоровья» сайта.

Внутренний интерфейс SiteChecker предоставляет информацию на английском. Несмотря на отсутствие локализации, он интуитивно понятен даже для новичку в SEO.

На странице проверки видно, какие именно показатели изучаются. Несмотря на большой объём данных, проверка происходит очень быстро.

После завершения проверки пользователь попадает на страницу с ошибками. Цвет ошибки показывает важность проблемы:

• красный: проблемы, которые нужно исправить как можно скорее,
• желтый: менее важные недоработки, которые тем не менее следует устранить для улучшения оптимизации,
• синий: рекомендации и замечания, которые не в приоритете.

После предоставления общей информации о проведенном техническом аудите и найденных ошибках пользователю доступен детализированный отчет о проблемах и вариантах решения.

Рекомендации основываются на многолетнем опыте зарубежных и отечественных SEO-специалистов, которые знают, что нужно делать для продвижения сайта.

Условия и цены сервиса SiteChecker

SiteChecker — условно бесплатный сервис. Бесплатная версия позволяет провести анализ 150 страниц на сайте, стоимость коммерческих тарифов варьируется от 9 до 69 долларов в месяц. Оплатить можно с карты или через платежный сервис PayPal.

Запомнить

• Высокая позиция сайта в поисковых системах — результат кропотливой работы над каждой страницей и контентом на сайте.
• Поддерживать состояние сайта технический аудит. Его можно провести с помощью систем аналитики поисковых систем, но удобнее и быстрее — через автоматические сервисы, например SiteChecker.
• Бесплатные версии сервисов позволяют провести первичный SEO-анализа. Платные версии подходят для регулярного использования.
• Проводите аудит один-два раза в месяц, чтобы вовремя находить ошибки и устранять их.

***

А мы напомним, что технический аудит сайта доступен для пользователей сервиса Rookee. Чтобы его провести, создайте хотя бы одну рекламную кампанию. После этого у вас появится возможность осуществить анализ всего сайта или одной страницы на странице «Технический аудит сайта».