Структура работы поисковых систем

Алгоритмы и реализующая их совокупность компьютерных программ, предоставляющая пользователю возможность быстрого доступа к необходимой ему информации при помощи поиска в обширной коллекции доступных данных. Одно из наиболее известных применений поисковых систем — веб-сервисы для поиска текстовой или графической информации во Всемирной паутине. Существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, информацию в группах новостей Usenet.

Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос. Работа поисковой системы заключается в том, чтобы по запросу пользователя найти документы, содержащие либо указанные ключевые слова, либо слова, как-либо связанные с ключевыми словами. При этом поисковая система генерирует страницу результатов поиска. Такая поисковая выдача может содержать различные типы результатов, например: веб-страницы, изображения, аудиофайлы. Некоторые поисковые системы также извлекают информацию из подходящих баз данных и каталогов ресурсов в Интернете.

Поисковая система тем лучше, чем больше документов, релевантных запросу пользователя, она будет возвращать. Результаты поиска могут становиться менее релевантными из-за особенностей алгоритмов или вследствие человеческого фактора. По состоянию на 2020 год самой популярной поисковой системой в мире и, в частности Google.

Не зря наше время называют веком информационных технологий. От того, насколько быстро и точно будет найдена та или иная информация, насколько она будет соответствовать потребности человека, желающего получить или найти её, очень часто зависит успех в бизнесе и не только.

Поиск информации до недавнего времени представлял из себя сложную и длительную процедуру, ее возможно было найти только в книгах, газетах и других средствах массовой информации. Сегодня, когда огромным хранилищем разнообразной информации является интернет, ее поиск стал и проще, и в то же самое время значительно сложнее.

Сложность поиска информации в интернете обусловлена ее огромным объемом, количеством, многочисленностью и разбросанностью ресурсов, на которых она расположена. Осуществлять поиск информации в интернете без использования специальных методов и приемов - сложное, а порой даже невозможное занятие.

Именно в связи с этим для облегчения работы по поиску информации пользователями сети интернет были созданы специальные поисковые машины или поисковики, которые осуществляют поиск необходимой информации во всемирной сети, используя принципы поиска по ключевым словам и фразам, которые задаются пользователями сети, осуществляющими поиск необходимой им информации различного плана.

Принцип работы поисковой системы достаточно несложен, по нему работают все известные поисковые системы, число которых в интернете превышает миллион: заданное пользователем в специальной строке поиска, слово или словосочетание, соответствующее характеру необходимой информации, анализируется поисковой системой и по нему находятся соответствия в интернете, наиболее подходящие под условия поиска. Работа поисковой системы, таким образом, заключается в нахождении подобных заданным, слов и словосочетаний на многочисленных сайтах, расположенных в сети Интернет.

Активное развитие сети Интернет, произошедшее в последнее десятилетие, привело к тому, что результатами поиска необходимой информации, могли стать десятки тысяч интернет-страниц и сайтов, содержащих слово или фразу, внесенную пользователем в строку запроса. При этом совсем необязательно, что эти страницы или сайты могли соответствовать по смыслу той информации, которую искал пользователь сети.

Эти обстоятельства привели к тому, что разработчиками современных поисковых систем, стали использоваться абсолютно новые принципы поиска, заложенные в поисковые машины, использующие логические и морфологические инструменты построения предложений и фраз. Работающие по таким принципам поисковые системы, имеют возможность отсеивать ненужную информацию, выбирать из найденной информации действительно полезную и выдавать в качестве результатов поиска, преимущественно ту информацию, в которой испытывает потребность пользователь Интернета, осуществляющий поиск.

Как правило, принципы работы поисковых систем, являются ноу-хау их разработчиков, занимающихся постоянным совершенствованием своих поисковых машин.

Интернет уже давно перестал быть простым источником информации и превратился в глобальную зону деловой активности и торговли. Темпы роста оборотов интернет коммерции просто поражают воображение и заставляют многие компании задуматься об использовании таких обширных возможностей для поиска новых клиентов и партнеров, реализации товаров и услуг, автоматизации обслуживания и поддержки покупателей.

Активный рост количества интернет сайтов различных компаний из всех сфер бизнеса постепенно привел к росту конкуренции практически во всех областях бизнеса. Поэтому многие компании стали все серьезнее задумываться о том, как можно выделить свой сайт среди конкурентов и привлечь на него как можно больше заинтересованных пользователей.

Поэтому спрос на SEO (Search Engine Optimization) услуги и рекламу в сети Интернет в настоящее время резко возрос. Сегодня любой владелец сайта хорошо понимает большую важность поисковой оптимизации и продвижения сайта в поисковых системах, так как именно поисковики распределяют значительную долю сетевого трафика.

Однако серьезная конкуренция и техническая сложность качественной оптимизации привели к увеличению стоимости SEO-услуг. Поэтому далеко не каждая компания, а тем более рядовой пользователь сети Интернет, может позволить себе потратится на профессиональную раскрутку сайта и его дальнейшую поддержку.

Многие стараются сократить расходы на оптимизацию за счет самостоятельного выполнения работ, обращения к фрилансерам, автоматическим программным средствам продвижения. К сожалению, в таких ситуациях эффективность работы резко снижается из-за недостатка информации и опыта в SEO сфере.

Поэтому эта серия статей предназначена для того, что бы дать основные понятия об оптимизации и уберечь начинающих веб мастеров от часто допускаемых ошибках при выполнении оптиматизации и раскрутке своего сайта.

Один из самых острых вопросов, возникающих при заказе оптимизации и раскрутки сайта, это, безусловно, сроки. Вполне понятно, что в этом пункте интересы заказчиков и оптимизаторов расходятся. Заказчик жаждет поскорее ощутить реальные результаты продвижения своего сайта, а оптимизатору необходимо немного времени для того, чтобы спокойно и качественно провести весь комплекс работ по продвижению сайта заказчика, не нервничая при этом из-за сжатых сроков. Кроме того, рассуждая о сроках продвижения, не нужно забывать про то, что в этом процессе задействована и третья сторона – поисковые системы, которые не зависят ни от заказчика, ни от оптимизатора и могут в любой момент внести свои непредсказуемые коррективы в результаты раскрутки.

Понятие «сниппет» мало кому знакомо из обычных людей, однако практически каждый пользователь сети Интернет ежедневно множество раз сталкивается со сниппетами. Слово снипет произошло от английского snippet, что в переводе означает – отрывок, часть, фрагмент. Это небольшой отрывок текста страницы сайта, который показывает пользователю поисковая машина, как описание ссылки в итогах поиска по тому или иному запросу. Сниппеты включают контекст, в котором было найдено искомое ключевое слово и, как правило, состоят из заголовка, текста описания или ссылки, адреса найденной страницы, размера страницы и некоторой дополнительной информации, в зависимости от использующейся поисковой машины. Так, например, Яндекс-снипет дополнительно содержит наименование рубрики Яндекс-каталога, в которой зарегистрирована найденная страница и ее последнюю копию.

Снипеты играют важнейшую роль в продвижении сайта. Благодаря им пользователь получает первую информацию о найденных страницах и принимает решение о их просмотре. Всем известно, что по большинству неспециализированных запросов пользователь просматривает лишь первую страницу результатов поиска, причем редко доходит до ее последних ссылок. При выборе ссылки основным элементом конкуренции за внимание пользователя становятся именно сниппеты. Если содержание сниппета достаточно информативно и отвечает запросам пользователя, то поисковый трафик этого интернет-ресурса будет значительно выше, несмотря даже на то, что он может находиться не на первых местах в выдаче.

Принципы формирования снипетов во всех поисковиках схожи, однако у каждой поисковой машины есть свои особенности, что важно учитывать, проводя продвижение сайта. В состав сниппета фактически всегда включается title и поисковая оптимизация сайта должна учитывать это. Title страницы должен содержать максимум информации которая может привлечь внимание и заинтересовать пользователя, однако, нужно помнить, что в снипете отображается от 70 знаков, включая пробелы (для Google), до 118 знаков (для Рамблера). За тайтлом чаще всего следует часть тега description или текста страницы, если в них обнаружены искомые слова. При оптимизации сайта необходимо учесть, что содержимое тега description некоторыми поисковиками выводится, если в нем есть совпадения с запросом, даже при отсутствии искомых слов по тексту страницы. Поэтому, содержание этого тега должно не только содержать необходимые ключевые фразы, но и быть читабельным и интересным для пользователя. Максимальная длина отображения в сниппете этого тега составляет 156 знаков с пробелами в Google и 200 знаков в Яндексе.

Важное значение при оптимизации сайта играет содержание страниц, а также система внутренних ссылок. Именно от контента во многом будет зависеть соответствие сайта тем или иным ключевым запросам и, в конечном итоге, его эффективность. Благодаря грамотному контенту и разумному распределению внутренних ссылок можно добиться высокой ревалентности необходимых страниц и добиться получения красивых и содержательных сниппетов, что поможет значительно увеличить трафик ресурса и повысить его эффективность.

За последние годы интернет стал пристанищем множества информационных ресурсов и коммерческих проектов. Количество сайтов различной тематики и направленности растет удивительными темпами. В этой ситуации конкуренция и борьба за внимание пользователей обретают все более важное значение.

Мерой активности в интернете стал трафик, большую часть которого, как известно, распределяют поисковые системы. Именно по этой причине контекстная реклама и поисковая оптимизация стали основными инструментами в борьбе за трафик. Рассмотрим преимущества и недостатки этих методов рекламы в интернете.

Контекстная реклама – это один из видов интернет рекламы, который активно рекламируется и продвигается поисковыми системами, так как приносит им неплохой доход. Размещение рекламы в этом случае происходит на странице результатов поиска поисковой системы, при этом контекстная реклама сайта хороша тем, что она показывается пользователю в отдельной колонке, независимо от ранжирования и лишь в том случае, если поисковый запрос подходит сайту-заказчику. Оптимизация контекстной рекламы позволяет доставить больше целевой аудитории к сайту и значительно повысить эффективность контекстной рекламы. При этом размещение контекстной рекламы не требует специальных навыков и доступно каждому. Стоимость контекстной рекламы устанавливается за «клик» и определяется посредством открытого аукциона за позиции контекстной ссылки по конкретному поисковому запросу. Сегодня цена на контекстную рекламу колеблется от нескольких центов до нескольких десятков долларов за «клик».

Рынок контекстной рекламы активно развивается и поддерживается всеми поисковыми системами, развивающими собственные системы контекстной рекламы. В рунете среди систем контекстной интернет рекламы наиболее широко представлены Яндекс директ, контекстная реклама Бегун, контекстная реклама Google и контекстная реклама Rambler. Сегодня каждый может самостоятельно разместить контекстную рекламу или обратиться в агентство контекстной рекламы, например в компанию МЕТКО, чтобы сэкономить свое время, доверив контекстное продвижение и проведение рекламных кампаний профессионалам.

Важнейшим плюсом контекстной рекламы является возможность быстро и относительно недорого получить большой поток целевой аудитории на сайт, однако, вы получаете поисковый трафик только пока платите за размещение контекстной ссылки, к тому же исследования показывают, что лишь один человек из 7 предпочитает результатам выдачи контекстную ссылку.

Поисковая оптимизация – это комплекс мер, направленных на повышение авторитетности сайта для поисковых систем. В результате работы грамотных специалистов над контентом, функциональностью, ссылочной базой и структурой сайта, ресурс становится более весомым для поисковых систем. Повышаются такие показатели как тИЦ и PR, в результате сайт занимает более высокие позиции в результатах поиска по ключевым запросам и получает уже «бесплатный» поток целевого трафика. Огромным плюсом качественной поисковой оптимизации, является постоянство ее эффекта, то есть, однажды вложившись в оптимизацию сайта уже не придется постоянно платить за поисковый трафик и рекламу, и на сайт по многим низкочастотным запросам ежедневно будут приходить целевые посетители.

Подводя итоги можно сделать вывод, что если необходим быстрый кратковременный эффект по привлечению целевой аудитории, лучше воспользоваться контекстной рекламой, но если нужно обеспечивать высокий поисковый трафик по низкой цене в долгосрочном периоде, то лучшим стратегическим инструментом интернет маркетинга является поисковая оптимизация сайта.

Одним из первых и, пожалуй, важнейших этапов поисковой оптимизации интернет сайта является подбор ключевых слов (keywords). Именно грамотный подбор ключевиков во многом определяет судьбу всей будущей работы по продвижению вэб сайта. Ошибки при подборе ключевых слов, делают дальнейшую оптимизацию сайтов под ключевые слова малоэффективной.

Подбор и анализ ключевых слов желательно начинать еще до создания самого сайта, чтобы добиться максимальной оптимизации сайта под запросы. Как правило, начальный список ключевых фраз составляет владелец или заказчик сайта, только он наиболее полно представляет особенности своего бизнеса, товара или услуги и может выявить наиболее приоритетные направления для раскрутки своего сайта в поисковых машинах. Для многих выбор ключевых слов - это какой-то магический процесс, но на самом деле в этом нет ничего сложного. Заказчику важно лишь подобрать ключевые слова и фразы наиболее точно отражающие деятельность и продукты будущего сайта, при этом список ключевых слов изначально может быть достаточно большим.

Следующим этапом является «фильтрация списка ключевиков», она осуществляется по следующим принципам:

 * Обычно одинаковые ключевые слова сайта в различных словоформах не дифференцируются поисковиками и воспринимаются как один запрос.

 * Подавляющее большинство пользователей вводят поисковые запросы строчными буквами.

 * Более точные и длинные ключевые слова поиска дают больше возможностей по эффективной раскрутке сайта.

Дальнейший подбор ключевых слов желательно проводить уже с помощью опытного web-мастера и оптимизатора. Оценка ключевых слов осуществляется исходя из того, что основная цель оптимизации под поисковые запросы в том, чтобы база ключевых слов сайта максимально соответствовала списку запросов целевой аудитории сайта. Запросы поиска далеко не всегда носят четкие литературные формулировки и часто достаточно индивидуальны. Совокупность формулировок наиболее популярных запросов целевой аудитории называется семантическим ядром сайта. Для подбора популярных ключевых слов опытные оптимизаторы располагают большим набором средств.

Вот статистика поисковых запросов различных поисковых систем:

   * Яндекс http://wordstat.yandex.ru

   * Google http://adwords.google.com

   * Рамблер http://adstat.rambler.ru/cgi-bin/wrds_stat.pl

Данные сетевые сервисы предоставляют множество полезной информации по статистике запросов Яндекса и других поисковиков, позволяют получить информацию о конкретном запросе и сравнить ее с данными по схожим поисковым запросам. Это позволяет составить рейтинг ключевых слов и подобрать основные ключевые слова для вашего сайта.

Кроме того, существует множество вспомогательных сетевых ресурсов, программ, различных генераторов ключевых слов, которые позволяют автоматизировать анализ статистики ключевых слов и подбор базы ключевых слов для сайта. При подборе ключевых слов важно помнить, что они должны отражать тематику сайта и лаконично вписываться в его контент и метатеги, в противном случае сайт может попасть под санкции поисковых систем за поисковый спам.

После того как составлен окончательный список ключевых слов и фраз, которое принято называть семантическое ядро сайта, можно приступать к оптимизации кода сайта и работой над внешними факторами.

С появлением интернета ссылки стали постоянным спутником пользователей и вэб-мастеров. Изначально, система ссылок была разработана для удобства пользователей и каждый ресурс мог разместить ссылку на любой другой сайт. Интересные ссылки использовались пользователями для навигации в сети. Постепенно развитие интернета и системы обмена ссылками привели к тому, что сайты превратились в важный элемент бизнеса. Трафик в свою очередь стал ценной составляющей успеха сайта, а поисковики превратились в его основной источник. Сервис ссылок вырос в сложную систему, где хорошие ссылки покупаются и продаются, сайты обмениваются тематическими ссылками, а ссылочный бюджет некоторых ресурсов измеряется не одной тысячей долларов.

Как известно поисковый трафик распределяется под влиянием факторов ранжирования используемых поисковиком для определения авторитетности того или иного сайта. Рассмотрим основные из них:

* Внутренние факторы. Контент сайта, структура внутренних ссылок и размещение ссылок на сайте и т.д.

* Пользовательские факторы. Посещаемость сайта, источник трафика, характер просмотра.

* Внешние факторы. Ведущим внешним фактором являются внешние ссылки (в виде текстовых ссылок, кнопок, баннеров, картинок и т.д.) с других сайтов или каталогов ссылок.

Важность получения ссылок в том, что ссылочное ранжирование сегодня имеет основной вес в ранжировании ведущих поисковых систем. При обработке ссылочной массы учитывается:

* Количество ссылок. Качество линков (от англ. link – ссылка) на оцениваемый сайт.

* Весомость и тематичность сайтов, где расположены прямые ссылки на ресурс.

* Текст ссылок. Характер и тематичность текста, окружающего внешние ссылки.

* Стабильность ссылок, частоту изменений текста ссылок и их окружения.

Система ранжирования поисковиков показывает, что наиболее полезные ссылки это текстовые внешние ссылки с близких по тематике сайтов с высоким тИЦ и PR, находящиеся в тексте страницы, при этом окружающий текст и текст ссылки не должны изменяться.

Как же обзавестись полезными ссылками, чтобы раскрутить свой ресурс в сети? За годы существования интернета оптимизаторы придумали немало способов заполучить новые ссылки для своего сайта. Рассмотрим некоторые из них:

Размещение ссылок в каталоги ссылок и каталоги сайтов.

Добавить сайт или добавить ссылку в каталог может любой пользователь.

Изначально это были бесплатные ссылки, но, с ростом спроса, началась продажа ссылок, и появились платные ссылки. Сегодня в сети существует масса платных и бесплатных каталогов ссылок и сайтов.

Ручной обмен ссылками между веб-мастерами.

Как правило, на сайте для этого выделяется страница ссылок, куда администратор может вставить ссылку дружественного сайта или удалить ссылку, когда она будет не нужна.

Получить ссылки можно и путем автоматизированного обмена ссылками,

но в этом случае весомость ссылок для поисковиков будет не велика.

Покупка ссылок, когда один ресурс платит другому за размещение ссылки.

Купить ссылки или продать ссылки можно на бирже ссылок, такой как Sape и ей подобные биржи продаж ссылок. Стоимость ссылок сильно варьирует и зависит от авторитетности и места размещения ссылок. Наиболее дорогими являются ссылки на морде (главной странице сайта).

Естественные ссылки.

Это получение прямых ссылок при размещении интересных и полезных материалов на сайте.

Таким образом, если не злоупотреблять ссылочным спэмом и генераторами ссылок, то наращивание качественной внешней ссылочной базы позволяет ощутимо повысить ранжирование сайта и позволяет ему занять почетное место в результатах поиска.

Мета-теги (от англ. meta-tags) или мета-определители – это элементы программного кода интернет-страницы, которые непосредственно не отображаются на экране монитора пользователя сети, но несут широкую функциональную активность. А также содержат указания для поисковых роботов и прочую служебную информацию, описывающую свойства HTML-документа. Наличие метатегов не является обязательным, однако желательно, чтобы основные мета-теги все же присутствовали. Мета-теги, как правило, располагаются в рамках тега head, и вставляются после тега Title. Всего мета-тегов несколько десятков, все их подразделяют на две группы: name (тег meta description, keywords, robots author, copyright и др.) и http-equiv (тег meta content-language, script-type, refresh, set-cookie и др.). Мета теги группы name несут информацию о документе и определенные рекомендации для поисковых роботов. Мета-теги группы http-equiv участвуют в построении заголовка страницы и формировании алгоритма его обработки. Поисковики используют метатеги для индексации интернет-страниц и формирования сниппетов (описаний интернет-страниц в результатах поиска).

Благодаря взаимосвязи с поисковыми системами мета-теги активно используются при продвижении и оптимизации сайтов. К сожалению, «черные» методы продвижения сайта, такие как спам мета-тегов или спамдексинг, сделали вес метатегов при индексации и ранжировании поисковой системы Яндекс значительно ниже, чем в 1996-2001 годах. Есть даже мнение, что их вовсе перестали учитывать, однако говорить о полной утрате значимости мета-тегов в поисковой оптимизации пока рано, к тому же политика различных поисковых систем в отношении мета-тегов неодинакова.

Наибольший интерес при оптимизации и продвижении сайтов обычно вызывают тег title, тег meta keywords и тег meta description. Значение тега title навряд ли у кого-то вызывает сомнения. Поисковая оптимизация сайта должна учитывать, что этот тег включается в содержание сниппета, и от его привлекательности и содержания во многом будет зависеть, станет ли пользователь вашим посетителем или нет.

Тег meta keywords может быть использован поисковыми системами в определении релевантности. Конечно, ключевые слова, которые в нем прописаны, рассматриваются поисковиками лишь как рекомендация, но порой, в нужный момент, это может сыграть решающую роль в вечной конкуренции за внимание пользователя. При написании этого метатега следует помнить, что не рекомендуется повторять одно и то же ключевое слово (даже в разных словоформах) более 2-3, это будет рассматриваться поисковиками как поисковый спам, что может вызвать нежелательные санкции. Если сайт ориентирован на разные языковые группы пользователей, то и ключевые слова необходимо составлять на необходимых вам языках. Кроме того, не рекомендуется разбивать мета-тег keywords на несколько строк, так как алгоритм роботов отдельных поисковиков ограничен только одной строкой.

Понятие поисковой оптимизации знакомо большинству пользователей глобальной паутины.

Все понимают, что оптимизация и раскрутка важны для каждого ресурса. В результате продвижения, сайт может повысить свои позиции в поисковой выдаче по ключевым запросам, растет посещаемость ресурса, процент конвертируемости посетителей и, соответственно объем продаж товаров и услуг. Однако мало кто понимает, что поисковое продвижение сайтов это очень сложный процесс, требующий времени, глубоких знаний в области механизмов работы поисковых систем и алгоритмов раскрутки интернет ресурсов.

Заказывая поисковую оптимизацию сайта, владельцы ресурсов часто хотят получить гарантии продвижения. Желания заказчиков вполне понятны, они хотят как можно быстрее увидеть результаты продвижения сайтов, либо, при низкой эффективности раскрутки, иметь гарантию частичного или полного возврата средств. При этом они часто не понимают технической сложности реализации продвижения сайтов. Гарантии давно стали объектом споров и одной из основных тем для разговора между оптимизаторской компанией и заказчиком.

Чаще всего, заказчики требуют зафиксировать в письменном договоре конкретные сроки и видимые результаты раскрутки сайтов. Гарантии, которые чаще всего становятся предметом обсуждений, это конкретные позиции в результатах выдачи определенных поисковых систем: первое место, топ 5 или топ 10 по конкретным запросам. К сожалению, гарантии продвижения часто приводят заказчиков к обычным мошенникам, так как ни один профессиональный оптимизатор не будет давать жестких гарантий относительно позиций сайта заказчика в выдаче.

Никто, кроме администрации поисковой системы не может дать твердых гарантий по поводу положения сайта-заказчика в выдаче поисковой системы. Объяснение этому очень простое: гарантировать результаты продвижения сайтов таким образом очень рискованно даже для гениев раскрутки. Гарантия должна быть обеспечена результатами продвижения, но есть масса факторов, на которые ни один оптимизатор не в состоянии оказывать контролируемого воздействия, это непредсказуемость работы поисковиков, постоянное совершенствование и смена механизмов ранжирования, действия конкурирующих сайтов, технические проблемы сети, хостинга сайта-заказчика и многое другое. Таким образом, гарантии продвижения в виде конкретных мест сайта в выдаче, числа посетителей, значений тИЦ и PR должны наводить заказчика на мысли о мошенничестве или, как минимум, о непрофессионализме оптимизаторов.