Исторические предпосылки развития поисковых систем

Поисковые системы предназначены для поиска и структурирования данных, которые хранятся в интернете. До появления поисковых систем в интернете все хранилось в виде коллекции данных по средствам FTP, что бы найти определенный файл требовалось потратить не мало времени и усилий. Со временем интернет развивался и наполнялся новыми данным и ручной поиск стал невозможен, в этот момент потребовалось разрабатывать поисковую систему, которая оптимизирует весь процесс.

Первая поисковая система была разработана Аланом Эмеджом в 1990 году и являлась школьным проектом, правда его система разительно отличалась от современных ввиду отсутствия возможности поиска по ключевым запросам. Спустя несколько лет вышел проект Wandex написанный на языке программирования Perl от Мэтью Грей именно он положил начало для поисковых систем в том формате, в котором они представлены сегодня. К тому же технология Wander первая стала использовать веб-индексацию и поиск каталога индексируемых страниц в сети.

Первый полнотекстовой индексирующий ресурсы поисковой системой, стала система WebCrawler которая увидела свет в 1994 году. Эта система позволяла искать по любым словам расположенным на странице в отличие от своих предшественников которые искали только по названию страницы, это стало стандартом для следующих поисковых систем.

В 1996 году когда интернет стал набирать популярность в России, появилась необходимость в отечественных поисковых системах, которые поддерживали бы Русский язык. Реализация данной системы была на поисковой машине Altavista и запущены на оригенальной поисковой машине Рамблер и Апорт. 23 сентября 1997 года была открыта поисковая машина Яндекс.

Большинство современных систем работают поэтапно. Сначала робот получает контент, затем индексатор генерирует доступный для поиска индекс, в конце поисковик производит функциональность для поиска индексируемых данных. Все эти действия цикличны, поисковой робот совершает этот цикл определенный отрезок времени.

Поисковая система работает, храня информацию о веб-страницах, которую она получает и HTML страниц. Поисковой робот проходит по всем ссылкам найденных на странице и выделяет их. Робот, основываясь на ссылках или списке адресов осуществляет поиск новых документов, еще не известных поисковой системе. Разработчики сайта которые не хотят, что бы их страница индексировалась могут задать определенные настройки в файле robots.txt который специально предназначен для поискового робота.

Поиск со стороны пользователя осуществляется при помощи запроса который вводится в поисковую систему, система проверяет индекс и показывает список наиболее подходящих и отсортированных веб-страниц. Так же большинство современных систем позволяют использовать булевые или логические операции И, ИЛИ и НЕ, что позволяет более точно составить ключевой запрос.

После появления обычных поисковых систем у людей появилась потребность в анонимности, для этого была разработана так называемая луковая маршрутизация. Идея луковой маршрутизации состоит в том, чтобы сохранить анонимность и обеспечить безопасность при поиске и передаче данных. На деле, использования луковой маршрутизации имеет ряд минусов, например отсутствие нормального поиска. Так же использование таких методов все таки не дает 100% гарантии, что вы останетесь анонимным.

Основная предпосылка для развития поисковых систем это оптимизация поиска и она будет актуальна всегда из-за прогресса. Постоянно требуются новые фильтры для упрощения поиска, например дата или поиск по области, что бы людям которые пишут запрос «Куплю машину» выдавало список страниц, в котором на первых местах будут предложения связанные с их городом. Со временем поисковые системы стали не просто способом для удобного поиска информации, они стали некой торговой сетью. Многие системы стали предоставлять контекстную рекламу, что в свою очередь является предпосылкой для коммерции.

Исходя из потребностей поисковые системы разделились на несколько типов.

1)Системы использующие только поисковых роботов.

2)Системы которыми управляет человек.

3)Гибридные системы.

4)Мета системы.

Большинство систем принадлежат к 1 типу так как он наиболее оптимальный ввиду скорости работы и автоматизации процесса. Но даже в таких системах возможно вмешательство человека.

На данный момент у разных поисковых систем, разные алгоритмы, соблюдая которые сайт занимает более высокую позицию в поисковой выдаче, что позволит привлечь больше целевых посетителей. Благодаря этому появилось новая профессия SEO оптимизатор.