МИНОБРНАУКИ РОССИИ

Государственное образовательное учреждение высшего профессионального образования

«РОССИЙСКИЙ

ГОСУДАРСТВЕННЫЙ ГУМАНИТАРНЫЙ УНИВЕРСИТЕТ»

Филиал РГГУ в г. Санкт-Петербурге.

Санкт-Петербург 2011

Введение 3

1. Сеть интернет как современный источник информации 4

2. Специфика информации в учебной деятельности студента 6

3. Особенности использования сети интернет в поиске информации для учебной деятельности студента 8

Заключение 13

Список источников и литературы 14

Введение

Сегодня студенту не обойтись без ПК. Общение с компьютером начинается еще со школы, где ученики осваивают азы компьютерных технологий, знакомятся с образовательными веб-сайтами Интернета. Как правило, при поступлении в вуз многие абитуриенты уже хорошо знакомы с компьютером, и у большинства он есть дома.

Чтобы облегчить себе учебный процесс зачастую студенты прибегают к помощи Интернета, скачивая рефераты и сочинения. До поры до времени такое отношение к занятиям может сходить с рук. Однако обучение в вузе предполагает более серьезный подход, требует освоения разных специфических наук. В этом смысле Интернет уже перестает быть достоверным источником информации, а в некотором смысле и вовсе вреден.

Современный Интернет имеет много социальных и культурных граней он является универсальной информационной средой. В связи с этим вопрос Интернета как источника информации в учебной деятельности студента является актуальным.

Задачами работы являются:

Дать характеристику сети интернет как современного источника информации.

Раскрыть специфику информации в учебной деятельности студента.

Рассмотреть особенности использования сети интернет в поиске информации для учебной деятельности студента.

1. Сеть интернет как современный источник информации

Согласно сайту wikipedia.org: Интернет (произносится [интэрнэт]; англ. Internet) – всемирная система объединенных компьютерных сетей, построенная на использовании протокола IP и маршрутизации пакетов данных. Интернет образует глобальное информационное пространство, служит физической основой для Всемирной паутины и множества других систем (протоколов) передачи данных. Часто упоминается как «Всемирная сеть» и «Глобальная сеть». В обиходе иногда говорят «инет» 1 .

В настоящее время, когда слово «Интернет» употребляется в обиходе, чаще всего имеется в виду Всемирная паутина и доступная в ней информация, а не сама физическая сеть.

Сегодня, Интернет становится одним из основных источников информации благодаря гиганскому количеству данных, размещенных в сети и возможностью легкого к ним доступа. При этом поиск в сети приобретает все большую практическую ценность поскольку с быстрым увеличением объема доступных данных все более усложняется и процедура поиска необходимой информации 2 .

В сети наличествует гигантское количество информационных ресурсов. По некоторым оценкам, число документов превысило 65 млн. и продолжает стремительно расти 3 . Такой объем информации требует правильной организации процесса поиска и применения специальных технологических средств, таких как поисковые машины. Простой поиск по ключевому слову дает обычно от десятков тысяч до нескольких миллионов ссылок очевидно, что работа с таким большим количеством документов практически невозможна, то есть содержит информацию, не относящуюся к делу.

Помимо проблемы поиска существует проблема достоверности информации в интернет. Легкость доступа и публикации данных делает возможным легкое распространение ошибочной, а зачастую и намеренно лживой информации 4 .

Эти две проблемы: поиска и достоверности определяют специфику интернета как источника информации.

2. Специфика информации в учебной деятельности студента

Согласно сайту wikipedia.org: Термин информация происходит от латинского слова information, что означает «сведения, разъяснения, изложения» 5 .

В настоящее время наука пытается найти общие свойства и закономерности, присущие понятию «информация», но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в разнообразных отраслях человеческой деятельности.

В обиходе информацией называют любые данные или сведения, которые кого-либо интересуют, например сообщение о каких-либо событиях, о чьей-либо деятельности и т.п. «Информировать» в этом смысле означает «сообщить нечто, неизвестное раньше».

Информация - сведение об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний 6 .

Одно и тоже информационное сообщение (статья в газете, объявление, письмо, телеграмма, справка, рассказ, чертеж, радиопередача, и т.п.) может содержать разное количество информации для разных людей в зависимости от их накопленных знаний, от уровня понимания этого сообщения и интереса к нему 7 .

Исходя из вышеизложенного, можно заключить, что информация в учебной деятельности студента должна обладать рядом специфичных особенностей.

1. Информация должна соответствовать степени подготовленности студента, его уровню знаний. Слишком высокий уровень сложности снижает усвояемость и понижает мотивацию студентов. Слишком низкий уровень – снижает информативность и отрицательно влияет на эффективность процесса обучения.

2. Информация, используемая студентом должна быть актуальна, т.е. соответствовать современному уровню научных знаний и развитию общества.

3. Информация, используемая студентом должна быть достоверна.

4. Информация, должна быть доступна с точки зрения ее каталогизации и поиска.

3. Особенности использования сети интернет в поиске информации для учебной деятельности студента

Современный студент, вооруженный персональным компьютером, хорошо осведомлен о том, что и где находится в Интернете. Он вполне виртуозно добывает в Интернете все то, что ему нужно для создания очередного обязательного творения: сочинения, реферата, курсового проекта, диплома и т.п. И после небольшой доработки, которая часто заключается лишь в указании своей фамилии и номера группы, распечатав на принтере, сдает «свою работу» преподавателю 8 .

При этом его лень возрастает многократно, и такой подход уменьшает вероятность на успех в будущей карьере. Стоит отметить, что практика списывания, которая по существу является плагиатом, распространена в России намного больше чем на Западе, что уменьшает шансы получить престижную работу в конкуренции с выпускниками западных Вузов.

Чтобы достичь успеха в конкурентной борьбе, следует научиться обрабатывать колоссальные объемы информации, уметь просматривать образцы письменных работ, подмечая в них слабые и сильные стороны, пробовать «препарировать» чужой текст, чтобы выделить из него наиболее существенную часть. На основе полученного скелета студенту следует научиться создавать требуемую работу. По существу такая работа проводилась в библиотеках с книгами до того как случился информационных бум Интернет 9 . Здесь также важна работа преподавателя, которому следует грамотно направлять студента, не запрещая использование Интернет, а указывая на возможные подводные камни и давая наставления по использованию. Например, чтобы сузить круг поиска преподаватель может посоветовать те или иные информационные ресурсы, таким образом обеспечивается адаптация обучающего материала к подготовке студента, вдобавок преподаватель поможет отфильтровать ложную и некорректную информацию.

В современном информационном обществе все больше возрастает роль преподавателя. Так например учителя «старой школы» могут годами читать одни и теже лекции, нисколько не интересуясь последними достижениями в данной отрасли, сфере деятельности. Более того, студент с любым мобильным устройством, подключенным к Интернет может поставить в тупик любого преподавателя. Преподаватель уже не воспринимается как единственный источник знания. В любой момент студент с Интернетом может и поправить преподавателя, и покритиковать и поставить перед неразрешимым вопросом. Преподаватель должен быть к этому готовым, таков вызов современного общества к современной системы образования. Преподаватель не должен злиться, уходить от ответа или сочинять ответ на ходу. Если раньше отношение преподаватель-студент строились по принципу старший-младший, то теперь они должны быть более приближены к принципу интернет: равный-равному.

Есть еще одна опасность, которая хранит в себе мобильность интернета, а именно отсутсвие необходимости что-либо запоминать. А зачем? Если всегда можно спросить у Яндекса. Чтобы не попасть в эту ловушку студент должен выполнять все задания предавателя, не лениться, записывать, запоминать, учить. Именно багаж знаний в человеческой памяти образует его общую эрудицию и способность решать прикладные задачи в заданной предметной области. Крайняя степень этого эффекта мобильности заключается в том, что студент, встретив незнакомый термин, говорит себе: «Я могу посмотреть значение этого термина в Интернет в любой момент. Сейчас у меня нет времени, я потом посмотрю» - вот таким образом и наступают пробелы в образовании. До эры Интернет студент бы размышлял по-другому: «Я могу посмотреть значение этого термина в словаре (учебнике, энциклопедии, …). Сейчас у меня нет времени, но мне придется посмотреть значение этого термина и запомнить его, потому что я не могу все время ходить со словарем».

С точки зрения самообразования перед студентом, да и перед всем обществом стоит проблема информационного кризиса 10 . Информационный кризис заключается в противоречивом единстве «информационного голода» и «информационного взрыва», то есть в дефиците информации в условиях ее перепроизводства 11 . Количество информации по определенной области человеческой деятельности перевалиливает за способности человеческого мозга 12 . Поэтому возрастает необходимость в систематизации информации и в фильтрации информационных шумов. Студенту следует использовать проверенные источники, рекомендованные преподавателем, указанные в списках литературы учебников.

Скорость роста информации поддается оценке. Библиотекарь Р. Бартон и физик Р. Кеблер из США ввели понятие «полупериод жизни» научных статей по аналогии с периодом полураспада радиоактивных веществ. Полупериод жизни публикации – это время в течение которого была опубликована половина всей используемой в настоящее время литературы по какой-либо отрасли или предмету 13 . Например, если полупериод жизни публикации по физике равен 4,6 года, то это означает, что 50% всех ныне используемых (цитируемых) публикаций по этой отрасли имеют возраст не более 4,6 года. Хотя такое определение дает численную оценку старения информации, к такой оценке нужно относится осторожно и в конечном свете каждый специалист сам определяет глубину и степень давности, необходимую ему в каждом конкретном случае 14 . Для студента степень актуальности информации поможет определить научный руководитель.

Еще одной особенностью информации в интернет является ее рассеяние по ансамблю источников – закон Брэдфорда 15 . Упрощенно это можно сформулировать так: 1/3 научных статей по конкретной теме будет опубликована в малом количестве источников, непосредственно касающихся данной темы. Следующая треть будет опубликована в большем количестве источников, касающихся данной темы. И последняя треть будет опубликована в источниках, не имеющих никакого отношения к теме, причем соотношение количества источников в этих зона по Бредфорду равны. Учитывая эту закономерность, следует отметить, что достижение полной информативности по конкретной теме невозможно, если исследователь ограничивается кругом источников по данной проблеме, не прибегая к помощи специальных информационно-сервисных и библиографических служб. В большинстве случаев студенту будет достаточно первой трети, однако для более глубоких работ, таких как курсовые работы по профильным дисциплинам, дипломная работа, студенту необходимо обращаться за помощью к такого рода электронным каталогам.

Несмотря на то, что свобода доступа пользователей Интернета к информационным ресурсам не ограничивается государственными границами, но языковые границы сохраняются. Преобладающим языком Интернета является английский язык. Вторым по популярности является китайский язык, а третьим - испанский. Русский язык занимает 9 место 16 . В связи с этим студент, владеющий иностранными языками, в первую очередь английским, получает доступ к гораздо большей информации. Если говорить о разделении информации в сети Интернет, то стоит отметить, что информация по различным областям человеческой деятельности представлена не равномерно в плане объема. В интернет больше технической информации, связанной с программированием, информационными технологиями, устройством компьютера и меньше информации связанной с гуманитарными науками. Это можно объяснить тем, что технические специалисты так или иначе связаны с информационными технологиями и Интернет по роду своей деятельности, и поэтому количество публикуемых ими материалов выше.

Заключение

Подводя итог рассмотренным аспектам Интернета как источника информации в учебной деятельности студента можно выделить основные ключевые особенности и рекомендации.

Студент должен уметь пользоваться Интернетом и при этом постоянно совершенствовать свои навыки использования Интернета.

Студенту следует, полагаясь на информацию в Интернет проверять ее степень достоверности и актуальности.

Для поиска информации по заданной тематике целесообразно использование специализированных электронно-библиографических каталогов.

Для увеличения эффективности использования Интернет студенту следует совершенствовать английский язык, как наиболее распространенный в Интернет.

Отвечая вызовам информационного общества, студент должен уметь обрабатывать большие объемы данных, выделяя из них ключевую информацию и отфильтровывая избыточные и ненужные данные.

Интернет дает не только огромные возможности по получению информации, но и таит в себе опасность в виде шпаргалки, которая часто оказывает медвежью услугу в процессе обучения.

Следует заметить, что по пунктам 2 и 3 студент должен работать в непосредственном контакте со своим научным руководителем.

Список источников и литературы

Литература

Блюменау, В. И. Информация и информационный сервис. / Д. И. Блюменау. – Л.: Наука, 1989.– 192 с.

Галеева, И. С. Интернет как инструмент библиографического поиска / И. С. Галеева; науч. ред. М. И. Вершинин. – СПб.: Профессия, 2007. – 248 с.

Ефимов, А. Н. Информационный взрыв: проблемы реальные и мнимые / А. Н. Ефимов. – М.: Наука, 1985. – 160 с.

Информационный поиск в сети Интернет: учеб. пособие / В. И. Аверченков, В. В. Мирошников, С. М. Рощин и др.,; Брян. гос. техн. ун-т.­­ – Брянск, 2001. – 28 с.

Кузин, Ф. А. Кандидатская диссертация: методика написания, правила оформления и порядок защиты: практ. Пособие для аспирантов и соискателей учен. Степени / Ф. А. Кузин. – . – М.: Ось-89, 1999. – 208 с.

Кузнецов И. Н. Интернет в учебной и научной работе: Практическое пособие. – 2-е изд. – М.: Издателско-торговая корпорация «Дашков и К о », 2005. – 192 с.

Кузнецов И. Н. Учебник по информационно-аналитической работе. М.: Яуза, 2001. – 320 с.

Михайлов, О. А. Новое в поиске в Интернете по источникам 2000-го года / О. А. Михайлов; Рос. гос. арх. науч.-техн. документации. – М.: Макс Пресс, 2001. – 171 с.

Паршукова Г. Б. Методика поиска профессиональной информации: учеб.-метод. Пособие / Г. Б. Паршукова.­– СПб.: Профессия, 2009. – 224 с.

Соломенчук В. Г. Интернет: Краткий курс. СПб.: Питер, 2001 – 322 с.

Ресурсы Интернет

URL: Интернет

URL: http://ru.wikipedia.org/wiki/Информация

1 URL: http://ru.wikipedia.org/wiki/ Интернет

Память компьютера содержит информацию, хранимую в виде потока данных. Информация может быть логически организована в файлы, с записями внутри файлов и индивидуальными элементами внутри записей. Когда файлы организованы таким образом в базе данных, каждая запись содержит идентификационный ярлык, или ключ. Это может быть кодовый номер, имя или дата.

В поисках записи компьютер прямо или последовательно, в зависимости от способа хранения данных, вызывает элементы данных и проверяет, содержат ли они нужный ключ. Если данные хранятся на ленте, то файлы организованы последовательно; если данные хранятся на диске или на жестком диске, данные могут быть доступны и прямо и последовательно.

Программа поиска базовой информации. Когда ключ открывает запись, компьютер сканирует память и показывает запись.

Данные, хранимые на магнитных дисках

Дорожки магнитного диска хранят не только данные, но и адреса данных, что открывает компьютеру прямой доступ к информации. В вызове на изображении внизу адреса данных записаны в области счета, а содержание ключевых элементов в ключевой области.

Программа поиска включается, когда введен ключ. В файлах с прямой организацией программа поиска узнает адрес данных из ключа, получает информацию и приказывает оперативной системе считать данные.

Экран поиска информации позволяет оператору получить информацию, просто выбрав элемент из меню, без использования ключа.

Жесткий диск состоит из нескольких круглых пластин, собранных на одной оси. Цилиндр составлен из дорожек, каждая из которых занимает одно и то же место на каждой пластине. Цилиндры нумеруются от внешней стороны к внутренней, а дорожки цилиндров - сверху вниз. Таким образом, адрес одного элемента данных будет цилиндр хх, дорожка уу.

Как осуществляется поиск

1. Последовательный поиск.

Компьютер сканирует данные в строгом порядке. Чем больше количество данных, тем ниже эффективность этого метода.

2. Прямой поиск.

Местонахождение желаемых данных находится при помощи ключа. Поэтому данные должны храниться в области ключа.

3. Двойной поиск.

Данные должны быть организованы в том же порядке, что и ключи. Поиск начинается с проверки срединных данных, что позволяет определить, находятся ли желаемые данные под верхним или под нижним ключом. Это наполовину сужает круг поиска.

Поиск информации - задача, которую человечество решает уже многие столетия. По мере роста объема информационных ресурсов, потенциально доступных одному человеку, были выработаны все более изощренные и совершенные поисковые средства, и приемы, позволяющие найти необходимый документ.

По книге К. Маннинга «Введение в информационный поиск» , можно сказать, что эффективная работа любой ИПС основана на быстроте и возможностях многоаспектной выборки нужных данных из большого массива (поиск информации) для внутренней работы с данными. Это накладывает определённые требования на организацию правил поиска, построение пользовательского и программного интерфейса и формы предоставления информации.

Реализация вышеперечисленных требований возложена на следующий ряд структурных компонентов, так называемых блоков [приложение 4].

По книге Варфоломеева А.А. «Основы информационной безопасности» , в основе выбора именно такой структуры информационно-поисковой системы лежит очень простая логика - любой блок системы должен получать данные, обрабатывать их и выдавать пользователю в определенном порядке, обеспечивая логику процесса.

Невозможно говорить об информационно-поисковых системах, не упомянув про такое понятие, как поисковая машина. Как пишет Д.Н. Колисниченко в книге «Поисковые системы и продвижение сайтов в Интернете» , Поисковая машина - система с формируемой роботом базой данных, содержащей информацию об информационных ресурсах. Отличительной чертой поисковых машин является тот факт, что база данных, содержащая информацию об Web-страницах, формируется программой-роботом. При получении результата, если название и описание документа соответствует вашим требованиям, можно немедленно перейти к его первоисточнику по ссылке. Это удобнее делать в новом окне, чтобы иметь возможность далее анализировать результаты выдачи. Многие поисковые системы позволяют проводить поиск в найденных документах, причем имеется возможность уточнить запрос введением дополнительных терминов. Если интеллектуальность системы высока, то присутствует так же возможность поиска похожих документов. Однако, автоматизация определение похожести - весьма нетривиальная задача, и зачастую эта функция работает не всегда правильно. Некоторые поисковики позволяют провести пересортировку результатов. Стоит обратить внимание на то, что различные поисковые системы описывают разное количество источников информации в интернете. Поэтому нельзя ограничиваться поиском только в одной из указанных поисковых систем. Существуют различные инструменты поиска, которые не формируют собственный индекс, но умеют использовать возможности других поисковых систем. Это, как пишет Н.А. Гайдмамакин в книге «Автоматизированные информационные системы, базы и банки данных» , метапоисковые системы (поисковые службы) - системы, способные послать запросы пользователя одновременно нескольким поисковым серверам, затем объединить полученные результаты и представить их пользователю в виде документа со ссылками.

Так же, Д.Н. Колисниченко пишет, что для наиболее точного и быстрого нахождения необходимой информации в сети, ИПС используют индексирование .

Поисковый индекс - структура данных, которая содержит информацию о документах и используется в поисковых системах.

Индексирование (или индексация), совершаемое поисковой машиной, - процесс сбора, сортировки и хранения данных с целью обеспечить быстрый и точный поиск информации. Создание индекса включает междисциплинарные понятия из лингвистики, математики и информатики.

Популярные поисковые машины сосредотачиваются на полнотекстовой индексации документов, написанных на естественных языках. Мультимедийные документы, такие как видео и аудио и графика также могут участвовать в поиске.

А.Ю. Келина в книге «Основы информационной безопасности» пишет о том, что метапоисковые машины используют индексы других поисковых сервисов и не хранят локальный индекс, в то время как поисковые машины, основанные на кэшированных страницах, долго хранят как индекс, так и текстовые корпусы. В отличие от полнотекстовых индексов, частично-текстовые сервисы ограничивают глубину индексации, чтобы уменьшить размер индекса.

Архитектура поисковой системы различается по способам индексирования. Индексы бывают следующих типов [Приложение 5]:

• · Прямой индекс. Прямой индекс хранит список слов для каждого документа.
• · Инвертированный индекс. Хранилище списка вхождений каждого критерия поиска.

Индекс - это только часть поискового аппарата, скрытая от пользователя. Второй частью этого аппарата является информационно-поисковый язык (ИПЯ) , про который подробно пишет Варфоломеев А.А. в книге «Основы информационной безопасности» . ИПЯ- это язык, позволяющий сформулировать запрос к системе в простой и наглядной форме. Если даже пользователю предлагается вводить запросы на естественном языке, то это еще не значит, что система будет осуществлять семантический разбор запроса пользователя. Основная суть заключается в том, что обычно фраза разбивается на слова, из этого списка удаляются запрещенные и общие слова, иногда производится нормализация лексики, а затем все слова связываются либо логическим AND, либо OR.

Возможны и варианты, на что указывает Н.А. Чурсин в книге «Популярная информатика» . Так, в большинстве систем, некоторые фразы будут опознаны как ключевые, и не будет разделяться на отдельные слова. Другой подход заключается в вычислении близости между запросом и документом. К настоящему времени известно около дюжины различных мер близости. Именно эти проценты соответствия документа запросу и выдаются в качестве справочной информации при списке найденных документов.

Наиболее продвинутым языком запросов из современных информационно-поисковых систем Internet, по мнению К. Маннинга , обладает AltaVista. Кроме обычного набора AND, OR, NOT, эта система позволяет использовать еще и NEAR. Последний оператор позволяет организовать контекстный поиск. Все документы в системе разбиты на поля, поэтому в запросе можно указать в какой части документа пользователь хочет увидеть ключевое слово (в ссылке, заголовке и т.п.).

(Для более подробных сведений об информационно-поисковых языках сети интернет см. приложение )

Из книги Ю.И. Кудинова «Основы современной информатики» можно узнать, что наиболее распространенными моделями представления документов в информационно-поисковой системе являются различные вариации на тему представления документа как набора терминов. Как уже упоминалось ранее, это не весь текст документа, а только небольшой набор терминов, который отражает его содержание. Базируясь на таком представлении о документе и нужно рассматривать различные информационно-поисковые языки.

Наиболее распространенным ИПЯ является традиционный язык, позволяющий составить логические выражения из набора терминов. При этом используются булевые операторы AND, OR, NOT.

Такая схема достаточно проста, и поэтому наиболее широко применяется в современных информационно-поисковых системах. Но еще 20 лет тому назад были хорошо известны и ее недостатки.

Булевый поиск плохо масштабирует выдачу. Оператор AND может очень сильно сократить число документов, которые выдаются на запрос. При этом все будет очень сильно зависеть от того, насколько типичными для базы данных являются поисковые термины. Оператор OR напротив может привести к неоправданно широкому запросу, в котором полезная информация затеряется за информационным шумом. Для успешного применения этого ИПЯ следует хорошо знать лексику системы и ее тематическую направленность. Как правило, для системы с таким ИПЯ создаются специальные документально лексические базы данных со сложными словарями, которые называются тезаурусами и содержат информацию о связи терминов словаря друг с другом.

К. Маннинг указывает на то, что модификацией булевого поиска является взвешенный булевый поиск. Идея такого поиска достаточно проста. Считается, что термин описывает содержание документа с какой-то точностью, и эту точность выражают в виде веса термина. При этом взвешивать можно как термины документа, так и термины запроса. Запрос может формулироваться на ИПЯ, описанном выше, но выдача документов при этом будет ранжироваться в зависимости от степени близости запроса и документа. При этом измерение близости строится таким образом, чтобы обычный булевый поиск был бы частным случаем взвешенного булевого поиска.

Но, в отличие от Варфоломеева А.А. , И.С. Ашманов в своей книге «Продвижение сайта в поисковых системах» пишет, что хоть ИПЯ сейчас не совершенны, особое внимание стоит уделять алгоритму ранжирования (упорядоченного выстраивания) полученных ссылок, так как он не менее важен. Наиболее часто используемыми критериями при ранжировании в ИПС являются наличие слов из запроса в документе, их количество, близость к началу документа, близость к друг другу;

Наличие слов из запроса в заголовках и подзаголовках документов (заголовки должны быть специально отформатированы);

Количество ссылок на данный документ с других документов; «респектабельность» ссылающихся документов.

Различные поисковые системы используют различные алгоритмы ранжирования, однако основные принципы определения релевантности следующие:

• · Количество слов запроса в текстовом содержимом документа (т.е. в html-коде).
• · Тэги, в которых эти слова располагаются.
• · Местоположение искомых слов в документе.
• · Удельный вес слов, относительно которых определяется релевантность, в общем количестве слов документа.

Эти принципы применяются всеми поисковыми системами.

База данных выводит ранжированный подобным образом список документов с HTML и возвращает его человеку, сделавшему запрос. Различные поисковые механизмы также выбирают различные способы показа полученного списка - некоторые показывают только ссылки; другие выводят ссылки c первыми несколькими предложениями, содержащимися в документе или заголовок документа вместе с ccылкой. Ранжирование результатов поиска является неотъемлемой частью информационного поиска.

Аспекты данного понятия хорошо представлены в книге К. Маннинга «Введение в информационный поиск» . Информационный поиск подразумевает использование определённых стратегий, методов, механизмов и средств. Поведение пользователя, осуществляющего управление процессом поиска, определяется не только информационной потребностью, но и инструментальным разнообразием системы - технологиями и средствами, предоставляемыми системой.

Стратегия поиска - общий план (концепция, предпочтение, установка) поведения системы или пользователя для выражения и удовлетворения информационной потребности пользователя, обусловленный как характером цели и видом поиска, так и системными "стратегическими" решениями - архитектурой БД, методами и средствами поиска в конкретной ИПС. Выбор стратегии в общем случае является оптимизационной задачей. На практике в значительной степени он определяется искусством достижения компромисса между практическими потребностями и возможностями имеющихся средств.

Метод поиска - совокупность моделей и алгоритмов реализации отдельных технологических этапов: построения поискового образа запроса, отбора документов (сопоставление поисковых образов запросов и документов), расширения запроса, локализации и оценки выдачи.

Поисковый образ запроса - записанный на ИПЯ текст, выражающий смысловое содержание информационного запроса и содержащий указания, необходимые для наиболее эффективного осуществления информационного поиска.

Процесс поиска информации представляет последовательность шагов, приводящих при посредстве системы к некоторому результату, и позволяющих оценить его полноту. Так как пользователь обычно не имеет исчерпывающих знаний об информационном содержании ресурса, в котором проводит поиск, то оценить адекватность выражения запроса, равно как и полноту получаемого результата, он может, основываясь лишь на внешних оценках или на промежуточных результатах и обобщениях, сопоставляя их, например, с предыдущими.

Процесс поиска можно представить в виде следующих основных компонентов:

• 1) формулирование запроса на естественном языке, выбор поисковых системы и сервисов, формализация запроса на соответствующем ИПЯ;
• 2) проведение поиска в одной или нескольких поисковых системах;
• 3) обзор полученных результатов (ссылок);
• 4) предварительная обработка полученных результатов: просмотр содержания ссылок, извлечение и сохранение релевантных данных;
• 5) при необходимости, модификация запроса и проведение повторного (уточняющего) поиска с последующей обработкой полученных результатов.

Для уменьшения объёма отобранных материалов осуществляют фильтрацию результатов поиска по типу источников (сайтов, порталов), тематике и другим основаниям.

По используемым поисковым технологиям ИС можно разбить на 4 категории:

• 1. Тематические каталоги;
• 2. Специализированные каталоги (онлайновые справочники);
• 3. Поисковые машины (полнотекстовый поиск);
• 4. Средства метапоиска.

Тематические каталоги предусматривают обработку документов и отнесение их к одной из нескольких категорий, перечень которых заранее задан. Фактически это индексирование на основе классификации. Индексирование может проводиться автоматически или вручную с помощью специалистов, просматривающих популярные веб-узлы и составляющих краткое описание документов-резюме (ключевые слова, аннотация, реферат).

Специализированные каталоги или справочники создаются по отдельным отраслям и темам, по новостям, по городам, по адресам электронной почты и т. п.

Поисковые машины (самое развитое средство поиска в Интернете) реализуют технологию полнотекстового поиска. Индексируются тексты, расположенные на опрашиваемых серверах. Индекс может содержать информацию о нескольких миллионах документов.

При использовании средств метапоиска запрос осуществляется одновременно несколькими поисковыми системами. Результат поиска объединяется в общий, упорядоченный по степени релевантности список. Каждая система обрабатывает только часть узлов сети, что позволяет расширить базу поиска.

Так же очень важна так называемые «организация поиска» и «реализация поиска», о чем пишет Д.Н. Колисниченко в книге «Поисковые системы и продвижение сайтов в Интернете» .

Организация поиска

Процедура поиска необходимой информации разделяется на девять основных этапов:

• · Определение области знаний;
• · Выбор типа и источников данных;
• · Сбор материалов необходимых для наполнения информационной модели;
• · Отбор наиболее полезной информации;
• · Выбор метода обработки информации (классификация, кластеризация, регрессионный анализ и т.д.);
• · Выбор алгоритма поиска закономерностей;
• · Поиск закономерностей, формальных правил и структурных связей в собранной информации;
• · Творческая интерпретация полученных результатов;
• · Интеграция извлеченных "знаний".

Для проведения поиска первоначально на компьютере пользователя загружается интерфейс работы с соответствующей БД. Это может быть локальная или удалённая БД. Первоначально следует определиться с видом поиска (простой, расширенный и т.д.). Затем с набором предлагаемых для поиска полей. ИПС могут предложить для ввода одно или несколько полей. В последнем случае это обычно поля: автора, заглавия (названия), временного периода, вида документа, ключевых слов, рубрик и др.

Реализация поиска

Общепринята организация поиска по начальным фрагментам слова (поиск с усечением справа), например, вместо слова "библиотечный" можно ввести его фрагмент "библиоте*". При этом будут найдены документы, в которых содержится не только слово "библиотечный", но и "библиотека", "библиотекарь", "бибилотековедение" и др. В каждом случае пользователь должен представлять, что именно он хочет найти, так как в предложенном ему варианте будет найдено гораздо большее количество документов, чем при задании данного слова полностью (без усечения). В подобном случае возможно в полученном массиве информации провести уточняющий поиск и в результате получить более релевантные данные.

ИПС характеризуются также временем выполнения поиска, интерфейсом, предоставляемым пользователю и видом отображаемых результатов. При выборе ИПС обращают внимание на такие их параметры, как охват и глубина. Под охватом понимается объём базы поисковой машины, измеряемый тремя показателями: общим объёмом проиндексированной информации, количеством уникальных серверов и количеством уникальных документов. Под глубиной понимается - существует ли ограничение на количество страниц или на глубину вложенности директорий на одном сервере.

Так же, некоторые аспекты информационного поиска освещены в книге В.А. Гвоздевой «Основы построения автоматизированных информационных систем» . Как написано в книге, каждая поисковая машина имеет свои алгоритмы сортировки результатов поиска. Чем ближе к началу списка, полученного в результате проведения поиска, оказывается нужный документ, тем выше релевантность и лучше работает поисковая машина. Все они позволяют по ключевым словам, тематическим рубрикам и даже отдельным буквам оперативно находить в сети, например, все или почти все тексты, где эти слова присутствуют. При этом пользователю сообщаются адреса сайтов, где найденные результаты постоянно присутствуют. Однако ни одна из них не имеет подавляющих преимуществ перед другими. Для проведения надежного поиска по сложным запросам специалисты рекомендуют использовать последовательно или параллельно (одновременно) различные ИПС.

Из книги Д.Н. Кадеева «Информационные технологии и электронные коммуникации» можно узнать о таком понятии, как «полнотекстовая поисковая машина». Она индексирует все слова видимого пользователю текста. Наличие морфологии дает возможность находить искомые слова во всех склонениях или спряжениях. Некоторые машины умеют искать словосочетания или слова на заданном расстоянии, что часто бывает важно для получения разумного результата. Кроме этого, в языке HTML существуют тэги, которые также могут обрабатываться поисковой машиной (заголовки, ссылки, подписи к картинкам и т.д.). При этом необходимо знать, что чем меньше количество ключевых слов включено в эти теги, тем с большей частотой они могут встречаться в текстах страниц сайта и, следовательно, тем выше их релевантность. Оптимальным считается частота таких слов не более 5%. Ключевых слов должно быть не очень много, они в большей степени должны состоять из одного или двух слов, образуя наиболее употребляемые термины. Чем большую релевантность имеют ключевые слова, тем большую конкурентоспособность они придают документу с точки зрения поисковых машин.

Полноту и точность ответа пользователь получает в зависимости от точности сформулированного им запроса. В результате поиска ему обычно предоставляется гораздо больше информации, чем ему необходимо, часть которой может вообще не иметь отношение к сформированному запросу. Легко заметить, что многое зависит не только от грамотно сформулированного запроса, но и от возможностей поисковых систем, которые весьма различны. При этом достаточно ярко проявляется тот факт, что в полученных данных можно пропустить главные, необходимые сведения. Простые запросы в виде отдельных достаточно распространенных терминов приводят к извлечению тысяч (сотен тысяч) документов, абсолютное большинство которых пользователю не требуется (информационный шум ).

Важным аспектом также является возможность ИПС поддерживать многоязычность, то есть способность обрабатывать запросы на различных языках. Так же, обычно поиск в полнотекстовых БД осуществляется с использованием морфологических анализаторов (как правило, русских и английских), позволяющих автоматически находить существующие словоформы по фрагменту слова, слову, фразе, даже если в словах запроса присутствуют некоторые опечатки.

Ещё, нельзя не упомянуть про такую особенность ИПС, как средства поиска и структурирования , иногда называемые поисковыми механизмами . Как пишет И.С. Ашманов в своей книге «Продвижение сайта в поисковых системах» , поисковые механизмы используются для того, чтобы помочь людям найти информацию, в которой они нуждаются. Средства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как находить и обрабатывать документы. Некоторые следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее. Некоторые игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации; другие проинструктированы, что нужно просматривать прежде всего наиболее популярные страницы. Классификация поисковых механизмов лучше всего представлена в книге Варфоломеева А.А. «Основы информационной безопасности” :

• · Агенты - самые "интеллектуальные" из поисковых средств. Они могут делать больше, чем просто искать: они могут выполнять даже транзакции от Вашего имени. Уже сейчас они могут искать cайты специфической тематики и возвращать списки cайтов, отсортированных по их посещаемости. Агенты могут обрабатывать содержание документов, находить и индексировать другие виды ресурсов, не только страницы. Они могут также быть запрограммированы для извлечения информации из уже существующих баз данных. Независимо от информации, которую агенты индексируют, они передают ее обратно базе данных поискового механизма.
• · Общий поиск информации в Сети осуществляют программы, известные как пауки . Пауки сообщают о содержании найденного документа, индексируют его и извлекают итоговую информацию. Также они просматривают заголовки, некоторые ссылки и посылают проиндексированную информацию базе данных поискового механизма.
• · Кроулеры просматривают заголовки и возвращают только первую ссылку.
• · Роботы могут быть запрограммированы так, чтобы переходить по различным ссылкам различной глубины вложенности, выполнять индексацию и даже проверять ссылки в документе. Из-за их природы они могут застревать в циклах, поэтому, проходя по ссылкам, им нужны значительные ресурсы Сети, однако, имеются методы, предназначенные для того, чтобы запретить роботам поиск по сайтам, владельцы которых не желают, чтобы они были проиндексированы.

В завершение можно сказать, что ИПС в сети, при всем их внешнем разнообразии, своей классификацией, которая описана в книге Л.Г. Гагариной «Автоматизированные информационные системы» :

Классификационные информационно-поисковые системы

В классификационных ИПС используется иерархическая (древовидная) организация информации, которая называется КЛАССИФИКАТОРОМ. Разделы классификатора называются РУБРИКАМИ. Библиотечный аналог классификационной ИПС - систематический каталог. Классификатор разрабатывается и совершенствуется коллективом авторов. Затем его использует другой коллектив специалистов, называемых СИСТЕМАТИЗАТОРАМИ. Систематизаторы, зная классификатор, читают документы и приписывают им классификационные индексы, указывающие, каким разделам классификатора эти документы соответствую.

Предметные ИПС (Web-кольца)

Предметная ИПС с точки зрения пользователя устроена наиболее просто. Ищи название нужного предмета своего интереса (предметом может быть и нечто невещественное, например, индийская музыка), а с названием связаны списки соответствующих ресурсов Интернет. Это было бы особенно удобно, если полный перечень предметов невелик.

Словарные ИПС

Культурные проблемы, связанные с использованием классификационных ИПС, привели к созданию ИПС словарного типа, с обобщенным англоязычным названием search engines . Основная идея словарной ИПС - создать словарь из слов, встречающихся в документах Интернет, в котором при каждом слове будет храниться список документов, из которых взято данное слово.

Основываясь на сведениях из книги А.Ю. Келиной «Основы информационной безопасности» , можно выяснить что есть два основных алгоритма работы словарных ИПС: с использованием ключевых слов и с использованием дескрипторов (Дескриптор - лексическая единица (слово, словосочетание) информационно-поискового языка, служащая для описания основного смыслового содержания документа или формулировки запроса при поиске документа (информации) в информационно-поисковой системе ). В первом случае, для оценки содержимого документа используются только те слова, которые в нем встречаются, и по запросу ИПС сопоставляет слова из запроса со словами документа, определяя по количеству, расположению, весу слов из запроса в документе его релевантность. ИПС по историческим причинам используют этот алгоритм, в различных модификациях.

4.5.1. Традиционные поисковые системы Интернета

Для поиска информации используются специальные внешние службы - поисковые серверы: поисковые машины и каталоги.

Поисковые машины - это такие серверы, которые накапливают информацию о содержимом сайтов автоматически, при помощи специальных программ-роботов.

Информацию для серверов-каталогов отбирают люди. В отличие от поисковых машин, информация в каталогах более точно структурирована, причем в вертикальном иерархическом виде.

И поисковые машины, и каталоги являются внешними службами или, как их еще называют, автономными системами. Особенностью автономных систем является то, что цикл работы с информацией выполняется полностью непосредственно на этой системе, начиная с получения информации от первоисточника и заканчивая предоставлением поискового сервиса конечному пользователю.

Автоматические поисковые системы охватывают больший объем информации, их сведения чаще обновляются и поэтому более актуальны. Однако информация на таких серверах плохо структурирована, потому что оценка содержимого того или иного сайта - трудно формализуемая задача. Чаще всего программа-робот отбирает документы только по наличию искомых слов в тексте документа. Примером поисковой машины является AltaVista (http://www.altavista.com).

В каталогах вся информация имеет четкую вертикальную иерархическую структуру. Причем эта структура строится на основе смыслового содержания. В этом главная ценность каталогов, обрабатываемых людьми: можно найти не множество сайтов, содержащих данные ключевые слова, а множество сайтов, посвященных данной тематике. Примером каталога может служить сервер Yahoo (http://www.yahoo.com).

Каталоги WWW, содержащие большое количество записей, часто размещают на своих страницах локальные поисковые машины. Реализуемые в виде традиционных шаблонов, которые мало чем отличаются от шаблонов на автоматических индексах.

Как для поисковых машин, так и для каталогов устанавливается некий принцип отбора информации. Этот принцип закладывается либо в алгоритмы работы поисковых машин, либо в регламент работы людей (для каталогов). В зависимости от того, откуда и какой тип информации накапливается, оценивают две характеристики автономных систем - пространственный масштаб и специализацию.

Пространственный масштаб призван ограничить количество первоисточников информации до некоего конечного предела. Например, поисковая система может быть построена в рамках только одного сайта. Поиск может быть ограничен рамками одного географического домена (например, ru). Такие системы называют региональными.

Существует множество поисковых серверов, которые не имеют подобных ограничений. Их называют глобальными информационно-поисковыми системами.

Особенности регионального подхода могут присутствовать и в глобальных системах. Так, система Lycos (http://www.lycos.com) сортирует результаты поиска в зависимости от того, из какого региона поступил запрос.

Наиболее популярные поисковые сервера загружены настолько, что возникает необходимость в создании "зеркал" (mirrors). Зеркала должны содержать точную копию первичной поисковой системы и гарантировать быстрое обслуживание обращений, поступающих из определенной географической зоны.

При обращении к той или иной поисковой системе следует учитывать, какие сервисы она предоставляет. Например, в отечественной поисковой машине Яндекс (http://www.yandex.ru) введен поиск не только страниц, но и серверов. Суть этого метода заключается в том, что ключевые слова ищутся не по всем страницам, а лишь по их заголовкам (то, что заключено в HTML между тегами "title"). В зарубежной AltaVista сделана отдельная служба Real Names, которая содержит перечень всех зарегистрированных страниц компаний и организаций.

Следующий важный сервис - это специализация поиска. В настоящее время Интернет является хранилищем разных типов информации. Поэтому и поиск информации тоже может быть формализован. Можно искать исключительно графические изображения, можно - мультимедийные записи в формате MP3 и т.д. На многих поисковых серверах можно задать тип искомой информации. кроме того, существуют и серверы, которые специализируются на поиске информации строго определенного типа. FTPSearch (http://ftpsearch.lycos.com) специализируется исключительно на поиске файлов. Он индексирует всевозможные ftp-серверы на предмет находящихся там файлов. Поиск осуществляется непосредственно по наименованию искомого файла. Аналогично MP3Search (http://mp3.box.sk) специализируется на поиске исключительно файлов в формате MP3.

Еще одним важным моментом является то, какой язык запросов использует та или иная система. Чем сложнее этот язык - тем более тонкую настройку поиска оказывается возможным провести. В настоящее время не существует единого унифицированного языка запросов для поисковых систем. Разработка такого языка сделала бы возможной интеграцию различных поисковых сервисов в единую сверхсистему поиска. В феврале 1999 был начат проект SESP (Search Engine Standards Project), в котором участвует 15 крупнейших поисковых систем Интернета. В задачу проекта входит стандартизация работы поисковых служб (материалы о нем можно найти по адресу http://www.searchenginewatch.com).

4.5.2. Метапоисковые системы

Еще одним перспективным направлением развития поисковых сервисов в сети является использование метапоисковых систем. Основа метапоисковых систем - это интерфейс между пользователем и множеством поисковых систем. Метапоисковая система не предназначена для индексирования и накопления информации. назначение ее - чистый поиск и обработка результатов поиска.

Метасистема позволяет, в соответствии с пожеланиями пользователя, ограничить свой поиск определенными поисковыми серверами, проверять существование ресурсов, на которые указывают результаты поиска, осуществлять уточненный поиск в результатах поиска и т.д. Метапоисковые системы часто называют клиентами к поисковым серверам.

Примером метапоисковой системы может служить отечественная разработка "ДИСКо Искатель" компании "ДИСКо" (http://www.disco.ru).

Основной чертой метапоисковых систем нового поколения является объединение поисковых серверов различных специализаций. В рамках одного приложения можно осуществлять поиск информации различного типа. При обработке поискового запроса допускается соединение более чем со 100 поисковыми системами (в т.ч. и со специализированными). Результаты поиска дополнительно обрабатываются: ссылки, дублирующие уже найденные, системой исключаются; полученные адреса проверяются на доступность. Есть возможность конфигурации работы с поисковыми серверами (можно выбрать серверы, с которыми будет работать система, указать максимальное число ссылок, получаемых с каждого сервера и т.д.).

Однако и в случае использования метапоисковых систем не обойтись без знаний о традиционных поисковых серверах - именно они служат базой для всякого поиска.

Поиск информации в Интернете проводится двумя основными способами – с помощью каталогов (их еще называют директориями) и с помощью поисковых машин.

Директории обеспечивают контекстный поиск для структурированного просмотра, тогда как поисковые машины, как следует из их названия, контекста не обеспечивают, однако позволяют находить конкретные слова или фразы.

Директории можно уподобить оглавлению книги, а поисковые машины – предметному указателю.

Часто поисковые системы объединяют в себе как поисковую машину, так и директории.

Это хорошо видно на примере первой страницы Яндекса, где под поисковой строкой размещается список директорий, которые позволяют пользователю уточнять запрос по мере продвижения в глубь каждой из них.

Ввиду того, что принцип организации директорий понятен каждому, кто пользовался библиотечным каталогом – а среди читателей таких, смеем полагать, подавляющее большинство, – мы не будем подробно останавливаться на технике работы с директориями и уделим больше внимания работе с поисковыми машинами. В завершение же разговора о каталогах приведем пример «цепочки», по которой осуществляется поиск в каталоге Яндекса: Бизнес > Реклама > Реклама в Интернете.

Все поисковые машины работают по одному и тому же алгоритму и основаны на одних и тех же принципах. Различия между ними возникают лишь на уровне технической реализации этих принципов в работе.

Чтобы понять принцип работы поисковой машины, попробуем разделить вопрос на две части: на чем основан поиск и как он реализован.

Все поисковые машины базируются на трех основных операторах, лежащих в основе Булевой алгебры (ее также называют Булевой логикой или Boolean).

Это логические операторы «И», «ИЛИ» и «НЕ». Работают они следующим образом.

1. Логическое «И». Если между двумя словами в запросе стоит оператор «И», то в результате поиска будут найдены лишь те документы, в которых содержатся оба слова. Так, например, по запросу собака И кошка будет найден документ, содержащий предложение «собака гналась за кошкой», документов же, состоящих из текста «кошка отдыхала» или «корм для собак», мы не увидим .

2. Логическое «ИЛИ». Если между словами стоит оператор «ИЛИ», то результа том поиска станут документы, в которых содержится хотя бы одно из этих слов .

Если мы не сделаем специальных ограничительных оговорок, то материалы, в которых оба эти слова присутствуют, также будут найдены.

По запросу собака ИЛИ кошка мы получим документы, исключенные в прошлом запросе и содержащие текст «кошка отдыхала» или «корм для собак», а также материал с предложением «собака гналась за кошкой».

3. Логическое «НЕ». Если два предыдущих оператора описывали те слова, ко торые вы хотите включить в запрос, то оператор «НЕ» слова из запроса исклю чает. Пользователи, впервые сталкивающиеся с операторами запросов, нередко высказывают удивление: мол, не проще ли и вовсе не включать ненужное слово в запрос? Зачем вводить дополнительный оператор? Увы, нет. Не проще.

На самом деле, чтобы понять важность логического оператора «НЕ», имеет смысл вспомнить, что наш запрос не создает в Интернете ничего нового. Мы лишь выуживаем то, что нам нужно, из имеющегося огромного, но все же конечного массива. При этом необходимо отсечь информационный мусор. Его-то мы и отсекаем с помощью оператора «НЕ». К сожалению, не нам решать, увидим ли мы этот мусор в выдаче. Так, например, по запросу сведений о коньке крыши неизменно появляется информационный мусор в виде документов о Коньке-Горбунке, фигурном катании, хоккее, лошадях и т. п. Без логического «НЕ» тут никак не обойтись.

Давайте рассмотрим примеры работы логического оператора «НЕ».

По запросу собака НЕ кошка будет найден документ, содержащий текст «корм для собак», а вот документы со словами «кошка отдыхала» или «собака гналась за кошкой», и даже «корма для собак и кошек» из выдачи будут исключены.

Часто встречается чуть более сложный вариант написания запроса, который содержит все или почти все вышеперечисленные операторы. В этом случае лучше пользоваться таким элементом, как круглые скоби. Скобки позволяют отделять однотипные слова запроса от остальных. Кроме того, самому составителю при этом визуально гораздо удобнее различать отдельные фрагменты запроса. Мы не будем чересчур теоретизировать о скобках, а просто продемонстрируем работу указанного элемента на конкретных примерах. На наш взгляд, так будет понятнее, как и для чего используются скобки.

Так, запрос пушистые И (собаки ИЛИ кошки)

позволит получить документы, относящиеся как к пушистым собакам, так и к пушистым кошкам – по отдельности или вместе. Скобки при этом «раскрываются» по обычным арифметическим правилам вынесения за скобку общего множителя (для тех, кто не любит математику, поспешим сказать, что болеше углубляться в нее мы не будем). А вот запрос пушистые И (собаки ИЛИ кошки) НЕ (собаки И кошки)

выдаст документы, в которых написано про пушистых собак или пушистых кошек, но не будет содержать текстов, где одновременно будут упомянуты и кошки, и собаки.

Еще раз повторимся, все поисковые машины сегодня работают на основе анализа этих трех операторов, хотя нюансы их написания в разных поисковых машинах могут отличаться.

Каждая полноценная поисковая машина располагает собственным штатом роботов, или пауков. Их еще называют краулерами (crawlers) и спайдерами (spiders,). Это программы, которые перескакивают со страницы на страницу и сканируют находящиеся на них тексты, не вникая при этом в их содержание. После чего сбрасывают документы на серверы своих хозяев и идут к следующим страницам. Как паук определяет, куда ему пойти? Он находит так называемую гиперссылку (ту самую, при наведении на которую курсор приобретает вид раскрытой ладони, и при клике по которой происходит переход на другую страницу) и идет по ней. Вот почему, если на страницу не ведет ни одна ссылка, паук на нее тоже не придет. Исключение составляет ситуация, когда владелец страницы вручную сообщит о ней поисковой машине, заполнив специальную форму на сайте поисковой машины.

На сервере поисковой машины текст разбивается на отдельные слова, каждому из которых присваиваются координаты, после чего они заносятся в таблицу сервера вместе со ссылкой на тот адрес в Интернете, по которому текст размещался в момент посещения его пауком.

Сам по себе поисковик представляет собой большую локальную сеть, состоящую из мощных компьютеров с огромным объемом дисковой памяти. Эти машины разделены на подгруппы (так называемые кластеры), между которыми распределяется информация, собранная пауками.

Когда поисковая система получает запрос, она ищет ответ именно в своей таблице, а не в Интернете.

При этом важно понять, как паук решает, с какой частотой ему следует посещать ту или иную страницу. Выглядит этот алгоритм приблизительно следующим образом. Поработав со страницей, паук возвращается на нее, н у, например, через две недели. И если видит, что никаких изменений не произошло, он планирует следующее посещение через более длительный период – скажем, через месяц. А если и тогда не обнаружит ничего нового, то наведаетсяя сюда еще позже, месяца через полтора-два.

Вот почему нередко бывает так, что поисковая машина по запросу результат выдает, а попытка перейти на страницу по полученной ссылке безрезультатна – вероятнее всего, никакой страницы уже просто не существует на прежнем месте, но паук на нее давно не заходил, и, соответственно, поисковая система о ее удалении не знает.

Весь комплекс процессов, описанных выше, называется индексацией.

История эволюции поисковых машин наиболее полно, на наш взгляд, представлена в книге признанных экспертов в области невидимого интернета Криса Шермана и Гарри Прайса «Невидимый Интернет».

До середины 1960-х годов компьютеров было немного. Изолированные друг от друга, они не могли обмениваться информацией.

В 1962 г. профессор Ликлайдер (Licklider) из ведущего технического вуза США – Массачусетского Технологического института – сформулировал концепцию глобальной компьютерной сети «Galactic Network». Идея начала воплощаться в жизнь сотрудником американского министерства обороны Ларри Робертсом (Larry Robberts), который через четыре года после публикации статьи профессора предложил объединить отдельные компьютеры министерства в сеть, описанную Ликлайдером. Таковы предпосылки возникновения сети «ARPANET», которая затем превратилась в то, что сегодня величают Интернетом. Первый узел «ARPANET» появился в 1969 г., и следующие несколько лет к нему подключались университеты и различные контрагенты, работавшие по заказам военного ведомства США.

В 1973 г. американское министерство обороны инициировало новую программу, предполагавшую обеспечивать надежную связь компьютеров между собой с помощью очень большого числа различных соединений. Целью такого решения было повышение устойчивости системы к попыткам массированно нарушить электронные средства коммуникации. Поскольку все это происходило во времена «холодной войны», речь шла об устойчивости к устрашающим последствиям, которыми грозило стратегическое ядерное противостояние. Поскольку «ARPANET» представлял собой одну-единственную сеть, что на системном уровне понижало его способность сопротивляться разрушениям, возникла идея создания «сети из сетей», которая теоретически могла бы быть бесконечно большой. Этот проект и назвали «Internetting», а саму сеть «Internet».

По мере того, как количество присоединенных к Интернету машин увеличивалось, объективно назрел вопрос о необходимости инструментов, позволяющих легко находить текст и другие файлы на удаленном компьютере, в идеале – на любом, где бы он ни располагался в Сети.

Доступ к файлам на самых ранних этапах развития Интернета осуществлялся в два этапа, каждый из которых выполнялся вручную: специальные команды вводились с клавиатуры. Кстати, тогда компьютеры могли управляться лишь специалистами, способными вводить команды в соответствующую строку. Графического интерфейса, позволяющего комфортно работать с машиной неподготовленному человеку, еще не изобрели. Так вот первым делом с помощью программы Telnet устанавливалось прямое соединение с компьютером, на котором находится нужный файл. На данном этапе лишь налаживалась связь, ничего и никуда в этот момент еще не передавалось. И только затем с помощью специальной программы – FTP – можно было этот конкретный файл взять.

Очевидно, что на поиски нужного документа уходила масса времени: требовалось знать точный адрес компьютера, на котором он находится.

Между тем файлов становилось все больше, интерес к ним постоянно рос, и для того, чтобы найти адрес одного из них, обычно приходилось обращаться в дискуссионные группы с просьбой о помощи и в надежде на то, что кто-нибудь из собеседников подскажет заветный адрес, по которому хранится нужная информация.

В результате, стали появляться специальные FTP-серверы, которые представляли собой хранилище файлов, организованных в директории, по принципу хранения информации на персональном компьютере. Такие серверы существуют и по сей день.

Первый работоспособный, общедоступный инструмент поиска файлов, хранящихся на FTP-серверах, назывался «Арчи» (Archie) и был создан в 1990 г. группой системных администраторов и студентов старших курсов Университета Мак Джил (McGill) в Монреале. «Арчи» был прототипом сегодняшних поисковых машин, но значительно более примитивным и ограниченным в своих возможностях. Он бродил по Интернету, разыскивал файлы на разных FTP-серверах и загружал список директорий каждого найденного сервера на собственный, формируя общий каталог.

Этот каталог затем обрабатывался и хранился в центральной базе данных, внутри которой можно было организовать поиск. Поиск на собственном компьютере к тому моменту существовал уже издавна и, несмотря на то, что тоже требовал ввода команд, трудностей в работе не создавал. Однако без специальной подготовки использовать компьютер полноценно человек не мог. База данных находилась в университете Мак Джилл и обновлялась ежемесячно.

В 1991 г. команда Марка Мак Кахилла (Mark McCahill) из Университета Миннесоты создала программу «Голден Гофер» (Golden Gopher – в переводе с английского «золотоискатель» или «старатель»), которая совмещала в себе оба протокола – Telnet и FTP. Все, что нужно было сделать пользователю для получения доступа к нужной информации, – щелкнуть по гиперссылке, приведенной в меню. Таким образом, впервые в истории вводить какие-либо команды уже не требовалось, так что отныне по ресурсам Интернета люди могли «бродить» и без специальной подготовки.

Программа показывала пользователю последовательно возникающие пошаговые меню, что позволяло ему без проблем идти в глубь базы директорий, все более приближаясь к специфическим документам, которые и составляли цель поиска. Этот алгоритм, по сути, сохранен и сегодня в Каталогах, расположенных в Интернете.

Стало возможно получать как текстовые документы, так и графические, и музыкальные, без привязки к какому-то определенному формату. А самое главное, стало в принципе возможно легко найти и получить в Интернете нужную информацию.

Однако проблемы все же оставались. Одна из них, и довольно серьезная, была связана с тем, что компьютеры были построены на разных платформах, которые порой не понимали друг друга. Тут можно провести аналогию с людьми, которые говорят на совершенно разных языках и потому не могут построить более или менее осмысленную беседу. В те времена между собой конкурировали не операционные системы, как сейчас, а производители компьютерного «железа». Сегодня в меньшей степени важно, кто произвел компьютер. Гораздо существеннее, что на нем установлено: Windows, Linux, Mac OS или какая-то другая система. А тогда именно производители «железа» определяли лицо Интернета.

Объективно назревала идея, согласно которой компьютеры разных платформ должны иметь возможность работать в одном протоколе, позволяющем просматривать страницы вне зависимости от того, на какой конкретно машине эти страницы созданы. Требовалось придумать такой универсальный протокол и сделать его удобным для пользователей. Первым, кто догадался объединить известную к тому времени простую форму гипертекста с универсальными коммуникационными протоколами, был Тим Бернерс-Ли (Tim Berners-Lee).

Чтобы пользователь получил в руки независимый от платформы и при этом простой инструмент, Бернерс-Ли создал HTML (HyperText Markup Language, то есть Язык гипертекстовой разметки). Все Web-документы, отформатированные с помощью тегов HTML, видны совершенно одинаково во всем мире, вне зависимости от типа компьютера, на котором человек открыл страницу сайта. Поэтому и сегодня при переводе файла в формат HTML, например, на машине, работающей под управлением операционной системы MacOS, можно быть уверенным в том, что этот файл будет выглядеть точно так же и на компьютере, работающем под управлением Windows.

Затем Бернерс-Ли придумал Universal Resource Identifier – метод стандартизации адресов, при котором компьютерам в Интернете присваиваются уникальные адреса (сегодня мы их называем URL, это то, что в привычном для пользователя виде обычно начинается с «www»). Наконец, изобретатель собрал вместе все эти элементы, создав систему в форме Web-серверов, которые хранят HTML-документы и предоставляют их другим компьютерам, создавая HTML-запросы о документах по определенным URL.

Но Бернерс-Ли хотел видеть Интернет как информационное пространство, в котором можно получить свободный доступ к данным любых типов. На ранних этапах развития глобальной Сети преобладали простые текстовые документы HTML. К тому времени существовали системы поиска информации на локальных машинах, поэтому появилось несколько серверов, которые пытались проиндексировать какую-то часть страниц Web и прежде, чем отправляться за чем-то в Интернет, предлагали поискать необходимые сведения на этих серверах.

При этом основная проблема заключалась в том, чтобы отыскать страницы, которые в принципе можно бы было индексировать. Поскольку Интернет лишен централизованной структуры и общего оглавления, единственный способ, позволявший добиться этого, состоял в поиске ссылки на страницу и переходе по этой ссылке, с последующим добавлением найденного ресурса к индексу.

Однако вскоре возникла еще одна проблема. Наиболее популярные страницы посещались пауками чаще остальных, так как на них указывало максимальное количество ссылок. Пауки, количество и возможности которых были ограничены, «зависали» на таких страницах и впустую расходовали ресурсы, оставляя непосещенным множество других адресов, пока еще менее популярных. Для решения этой проблемы требовалось создать программу, которая позволила бы игнорировать уже проиндексированные страницы и сосредоточиться на поиске новых. Иначе это грозило проблемой с ресурсами.

В 1993 г. студент-физик Массачусетского технологического института Мэтью Грей (Mathew Gray) создал первый широко известный Web-робот, названный «World Wide Web Wanderer» или просто «Вандерер», что в переводе с английского означает «скиталец» или «странник». Дело в том, что Грей заинтересовался статистикой. Результатом такого увлечения стало появление «странника»: изобретение было призвано помочь студенту проанализировать размеры Интернета и скорость его роста. «Вандерер» просто приходил на страницу и определял сам факт ее существования, не занося в базу содержимого найденного адреса. Несмотря на то, что создатель робота не преследовал никаких других целей, его детище, фактически дебютировавшее в «забеге» прогрессивных интернет-находок, легло в основу более сложных программ, которые к умению «скитальца» перемещаться по Сети добавили способность сохранять содержимое страниц в базе данных после их посещения.

Случилось так, что 1994 г. стал переломным в истории создания поисковых машин. Студент выпускного курса Вашингтонского университета Брайан Пинкертон (Brian Pinkerton) устал от бесконечной череды электронных писем, которые посылали ему друзья, с информацией о хороших сайтах, найденных ими в Интернете. Безусловно, сайты ему были нужны, однако шквал посланий с их адресами раздражал, а посещение всех страниц отнимало уйму времени. Однако Пинкертон нашел решение проблемы – он создал робота, которого назвал WebCrawler (что-то вроде «вездеход для Интернета»). «ВебКраулер», как и «Вандерер», ползал со страницы на страницу, запоминая при этом весь текст Web-документа и сохраняя его в базе данных, которая была доступна поисковым словам. Изобретатель представил свое детище публике в апреле 1994 г., причем сделал это виртуально – через Web-интерфейс. База данных в тот момент содержала информацию с 6000 самых разных серверов. Уже через неделю она начала расширяться, причем ежедневный прирост составлял более 100 новых серверов. Так родилась первая поисковая машина.

Тогда же был введен в обиход интернетчиков термин «краулер» или «паук», который применяется, как мы уже говорили, и по сей день.

1994 г. – WebCrawler, Lycos, Yahoo!

1995 г. – Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. Появление метапоисковых машин.

1996 г. – HotBot, LookSmart.

1997 г. – NorthernLight.

1998 г. – Google, InvisibleWeb.com.

Русскоязычные поисковые машины появлялись в такой последовательности:

2004 г. – русскоязычная версия Google (www.google.ru) и русскоязычная версия Yahoo! (http://ru.yahoo.com).

Прежде, чем перейти к описанию языка запросов поисковых машин, рассмотрим, из каких элементов, с которыми предстоит работать пауку, состоит обычно сайт.

Надо сказать, что язык HTML достаточно прост и логичен. Он представляет собой способ разбивки текста с помощью специальных элементов – тегов, которые определяют структуру и внешний вид текста при просмотре его в браузере. О тегах следует знать, что они всегда парные и что они бывают открывающими (обозначают начало определенного форматирования) и закрывающими (обозначают его окончание). Закрывающий тег – такой же по написанию, как открывающий, но перед ним стоит косая черта.

Приведем пример очень простого сайта (рис. 1).

Рис. 1. Пример сайта, как его видно в браузере Мозилла Файрфокс .

Наверху страницы, изображенной на рисунке, то есть не в тексте сайта, а на верхнем поле рамки страницы, рядом с круглым значком браузера, расположена надпись: «Показываем устройство сайта». Она находится в так называемом заголовке страницы (который заключен между открывающим тегом ). Обращаем ваше внимание на то, что это заголовок именно всей страницы, а не текста.

Посередине представленного рисунка жирным курсивом выведено: «Это простой сайт». Данная надпись – и есть заголовок текста. Шрифт фразы «Это простой сайт» по размеру превосходит шрифт текста на сайте, он специально выделен как заголовок текста. При разметке с помощью HTML этот текст расположен ниже тега