Сл1_Технология поиска информации в Интернет,48. Старт в науке

Как уметь читать, писать или публично выступать, сегодня в условиях информационного общества умение грамотно осуществлять профессиональный поиск - непреложный навык специалиста-интеллектуала.
Быстрый рост и динамическое развитие информационных ресурсов (прежде всего представленных в сети Интернет) обязывает каждого иметь разнообразные навыки сложного поиска. Уметь быстро и правильно искать в Интернете значит экономить время, владеть достоверной и актуальной информацией, а значит делать верные выводы и принимать правильные решения.
Информационная эвристика призвана помочь специалисту достаточно быстро провести избирательный и эффективный поиск при решении конкретных интеллектуальных задач.

Проблема поиска и использования информации - одна из самых актуальных в современной науке. Разумеется, для эффективного и качественно поиска информации Интернет незаменим. Однако сам факт хранения в Интернете огромного пласта знаний человечества не является свидетельством высокой эффективности поиска и использования информации. Пусть даже информация выдается и в удобной форме, но осваивать ее в конечном итоге приходится человеку. И от того, насколько он владеет методами и методикой поиска, будет зависеть эффективность и качество его труда.
Следовательно, в основе использования информации лежит проблема поиска и преобразования ее в такие содержание и форму, которые создают возможность более удобного и оперативного освоения информации и ее эффективного использования в общественной деятельности.
В связи с этим цель данной работы - исследование особенностей развития и распространения информации, рассмотрение основных целей и методов информационного поиска, анализ правил построения стратегии поиска и формулирования поискового запроса.

Эвристика в общем понимании - это искусство и наука открытия и творческого поиска в сложной предметной области.
При этом эвристика имеет множество значений.
Так, эвристика - это система обучения, способствующая развитию у обучаемых находчивости, умения самостоятельно добывать знания, познавательной активности, потребности в знаниях.
Также эвристика - наука о закономерностях и методах открытия и изучения нового в творческой и познавательной деятельности человека; психология творчества.
Под эвристикой понимается методология разрешения проблем, использующая метод проб и ошибок, а также результаты эксперимента для нахождения прямого пути к решению.
Эвристика - это специальные методы решения задач (эвристические методы), которые обычно противопоставляются формальным методам решения, опирающимся на точные математические модели. Использование эвристических методов (эвристик) сокращает время решения задачи по сравнению с методом полного ненаправленного перебора возможных альтернатив; получаемые решения не являются, как правило, наилучшими, а относятся лишь к множеству допустимых решений.
Эвристика - совокупность присущих человеку механизмов, с помощью которых порождаются процедуры, направленные на решение творческой задач (например, механизмы установления ситуативных отношений в проблемной ситуации, отсечения неперспективных ветвей в дереве вариантов, формирования опровержений с. помощью контрпримеров и т.п.). Эти механизмы, в совокупности определяющие метатеорию решения творческих задач, универсальны по своему характеру и не зависят от конкретной решаемой проблемы.
Эвристика - наука, изучающая эвристическую деятельность; специальный раздел науки о мышлении. Ее основной объект - творческая деятельность; важнейшие проблемы - задачи, связанные с моделями принятия решений (в условиях нестандартных проблемных ситуаций), поиска нового для субъекта или общества, структурирования описаний внешнего мира (на основе классификаций типа периодической системы или систематики К.Линнея). Эвристика как наука развивается на стыке психологии, теории искусственного интеллекта, структурной лингвистики, теории информации.
Таким образом, центральное слово эвристики - это поиск (информации).
Несомненно, что разработка методов получения и использования разнообразной социальной информации традиционно составляет центральную проблему научной организации труда специалиста.
Для принятия решения в каждой конкретной ситуации специалисту необходимо получить возможно более полную и актуальную информацию, относящуюся к данному случаю.
Выбор источников информации, стратегий ее поиска, способов проверки достоверности и соответствия уже имеющимся сведениям, методы оценки полезности найденной информации для разрешения проблем - все эти факторы являются характеристиками информационного поведения человека.
Критериями информационной культуры человека можно считать его умение адекватно формулировать свою потребность в информации во всей совокупности информационных ресурсов, перерабатывать информацию и создавать качественно новую, вести индивидуальные информационно-поисковые системы, адекватно отбирать и оценивать информацию.
Интернет открыл доступ ко многим информационным ресурсам, получить которые другим способом в настоящее время невозможно для читателей российских библиотек. Объединяя локальные, национальные и глобальные сети, он стал громадным информационным ресурсом, наиболее динамичным из всех существующих в настоящее время.
Весьма важной чертой Интернета является то, что пользователь не просто получает доступ к информации, но и сам производит ее. К тому же поиск информации в новых условиях и в новой информационной среде предоставляется самому специалисту.
В связи с этим можно выделить два положительных момента:
- увеличивается вероятность выявления полезной по существу, но не соответствующей строго формально запросу информации. В отличие от посредника специалист не вынужден жестко придерживаться формулировки запроса. Он сам ведет диалог с поисковой системой, меняя тактику поиска в зависимости от полученных результатов;
- формируются основы научного мышления, навыки научно-исследовательской работы. Специалист учится ориентироваться в сетевом пространстве, отбирать из большого количества документов то, что действительно необходимо и, наконец, варьировать свой запрос в зависимости от анализа уже выявленных документов.
Тем не менее, пользователи часто не ощущают удовлетворения от результатов поиска в новой информационной среде. Обычно это происходит по следующим причинам:
- как правило, пользователи в качестве инструмента поиска используют либо поисковые машины (AltaVista, HotBot), либо каталоги ресурсов (Yahoo). Несмотря на ряд достоинств, вышеупомянутые поисковые системы не обеспечивают научный контроль качества (то есть процесс включения информации в БД этих поисковых систем не находится под контролем специалистов-предметников), что может привести к получению в результате поиска недостоверной информации;
- отсутствие знаний и навыков по составлению запроса к поисковой системе приводит к получению большого количества информационного шума;
- пользователь часто не осознает тот факт, что, несмотря на то, что информация существует в интернете, она находится вне поля зрения поисковых машин. Отсутствие элементарных знаний по проведению поиска приводит к снижению полноты получаемой информации.
Таким образом, можно утверждать, что в Интернете есть больше возможностей, нежели используется в настоящий момент. И, следовательно, проблема заключается не в недостаточности качественной информации в Интернете, а в неумении специалиста ее найти.
В рамках библиографоведения накоплен, теоретически и методически обобщен большой исторический опыт поиска и использования информационных источников. Именно в библиографоведении сформировалась и ныне целенаправленно развивается специальная научная дисциплина - библиографическая эвристика.
Библиографическая эвристика - одна из важнейших и активно развивающихся частей общей науки о библиографии, библиографоведении. В современных условиях ускорения и усложнения информационных процессов в обществе ей уделяется особое внимание.
Под библиографической эвристикой понимается библиографоведческая дисциплина, разрабатывающая историю, теорию и методику информационного поиска.
Категория «информация» при этом включает в себя и понятие «библиографическая информация», которая является одной из важнейших ее составляющих. Это объясняется той функциональной ролью, то есть той социальной задачей, которую решает общество посредством библиографической информации в процессе производства, распространения и использования социальной информации, знания.
Объективный характер существования и использования такой информации и предопределяет самые различные задачи ее поиска. В целом же все реальное многообразие таких задач можно свести к трем основным целям информационного поиска:
- поиск необходимых сведений об источнике и установление его наличия в системе других источников. Ведется путем разыскания библиографической информации и библиографических пособий (информационных изданий), специально создаваемых для более эффективного поиска и использования информации (литературы, книги);
- поиск самих информационных источников (документов и изданий), в которых есть или может содержаться нужная информация;
- поиск фактических сведений, содержащихся в литературе, книге, например, об исторических фактах и событиях, о технических характеристиках машин и процессов, о свойствах веществ и материалов, о биографических данных из жизни и деятельности писателя, ученого и т.п.
Эти цели определяют и три основных вида информационного поиска: библиографический, документальный и фактографический, которые тесно взаимосвязаны между собой.
Например, чтобы найти информационный источник (документ или издание), надо знать определенную совокупность библиографической информации (фактов), характеризующей его, отличающей его от многих других: хотя бы от написанных тем же автором, на одну и ту же тему, выпущенных тем же издательством, в одном и том же году и т.д. Следовательно, нужно сначала проделать библиографический поиск. И, наоборот, чтобы провести фактографический поиск в какой-либо отрасли знаний или практики требуется сначала найти те литературные источники (документы, издания), в которых могут быть интересующие нас факты. Поэтому сначала надо провести библиографический и документальный поиск.
Осуществлять поиск и использовать мощные потоки информации становится все труднее.
И для этого библиографическая эвристика имеет ряд методов поиска информации: сплошной, выборочный, интуитивный, типологический («рецептурный»), индуктивный, дедуктивный, метод библиографических ссылок, метод восхождения от абстрактного к конкретному.
Рассмотрим их вкратце.
Итак, сплошной метод. Это обследование сплошь и без пропусков все наличие имеющихся пособий и источников. Очевидно, что в современных условиях этот прием трудно реализуем даже для узкой темы. Поэтому часто он рассматривается только в качестве чисто теоретического.
Выборочный метод - более рациональный и реальный путь поиска информации, который сводится к подбору и изучению определенной совокупности источников.
Интуитивный метод. Под ним понимается умение найти нужный материал посредством библиографического чутья, продолжительного опыта.
Типологический, или рецептурный метода, когда использование задач информационного поиска позволяет для каждого конкретного информационного поиска намечать определенный путь и документальные средства (пособия, источники) решения, то есть дать своего рода модель, рецепт решения этой поисковой задачи. Так, оптимальной типовой моделью для разработки различных «рецептов» информационного поиска является библиографическое описание.
Индуктивный метод информационного поиска. Процесс познания с использованием индукции совершается от единичных суждений и фактов к общим правилам и обобщениям, в которых выражается общая закономерность.
Дедуктивный метод информационного поиска. Обратная картина сложится, если мы будем осуществлять поиск дедуктивным методом. Такая направленность мысли может иметь место при исследовании определенной области явлений, создании развернутой научной теории и т.п.
Метод информационного поиска по библиографическим ссылкам. Возможность его использования заключается и в самом характере литературы, состоящей из определенной взаимосвязи фактов, произведений, документов и изданий. Каждое новое литературное произведение - это в известной степени анализ, оценка и обобщение социальной информации, уже имеющейся в литературе. Специфической формой отражения указанной взаимосвязи, преемственности литературного развития и является библиографическая ссылка (сноска).
Изложенные методы позволяют найти необходимую информацию в традиционной информационной среде.
Однако в наше время не менее, а где-то и гораздо более, важны методы и методика поиска информации в новой информационной среде - Интернете.
Поиск информации может быть произведен по нескольким методам, значительно различающимся как по эффективности и качеству поиска, так и по типу извлекаемой информации.
Рассмотрим основные методы поиска информации в Интернете, используемые по отдельности или в комбинации друг с другом.
Прежде всего, это использование поисковых машин. В настоящее время этот метод - один из основных и фактически единственный при проведении предварительного поиска. В результате поиска появится список ресурсов Интернета, который требуется детально рассмотреть.
Применение поисковых машин основано на использовании ключевых слов, передающихся поисковым серверам в качестве аргументов поиска.
В качестве методов рассматривается и непосредственный поиск с использование гипертекстовых ссылок. Так как все сайты в пространстве Всемирной паутины фактически связаны между собой, то поиск информации может быть произведен путем последовательного просмотра связанных страниц с помощью броузера.
На первый взгляд, этот полностью ручной метод поиска выглядит полным анахронизмом, в то же время этот способ Web-страниц часто оказывается единственно возможным на заключительных этапах информационного поиска, когда механическое исследование уступает место более глубокому анализу.
При этом, использование каталогов, классифицированных и тематических списков и всевозможных справочников также относится к этому виду поиска.
Поиск с применением специальных средств - это полностью автоматизированный метод, весьма эффективный для проведения первичного поиска.
Сущность этого метода заключается в применении специализированных программ - спайдеров, которые в автоматическом режиме просматривают Web-страницы, отыскивая на них искомую информацию.
То есть, можно говорить об автоматизированном варианте просмотра с помощью гипертекстовых ссылок (поисковые машины используют похожие методы).
Этот метод является особо эффективным в том случае, если использование поисковых машин не дает необходимых результатов в силу нестандартности запроса, либо других причин.
Еще один метод - анализ новых ресурсов, поиск по которым может оказаться необходимым при проведении повторных циклов поиска, поиска наиболее свежей информации либо для анализа тенденций развития объекта исследования в динамике.
Еще одна причина такого поиска заключается в том, что большинство поисковых машин обновляет свои индексы со значительной задержкой, вызванной гигантскими объемами обрабатываемых данных, и это упущение обычно тем больше, чем менее популярна интересующая тема. Такое соображение является весьма существенным при проведении поиска в узкоспециальной предметной области.
Очевидно, что поиск информации в Интернете более рассматривается как процесс решения поисковой задачи, стоящей перед пользователем, а не как просто нахождение релевантной запросу информации.
Основными этапами методики поиска являются:
- формулировка и уточнение информационного запроса. На этом этапе идет целенаправленное ограничение и конкретизация общей цели поиска;
- планирование поисковой процедуры. Основная цель данного процесса - определение путей и способов рационального решения поисковой задачи. Этот этап включает в себя разработку поисковых стратегий, предусматривающих выполнение выявленных наборов требований;
- реализация поиска. Окончательное решение поисковой задачи.
Методика поиска информации включает несколько этапов.
Первым этапом является формулировка и уточнение информационного запроса. Этот этап традиционно играет ведущую роль. От того, насколько верно сформулирован запрос, будет зависеть последующий выбор информационных ресурсов. «Уточнение запроса» в библиотечной практике представляет собой ряд критериев или вопросов, необходимых для уточнения потребности пользователя в информации. В ходе интервью выясняется тип источника, в котором будет проводиться поиск, содержание темы, глубина ретроспективного поиска. На данном этапе целесообразно осуществить:
- формулирование запроса на естественном языке;
- определение типа информационной потребности;
- определение цели поиска информации;
- определение необходимых ограничений поиска;
- окончательную формулировку информационного запроса.
Цель 1-го шага - формирование представления об искомой информации. Для того чтобы получить это представление, обладателю информационной потребности необходимо как можно более точно выразить ее на естественном языке.
Даже достаточно грубое представление о типе информационной потребности позволяет уточнить обуславливаемые ею требования, которые следует учитывать при поиске. Традиционно различают два типа информационных потребностей: 1) когда наилучшей метаинформацией (информацией об информации) признается та, которая наиболее полно и точно описывает конкретную информационную потребность данного потребителя и позволяет получить точный ответ; 2) когда границы определены нечетко, а также с течением времени могут изменяться.
Процессы информационного поиска, с помощью которых удовлетворяются информационные потребности разных типов, в целом отличаются друг от друга, в связи с чем можно говорить о разных видах информационного поиска. Об информационном поиске, удовлетворяющем информационные потребности первого типа, говорят как о фактографическом. Об информационном поиске, удовлетворяющем потребности второго типа, - как о документальном. Однако часто, чтобы найти некоторые факты в интернете, необходимо сначала провести поиск документов (Web-страниц), содержащих эти факты. В этом случае можно говорить о документально-фактографическом поиске.
Следующий шаг - определение цели поиска информации, которое позволяет выявить степень требуемой полноты информации, что также оказывает влияние на выбор поисковых систем. Противоположными друг другу целями поиска информации традиционно являются:
- предварительное знакомство с проблемой;
- тщательное изучение проблемы.
Как правило, обычная цель поиска информации лежит где-то между этими двумя крайностями, то есть пользователю требуется некоторое количество информации, но абсолютная полнота сведений ему не нужна.
К числу основных ограничений традиционно относят: ограничения по видам изданий, языкам публикаций, по географическим и хронологическим рамкам поиска. Поэтому необходимо четко выяснить:
- информация из каких источников интересует пользователя (статьи, монографии, материалы конференций, другое);
- на каком языке;
- каковы географические рамки поиска;
- каковы хронологические рамки поиска.
Для окончательной формулировки информационного запроса необходимо провести всесторонний лексический анализ информации, подлежащей поиску. Необходимо получить из какого-либо источника прецедент подробного и грамотного описания исследуемого вопроса. Таким источником может стать как узкоспециальный справочник, так и энциклопедия общего профиля. На основе изученного материала необходимо сформулировать максимально широкий набор ключевых слов в виде отдельных терминов, словосочетаний, профессиональной лексики и клише, при необходимости на нескольких языках.
Основная цель этапа планирования поисковой процедуры - определение путей и способов рационального решения поисковой задачи. Он включает в себя разработку общей программы поиска. Параллельно осуществляется выбор и оценка качества поисковых систем, проводится поиск недостающей информации.
На этом этапе речь идет о следующих шагах:
- выбор и оценка качества поисковых систем;
- разработка общей программы поиска.
Отбор и оценку качества поисковых систем необходимо проводить с точки зрения их соответствия реальной информационной потребности и специфике запроса. Каждый пользователь имеет специфические требования, оказывающие влияние на выбор поисковой системы, ее содержания и возможностей. При выборе поисковой системы необходимо обращать внимание на следующие параметры: объем индекса поисковой системы, контроль качества содержащейся в ней информации, возможности языков запросов.
Разработка общей программы поиска заключается в определении объектов, методов и возможных направлений (маршрутов) поиска на основе выявленных ограничений поиска (тематических, хронологических, языковых, географических), а также степени полноты поиска.
Тактика и средства поиска могут существенно различаться в зависимости не только от тематики, но и от других параметров запроса. Здесь следует руководствоваться рядом общих методических рекомендаций.
Так, например, характер поиска всецело определяется содержанием поставленной пользователем поисковой задачи. И в этом отношении важно различать, что сначала поиск как бы привязан к теме и к цели детальной, всесторонней разработки ее плана, когда особенно необходим широкий охват источников информации.
Следовательно, сначала в большей мере идет поиск информационных ресурсов (то есть совокупностей документов). И лишь затем информационный поиск конкретизируется, ограничивается непосредственным содержанием решаемой поисковой задачи. На этом этапе преобладает уже поиск самих документов.
Разумеется, на протяжении всего процесса поиска следует сочетать различные виды и методы поиска в двух основных направлениях: c одной стороны, от общих классификационных поисковых систем к предметно-ориентированным указателям ресурсов, далее к конкретным документам и содержащимся в них фактам; c другой - от уникальных слов и фраз запроса к предметно-ориентированным указателям ресурсов и/или к конкретным документам.
Цель последнего этапа - окончательное решение поисковой задачи. Он также включает в себя создание инструментов, необходимых для ее решения.
На этом этапе необходимо выполнить следующие шаги:
- отбор совокупности информационных ресурсов по теме поиска;
- проведение поиска в информационных ресурсах;
- оценка полноты информации;
- расширение круга информационных ресурсов.
На этапе отбора совокупности информационных ресурсов по теме поиска проводится поиск в отобранной на этапе планирования совокупности поисковых систем. Поиск можно проводить как от частного к общему, так и от общего к частному. В результате формируется список информационных ресурсов, в которых может содержаться информация по вопросу.
Список информационных ресурсов намечается таким образом, чтобы ресурсы, дополняя друг друга, максимально охватывали информацию по данной теме в соответствии с заранее намеченными ограничениями поиска. Если их круг слишком узок, результаты поиска могут оказаться неудовлетворительными, а если слишком широк - возрастает трудоемкость поиска.
На этом этапе необходимо четко определить, что известно об искомой информации и что неизвестно, но необходимо выяснить. Например, может быть известно название интересующего информационного центра, но неизвестен его URL. Таким образом, необходимо сформировать список запросов для поиска недостающей информации. Этот список формируется на основе выявленных ключевых слов и имеющейся информации о ресурсах.
Поиск недостающих звеньев описания ресурса (метаданных) рекомендуется проводить с помощью поисковых и метапоисковых машин. Однако, если ничего не известно об искомых ресурсах, целесообразно обращаться к классификационным поисковым системам или же к специализированным словарным поисковым системам. В случае, если пользователь не является специалистом в данной области, ему следует обращаться к классификационным поисковым системам с научным контролем качества (информационным шлюзам).
При проведении поиска рекомендуется использовать следующие методы: метод догадки, метод поиска от общего к частному, метод поиска от частного к общему. Метод догадки заключается в том, что после можно попытаться написать название искомой организации или ее аббревиатуру. Метод поиска от общего к частному обычно используется при проведении поиска в классификационных поисковых системах. Поскольку поиск в них проводится только по предметным категориям и описаниям ресурсов, то целесообразно изначально максимально расширить запрос. Метод поиска от частного к общему обычно используется при проведении поиска в словарных поисковых системах.
В результате формируется список информационных ресурсов. Данный шаг позволяет создать персональную информационную систему, направленную на решение конкретной задачи поиска.
При проведении поиска документов необходимо иметь возможность как сузить, так и расширить запрос. Как правило, поиск действительно нужной пользователю информации представляет собой состоящую из ряда шагов деятельность, в процессе которой пользователь формулирует некоторые запросы, анализирует полученную выборку (результат выполнения запроса), на основании анализа уточняет свое понимание структуры базы данных и возможностей поискового аппарата информационной системы, свои информационные потребности и формулирует новый запрос (уточняет старый). И снова чередует шаги выборки и анализа, постепенно уточняя запрос и продвигаясь к цели.
Традиционно различают две базовые стратегии поиска: отраслевой поиск и предметный. Они отражают две противоположные тенденции во взаимоотношении между науками и отраслями знания: дифференциацию наук и их интеграцию. Стратегия отраслевого поиска осуществляется от общего к частному путем просмотра иерархических классификаторов, а предметного - от частного к общему путем выборки данных по значениям дескрипторов, ключевых слов (то есть данные рассматриваются с точки зрения их «предметных» свойств).
Выбор той или иной поисковой стратегии зависит от конкретной задачи поиска. Например, при прочих равных условиях поиск по ключевым словам тем предпочтительнее поиску по классификатору, чем более конкретный характер имеет запрос. Как и при поиске информационных ресурсов, при поиске документов необходимо учитывать возможности языков запросов, предлагаемые различными СУБД.
Выявив часть документов путем проведения поиска в первичном круге информационных ресурсов, целесообразно провести просмотр и оценку полноты полученной информации.
Далеко не всегда пользователю нужна вся информация по заявленной теме. Часто ему достаточно лишь нескольких авторитетных источников.
На этом этапе формируется список документов и проводится проверка на дублетность. Однако в том случае, если полнота полученной информации недостаточна, следует провести дополнительный поиск информационных ресурсов.
При проведении поиска информации в интернете, в котором полнота играет важную роль, необходимо помнить, что ни одна поисковая система не индексирует всего, что есть в интернете.
Расширить список информационных ресурсов можно следующими путями:
- провести поиск в зарубежных метапоисковых системах с целью выявления баз данных, посвященных конкретно тематике поиска;
- провести поиск по гипертекстовым ссылкам, двигаясь от уже найденных документов;
- провести поиск баз данных, опираясь на структуру URL уже найденных документов.
Использование исследованных методов позволяет пользователю самостоятельно проводить поиск информации в новой информационной среде. Она дает возможность не только улучшить качество получаемой в результате поиска информации, но и повысить ее полноту.
И в завершение работы хотелось еще бы обратить внимание на некоторые советы участников Кубка России по поиску в Интернете:
1. Постарайтесь понять смысл вопроса. Возможно, ответ вам уже известен. Чтобы найти правильный адрес страницы, ищите одновременно ключевые слова из вопроса и известный вам ответ.
2. Число документов, полученных в результате поиска, может быть огромно. Поэтому решающее значение для оптимального поиска информации имеет правильный набор ключевых слов.
3. Проверяйте орфографию в написании слова. Используйте синонимы, если список найденных страниц слишком мал.
4. Ищите больше, чем по одному слову. Максимально сужайте предмет поиска.
5. Используйте настройки поиска в поисковых системах, чтобы задать удобные параметры описания документов и структуру страницы с результатами поиска.

easyschool.ru/sosh/Sovremennye_metody_poiska_informacii.doc

Лекция 3

Web-технология World Wide Web (WWW) считается специальной технологией подготовки и размещения документов в сети Интернет. В состав WWW входят и web-страницы, и электронные библиотеки, каталоги, и даже виртуальные музеи! Чтобы найти нужную информацию, необходимо найти её адрес. Для этого существуют специализированные поисковые сервера (роботы индексов (поисковые системы), тематические Интернет-каталоги, системы мета-поиска, службы поиска людей и т.д.).

Поиск информации в Интернете осуществляется с помощью специальных программ, обрабатывающих запросы - информационно-поисковых систем (ИПС) . Существует несколько моделей, на которых основана работа поисковых систем, но исторически две модели приобрели наибольшую популярность - это поисковые каталоги и поисковые указатели .

Поисковые каталоги устроены по тому же принципу, что и тематические каталоги крупных библиотек. Они обычно представляют собой иерархические гипертекстовые меню с пунктами и подпунктами, определяющими тематику сайтов, адреса которых содержатся в данном каталоге, с постепенным, от уровня к уровню, уточнением темы. Поисковые каталоги создаются вручную . Высококвалифицированные редакторы лично просматривают информационное пространство WWW, отбирают то, что по их мнению представляет общественный интерес, и заносят в каталог.

Основной проблемой поисковых каталогов является чрезвычайно низкий коэффициент охвата ресурсов WWW. Чтобы многократно увеличить коэффициент охвата ресурсов Web, из процесса наполнения базы данных поисковой системы необходимо исключить человеческий фактор - работа должна быть автоматизирована.

Автоматическую каталогизацию Web-ресурсов и удовлетворение запросов клиентов выполняют поисковые указатели . Работу поискового указателя можно условно разделить на три этапа:

· сбор первичной базы данных. Для сканирования информационного пространства WWW используются специальные агентские программы - черви, задача которых состоит в поиске неизвестных ресурсов и регистрация их в базе данных;

· индексация базы данных - первичная обработка с целью оптимизации поиска. На этапе индексации создаются специализированные документы - собственно поисковые указатели;

· рафинирование результирующего списка. На этом этапе создается список ссылок, который будет передан пользователю в качестве результирующего. Рафинирование результирующего списка заключается в фильтрации и ранжировании результатов поиска.

Под фильтрацией понимается отсев ссылок, которые нецелесообразно выдавать пользователю (например, проверяется наличие дубликатов). Ранжирование заключается в создании специального порядка представления результирующего списка (по количеству ключевых слов, сопутствующих слов и др.).

Главной задачей любой ИПС является поиск информации релевантной информационным потребностям пользователя. Очень важно в результате проведенного поиска ничего не потерять, то есть найти все документы, относящиеся к запросу, и не найти ничего лишнего. Поэтому вводится качественная характеристика процедуры поиска – релевантность.

Релевантность – это соответствие результатов поиска сформулированному запросу.

Технология поиска информации в Интернет. Виды поисковых инструментов

1. Введение

2. Технологии поиска

2.1 Поисковые инструменты

2.2 Поисковые машины (search engines)

2.3 Каталоги (directories)

2.4 Подборки ссылок

2.5 Базы данных адресов (addresses database)

2.6 Поиск в архивах Gopher (Gopher archives)

2.7 Система поиска FTP файлов (FTP Search)

2.8 Система поиска в конференциях Usenet News

2.9 Системы мета-поиска

2.10 Системы поиска людей

3. Заключение

Приложение . Краткие сведения о поисковых системах

1. Введение

С каждым годом объемы Интернета увеличиваются в разы, поэтому вероятность найти необходимую информацию резко возрастает.

Интернет объединяет миллионы компьютеров, множество разных сетей, число пользователей увеличивается на 15-80% ежегодно. И, тем не менее, все чаще при обращении к Интернетосновной проблемой оказывается не отсутствие искомой информации, а возможность ее найти . Как правило, обычный человек в силу разных обстоятельств не может или не хочет тратить на поиск нужного ему ответа больше 15-20 минут. Поэтому особенно актуально правильно и грамотно научиться, казалось бы, простой вещи – где и как искать, чтобы получать ЖЕЛАЕМЫЕ ответы.

Чтобы найти нужную информацию, необходимо найти её адрес. Для этого существуют специализированные поисковые сервера (роботы индексов (поисковые системы), тематические Интернет-каталоги, системы мета-поиска, службы поиска людей и т.д.).

Далее раскрываются основные технологии поиска информации в Интернет, предоставляются общие черты поисковых инструментов, рассматриваются структуры поисковых запросов для наиболее популярных русскоязычных и англоязычных поисковых систем.

2. Технологии поиска

Web-технология World Wide Web (WWW) считается специальной технологией подготовки и размещения документов в сети Интернет. В состав WWW входят и web-страницы, и электронные библиотеки, каталоги, и даже виртуальные музеи! При таком обилии информации остро встает вопрос: «Как сориентироваться в столь огромном и масштабном информационном пространстве?» В решении данной проблемы на помощь приходятпоисковые инструменты .

2.1 Поисковые инструменты

Поисковые инструменты - это особое программное обеспечение, основная цель которого – обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определеннуюфункцию :

1. Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.

2. Поиск информации по запросу пользователя.

3. Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы.

Сначала рассмотрим следующие понятия :

1. Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.

2. Индекс поисковой системы – это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.

3. Запрос – это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные ("", ~ ) и математические символы (*, +, ?).

Схема поиска информации проста . Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному запросу. Этот список документовранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц).

Таким образом, если указать в строке поиска для каждого поискового инструмента одинаковой конструкции запрос, можно получить различные результаты поиска. Для пользователя имеет большое значение, какие документы окажутся в первых двух-трех десятках документов по результатам поиска и на сколько эти документы соответствуют ожиданиям пользователя.

Большинство поисковых инструментов предлагают два способа поиска – simple search (простой поиск) иadvanced search (расширенный поиск) с использованием специальной формы запроса и без нее. Рассмотрим оба вида поиска на примере англоязычной поисковой машины.

Например, AltaVista удобно использовать для произвольных запросов, «Something about online degrees in information technology », тогда как поисковый инструментYahoo позволяет получать мировые новости, информацию о курсе валют или прогнозе погоды.

Освоение критериев уточнения запроса и приемов расширенного поиска, позволяет увеличивать эффективность поиска и достаточно быстро найти необходимую информацию. Прежде всего, увеличить эффективность поиска Вы можете за счет использования в запросах логических операторов (операций) Or ,And ,Near ,Not , математических и специальных символов. С помощью операторов и/или символов пользователь связывает ключевые слова в нужной последовательности, чтобы получить наиболее адекватный запросу результат поиска. Формы запросов на англ. приведены в таблице 1.

Таблица 1

Простой запрос дает некоторое количество ссылок на документы, т.к. в список попадают документы, содержащие одно из слов, введенных при запросе, или простое словосочетание (см. таблицу 1). Операторand позволяет указать на то, что в содержании документа должны быть включены все ключевые слова. Тем не менее, количество документов может быть все еще велико, и их просмотр займет достаточно времени. Поэтому в ряде случаев гораздо удобнее применить контекстный операторnear , указывающий, что слова должны располагаться в документе в достаточной близости. Использованиеnear значительно уменьшает количество найденных документов. Наличие символа "* " в строке запроса означает, что будет осуществляться поиск слова по его маске. Например, получим список документов, содержащих слова, начинающиеся на "gov ", если в строке запроса запишем "gov*". Это могут быть слова government, governor и т.д.

Наиболее развитый сервис поиска русскоязычной информации предоставляет поисковый сервер Яndex .

В Яndex можно просто написать по-русски фразу, описывающую то, что Вы хотите найти, и система проанализирует и обработает Ваш запрос, а затем постарается найти все, что относится к заданной теме.

Вы можете, используя специальные операторы, составить строку, поясняющую поисковой системе, каким Вашим требованиям должна отвечать интересующая Вас информация. Некоторые из операторов языка запросов Яndex можно посмотреть здесь: http://help.yandex.ru/search/?id=481939

Не менее популярная поисковая система Rambler ведет статистику посещаемости ссылок из собственной базы данных, поддерживаются те же логические операторы И, ИЛИ, НЕ, метасимвол * (аналогично расширяющему диапазон запроса символу * в AltaVista), коэффициентные символы + и -, для увеличения или уменьшения значимости вводимых в запрос слов.

Давайте рассмотрим наиболее популярные технологии поиска информации в Интернет.

2.2 Поисковые машины (search engines)

Машины веб-поиска - это сервера с огромной базой данных URL-адресов, которые автоматически обращаются к страницам WWW по всем этим адресам, изучают содержимое этих страниц, формируют и прописывают ключевые слова со страниц в свою базу данных (индексирует страницы).

Более того, роботы поисковых систем переходят по встречаемым на страницах ссылкам и переиндексируют их. Так как почти любая страница WWW имеет множество ссылок на другие страницы, то при подобной работе поисковая машина в конечном результате теоретически может обойти все сайты в Интернет.

Именно этот вид поисковых инструментов является наиболее известным и популярным среди всех пользователей сети Интернет. У каждого на слуху названия известных машин веб-поиска (поисковых систем) –Яndex ,

Rambler, Aport.

Чтобы воспользоваться данным видом поискового инструмента, необходимо зайти на него и набрать в строке поиска интересующее Вас ключевое слово.

Чтобы поиск был наиболее эффективен, заранее обратите внимание на следующие моменты :

определитесь с темой запроса . Что именно в конечном итоге Вы хотите найти?

обращайте внимание на язык, грамматику, использование различных небуквенных символов, морфологию. Важно также правильно сформулировать и вписать ключевые слова. Каждая поисковая система имеет свою форму составления запроса - принцип один, но могут различаться используемые символы или операторы. Требуемые формы запроса различаются также в зависимости от сложности программного обеспечения поисковых систем и предоставляемых ими услуг. Так или иначе, каждая поисковая система имеет раздел " Help " ("Помощь"), где все синтаксические правила, а также рекомендации и советы по поиску, доступно объясняются (скриншот страничек поисковиков).

используйте возможности разных поисковых систем. Если не нашли на Яndex, попробуйте на Google. Пользуйтесь услугами расширенного поиска.

чтобы исключить документы, содержащие определенные термины, используйте знак " - " перед каждым таким словом. Например, если Вам нужна информация о работах Шекспира, за исключением "Гамлета", то введите запрос в виде: "Шекспир-Гамлет". А для того, чтобы в результаты поиска обязательно включались определенные ссылки, используйте символ " + ": ссылки о продаже именно автомобилей - запрос "продажа+автомобиль".

каждая ссылка в списке результатов поиска содержит сниппет – несколько строчек из найденного документа, среди которых встречаются Ваши ключевые слова. Прежде чем переходить по ссылке, оцените соответствие сниппета теме запроса. Перейдя по ссылке на определенный сайт, внимательно окиньте взглядом главную страничку. Как правило, первой страницы достаточно, чтобы понять – по адресу Вы пришли или нет. Если да, то дальнейшие поиски нужной информации ведите на выбранном сайте (в разделах сайта), если нет – возвращайтесь к результатам поиска и пробуйте очередную ссылку.

помните, что поисковые системы не производят самостоятельную информацию (за исключением разъяснений о самих себе). Поисковая система

– это лишь посредник между обладателем информации (сайтом) и Вами. Базы данных постоянно обновляются, в них вносятся новые адреса, но отставание от реально существующей в мире информации все равно остается. Это просто потому, что поисковые системы не работают со скоростью света.

К наиболее известным машинам веб-поиска относятсяGoogle ,Yahoo ,Alta Vista ,Excite ,Hot Bot ,Lycos . Среди русскоязычных можно выделитьЯndex ,Rambler ,Апорт .

Поисковые системы являются самыми масштабными и ценными, но далеко не единственными источниками информации в Сети.

1. Введение

С каждым годом объемы Интернета увеличиваются в разы, поэтому вероятность найти необходимую информацию резко возрастает. Интернет объединяет миллионы компьютеров, множество разных сетей, число пользователей увеличивается на 15-80% ежегодно. И, тем не менее, все чаще при обращении к Интернет основной проблемой оказывается не отсутствие искомой информации, а возможность ее найти. Как правило, обычный человек в силу разных обстоятельств не может или не хочет тратить на поиск нужного ему ответа больше 15-20 минут. Поэтому особенно актуально правильно и грамотно научиться, казалось бы, простой вещи – где и как искать, чтобы получать ЖЕЛАЕМЫЕ ответы.

Чтобы найти нужную информацию, необходимо найти её адрес. Для этого существуют специализированные поисковые сервера (роботы индексов (поисковые системы), тематические Интернет-каталоги, системы мета-поиска, службы поиска людей и т.д.). В данном мастер-классе раскрываются основные технологии поиска информации в Интернете, предоставляются общие черты поисковых инструментов, рассматриваются структуры поисковых запросов для наиболее популярных русскоязычных и англоязычных поисковых систем.

2. Технологии поиска

Web-технология World Wide Web (WWW) считается специальной технологией подготовки и размещения документов в сети Интернет. В состав WWW входят и web-страницы, и электронные библиотеки, каталоги, и даже виртуальные музеи! При таком обилии информации остро встает вопрос: «Как сориентироваться в столь огромном и масштабном информационном пространстве?»
В решении данной проблемы на помощь приходят поисковые инструменты.

2.1 Поисковые инструменты

Поисковые инструменты - это особое программное обеспечение, основная цель которого – обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определенную функцию:

1. Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.
2. Поиск информации по запросу пользователя.
3. Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы. Перед тем как перейти к их обсуждению, рассмотрим следующие понятия:

1. Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.
2. Индекс поисковой системы – это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.
3. Запрос – это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("", ~), математические символы (*, +, ?).

Схема поиска информации в сети Интернет проста. Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному (заданному) запросу. Этот список документов ранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц).

Таким образом, если указать в строке поиска для каждого поискового инструмента одинаковой конструкции запрос, можно получить различные результаты поиска. Для пользователя имеет большое значение, какие документы окажутся в первых двух-трех десятках документов по результатам поиска и на сколько эти документы соответствуют ожиданиям пользователя.

Большинство поисковых инструментов предлагают два способа поиска – simple search (простой поиск) и advanced search (расширенный поиск) с использованием специальной формы запроса и без нее. Рассмотрим оба вида поиска на примере англоязычной поисковой машины.

Например, AltaVista удобно использовать для произвольных запросов, «Something about online degrees in information technology», тогда как поисковый инструмент Yahoo позволяет получать мировые новости, информацию о курсе валют или прогнозе погоды.

Освоение критериев уточнения запроса и приемов расширенного поиска, позволяет увеличивать эффективность поиска и достаточно быстро найти необходимую информацию. Прежде всего, увеличить эффективность поиска Вы можете за счет использования в запросах логических операторов (операций) Or, And, Near, Not, математических и специальных символов. С помощью операторов и/или символов пользователь связывает ключевые слова в нужной последовательности, чтобы получить наиболее адекватный запросу результат поиска. Формы запросов приведены в таблице 1.

Таблица 1

Простой запрос дает некоторое количество ссылок на документы, т.к. в список попадают документы, содержащие одно из слов, введенных при запросе, или простое словосочетание (см. таблицу 1). Оператор and позволяет указать на то, что в содержании документа должны быть включены все ключевые слова. Тем не менее, количество документов может быть все еще велико, и их просмотр займет достаточно времени. Поэтому в ряде случаев гораздо удобнее применить контекстный оператор near, указывающий, что слова должны располагаться в документе в достаточной близости. Использование near значительно уменьшает количество найденных документов. Наличие символа "*" в строке запроса означает, что будет осуществляться поиск слова по его маске. Например, получим список документов, содержащих слова, начинающиеся на "gov", если в строке запроса запишем "gov*". Это могут быть слова government, governor и т.д.

Не менее популярная поисковая система Rambler ведет статистику посещаемости ссылок из собственной базы данных, поддерживаются те же логические операторы И, ИЛИ, НЕ, метасимвол * (аналогично расширяющему диапазон запроса символу * в AltaVista), коэффициентные символы + и -, для увеличения или уменьшения значимости вводимых в запрос слов.

Давайте рассмотрим наиболее популярные технологии поиска информации в Интернет.

2.2 Поисковые машины (search engines)

Машины веб-поиска - это сервера с огромной базой данных URL-адресов, которые автоматически обращаются к страницам WWW по всем этим адресам, изучают содержимое этих страниц, формируют и прописывают ключевые слова со страниц в свою базу данных (индексирует страницы).

Более того, роботы поисковых систем переходят по встречаемым на страницах ссылкам и переиндексируют их. Так как почти любая страница WWW имеет множество ссылок на другие страницы, то при подобной работе поисковая машина в конечном результате теоретически может обойти все сайты в Интернет.

Именно этот вид поисковых инструментов является наиболее известным и популярным среди всех пользователей сети Интернет. У каждого на слуху названия известных машин веб-поиска (поисковых систем) – Яndex, Rambler, Aport.

Чтобы воспользоваться данным видом поискового инструмента, необходимо зайти на него и набрать в строке поиска интересующее Вас ключевое слово. Далее Вы получите выдачу из ссылок, хранящихся в базе поисковой системы, которые наиболее близки Вашему запросу. Чтобы поиск был наиболее эффективен, заранее обратите внимание на следующие моменты:

• определитесь с темой запроса. Что именно в конечном итоге Вы хотите найти?
• обращайте внимание на язык, грамматику, использование различных небуквенных символов, морфологию.Важно также правильно сформулировать и вписать ключевые слова. Каждая поисковая система имеет свою форму составления запроса - принцип один, но могут различаться используемые символы или операторы. Требуемые формы запроса различаются также в зависимости от сложности программного обеспечения поисковых систем и предоставляемых ими услуг. Так или иначе, каждая поисковая система имеет раздел "Help" ("Помощь"), где все синтаксические правила, а также рекомендации и советы по поиску, доступно объясняются (скриншот страничек поисковиков).
• используйте возможности разных поисковых систем. Если не нашли на Яndex, попробуйте на Google. Пользуйтесь услугами расширенного поиска.
• чтобы исключить документы, содержащие определенные термины, используйте знак "-" перед каждым таким словом. Например, если Вам нужна информация о работах Шекспира, за исключением "Гамлета", то введите запрос в виде: "Шекспир-Гамлет". И для того, чтобы, наоборот, в результаты поиска обязательно включались определенные ссылки, используйте символ "+". Так, чтобы найти ссылки о продаже именно автомобилей, Вам нужен запрос "продажа+автомобиль". Для увеличения эффективности и точности поиска, используйте комбинации этих символов.
• каждая ссылка в списке результатов поиска содержит – несколько строчек из найденного документа, среди которых встречаются Ваши ключевые слова. Прежде чем переходить по ссылке, оцените соответсвие сниппета теме запроса. Перейдя по ссылке на определенный сайт, внимательно окиньте взглядом главную страничку. Как правило, первой страницы достаточно, чтобы понять – по адресу Вы пришли или нет. Если да, то дальнейшие поиски нужной информации ведите на выбранном сайте (в разделах сайта), если нет – возвращайтесь к результатам поиска и пробуйте очередную ссылку.
• помните, что поисковые системы не производят самостоятельную информацию (за исключением разъяснений о самих себе). Поисковая система – это лишь посредник между обладателем информации (сайтом) и Вами. Базы данных постоянно обновляются, в них вносятся новые адреса, но отставание от реально существующей в мире информации все равно остается. Просто потому, что поисковые системы не работают со скоростью света.

К наиболее известным машинам веб-поиска относятся Google, Yahoo, Alta Vista, Excite, Hot Bot, Lycos. Среди русскоязычных можно выделить Яndex, Rambler, Апорт.

Поисковые системы являются самыми масштабными и ценными, но далеко не единственными источниками информации в Сети, ведь помимо них существуют и другие способы поиска в Интернете.

2.3 Каталоги (directories)

Каталог Интернет-ресурсов – это постоянно обновляющийся и пополняющийся иерархический каталог, содержащий множество категорий и отдельных web-серверов с кратким описанием их содержимого.Способ поиска по каталогу подразумевает «движение вниз по ступенькам», то есть движение от более общих категорий к более конкретным. Одним из преимуществ тематических каталогов является то, что пояснения к ссылкам дают создатели каталога и полностью отражают его содержание, то есть дает Вам возможность точнее определить, насколько соответствует содержание сервера цели Вашего поиска.

Примером тематического русскоязычного каталога можно назвать ресурс http://www.ulitka.ru/ .

На главной странице данного сайта расположен тематический рубрикатор,

с помощью которого пользователь попадает в рубрику со ссылками на интересующую его продукцию.

Кроме того, некоторые тематические каталоги позволяют искать по ключевым словам. Пользователь вводит необходимое ключевое слово в строку поиска

и получает список ссылок с описаниями сайтов, которые наиболее полно соответствуют его запросу. Стоит отметить, что этот поиск происходит не в содержимом WWW-серверов, а в их кратком описании, хранящихся в каталоге.

В нашем примере в каталоге также имеется возможность сортировки сайтов по количеству посещений, по алфавиту, по дате занесения.

Другие примеры русскоязычных каталогов:
Каталог@Mail.ru
Weblist
Vsego.ru
Cреди англоязычных каталогов можно выделить:
http://www.DMOS.org
http://www.yahoo.com/
http://www.looksmart.com

2.4 Подборки ссылок

Подборки ссылок – это отсортированные по темам ссылки. Они достаточно сильно отличаются друг от друга по наполнению, поэтому чтобы найти подборку, наиболее полно отвечающую Вашим интересам, необходимо ходить по ним самостоятельно, дабы составить собственное мнение.

В качестве примера приведем Подборку ссылок "Сокровища Интернет" АО "Релком"

Пользователь, нажимая на любую из заинтересовавших его рубрик

1. Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.
2. Поиск информации по запросу пользователя.
3. Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

1. Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.
2. Индекс поисковой системы – это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.
3. Запрос – это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("", ~), математические символы (*, +, ?).

Простой запрос дает некоторое количество ссылок на документы, т.к. в список попадают документы, содержащие одно из слов, введенных при запросе, или простое словосочетание (см. таблицу 1). Оператор and позволяет указать на то, что в содержании документа должны быть включены все ключевые слова. Тем не менее, количество документов может быть все еще велико, и их просмотр займет достаточно времени. Поэтому в ряде случаев гораздо удобнее применить контекстный оператор near, указывающий, что слова должны располагаться в документе в достаточной близости. Использование near значительно уменьшает количество найденных документов. Наличие символа "*" в строке запроса означает, что будет осуществляться поиск слова по его маске. Например, получим список документов, содержащих слова, начинающиеся на "gov", если в строке запроса запишем "gov*". Это могут быть слова government, governor и т.д.