ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
Государственное образовательное учреждение высшего профессионального образования
Санкт- Петербургский государственный университет
аэрокосмического приборостроения
Кафедра № 52
«Безопасности информационных систем»
Защищен с оценкой ________________________
Руководитель доц., к.т.н Белоголовый В.Г. ________________________
(уч.степень, звание, Фамилия И.О.) (подпись, дата)
КУРСОВАЯ РАБОТА
по курсу «Инженерно-техническая защита информации»
«Опасности, связанные с использованием сервисов поисковых систем
»
Работу выполнил
Студент гр. № 5821 Катаев А.Я.
(подпись, дата) (Фамилия И.О.)
Санкт-Петербург
2011
Содержание:
· Введение……………………………………………………………3
· История поисковых систем……………………………………...5
· Принцип работы поисковой системы………………………….6
· Самые популярные поисковые системы мира……………….8
· «Иные» поисковые системы…………………………………….9
· Обычный запрос – а безопасно ли? …………………………...11
· «Нестандартные» запросы ……………………………………..12
· «
Google Hacking
» ………………………………………………...13
· Список литературы……………………………………………...16
·
Введение
Пополнение информационных ресурсов Интернета происходит высокими темпами, и найти необходимую информацию становиться всё труднее. Различные печатные справочники устаревают ещё до выхода в свет. Единственным надёжным способом поиска информации является использование различных поисковых систем, которые постоянно отслеживают изменение информации в сети.
За время существования Интернета предпринимались различные попытки организации поисковых средств. Многие из этих попыток оказались неудачными, другие же привели к созданию удобных средств поиска информации. Наиболее удачные проекты появились в последние пять лет. Всего же в мире существуют сотни различных поисковых систем, и выбор той или иной системы зависит только от ваших личных пристрастий. Отметим, что поисковые системы часто называют поисковыми машинами или машинами поиска.
Многие поисковые системы позволяют искать информацию не только в Web-страницах, но и в группах новостей и хранилищах файлов. Таким образом, в результате поиска вы можете найти сообщение в группе новостей или какой-то файл. Поэтому чаще применяют вместо термина страница более общий термин – документ. Под документом подразумеваются Web-страница, сообщение или файл, содержащие различную информацию.
Процесс поиска довольно прост: задавая ключевые слова, характерные для искомой информации, мы найдём нужный нам документ. Вне зависимости от того, какой поисковой системой вы пользуетесь, примерный алгоритм поиска информации следующий:
· Вы переходите на начальную страницу поисковой системы или на любую страницу, на которой находятся поля для ввода запроса и кнопка для начала поиска. В последнем случае после нажатия кнопки вы автоматически перейдёте на страницу поисковой системы. Принципиальных отличий между собственно поисковой системой и страницей с полями для ввода запроса, который передаётся поисковой системе, нет. Главное – перейти на страницу, на которой вы можете ввести ваш запрос.
· Если система позволяет последовательные уточнения области поиска, то вы переходите в разделы, которые определяют границы поиска информации (например, поиск только в области науки или поиск среди европейских узлов Интернета). В таких системах запрос в главном разделе осуществляет поиск среди всех узлов Интернета. Если же вы, например, перейдёте в раздел «Новости», то поиск по запросу будет выполняться только среди узлов, посвящённых новостям. В том случае, если вы перейдёте в раздел погода, то вы будете искать только среди новостей о погоде. Таким образом, вы сначала определяете границы, в которых следует вести поиск, и только после этого отправляется запрос на поиск информации. Если выбранная вами система поиска не позволяет уточнить запрос, то это действие пропускается.
· Вводится запрос на поиск в соответствии с правилами, принятыми в выбранной системе поиска. В простейшем случае это одно или несколько слов, например «Анекдоты», но возможны и сложные запросы с логическими операциями «И», «ИЛИ», «НЕТ».
· Если система поиска позволяет, то уточняются некоторые параметры запроса с помощью дополнительных полей, списков, флажков и переключателей, которые могут находиться на странице рядом с полем запроса. В большинстве случаев уточнение параметров не требуется. Уточнение параметров и составление сложных запросов чем-то похоже на программирование и пользуется большей популярностью у программистов, чем у широкого круга людей, не знакомых с программированием.
· Нажимается кнопка для начала поиска, и после некоторой паузы вы автоматически попадаете на страницу со списком документов, удовлетворяющих вашему запросу. Длительность паузы зависит от сложности запроса, скорости работы поисковой системы и качества вашей связи с данной системой.
· Если ссылок много и они не помещаются на одной странице, то после прочтения первой страницы с результатами поиска вы можете перейти к следующей, и так далее. Таким образом вы просматриваете все найденные ссылки на документы.
· После нахождения нужной ссылки вы щёлкаете на ней мышью и переходите на страницу, которую вы разыскивали. Если вы захотите посмотреть другие найденные страницы, то можно вернуться назад, к странице со ссылками на найденные документы, и перейти по другой ссылке.
Во многих поисковых системах поле запроса остаётся на странице во время просмотра результатов, и вы можете быстро уточнить запрос и организовать новый поиск. В большинстве систем список включает в себя кроме ссылок несколько строк каждого из найденных документов, чтобы было легче выбрать нужный.
В некоторых системах списки ссылок отсортированы таким образом, что в начале списка вы получите ссылки на документы, наиболее удовлетворяющие вашему запросу. Например, если в документе много раз встречаются слова запроса и несколько слов, включённых в запрос, расположены в документе рядом, то такой документ более полно удовлетворяет запросу. Так как большинство систем осуществляет интеллектуальный поиск в Интернете, то степень соответствия запросу, определённая поисковой системой, не всегда будет совпадать с вашими представлениями.
Следует отметить, что при выполнении запроса поисковая система не ищет документ непосредственно в Интернете. Она обращается к своей базе данных, где в компактном виде собраны данные об информации в Интернете. Возможно, что реальное состояние Интернета несколько отличается оттого, что храниться в базе данных. Поисковые системы постоянно пополняют и обновляют свои базы данных, чтобы минимизировать такое несовпадение. Существует два способа пополнения информации в базы данных поисковых машин:
· Разработчик Web-страницы самостоятельно добавляет ссылку на неё в поисковую систему. Большинство систем позволяют это сделать совершенно бесплатно.
· Специальная программа, называемая роботом, находит ссылку на новую страницу во Всемирной паутине. Роботы запускаются поисковой системой, что бы проверить, существуют ли ранее найденные документы и не появились ли новые.
Поисковая система
представляет собой программно-аппаратный комплекс с веб-интерфейсом, позволяет осуществлять поиск информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.
Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.
По данным компании Net Applications, в январе 2011 года использование поисковых систем распределялось следующим образом: /нужна ссылка на страницу источника! ведь Yandex тоже какое-то место занимает. Иначе это скрытая реклама Google
... Или Yandex это Bing?/
· Google — 84,65 %;
· Yahoo! — 6,69 %;
· Baidu — 3,39 %;
· Bing — 3,29 %;
· Ask — 0,56 %;
· AOL — 0,42 %.
История поисковых систем
/где этот материал будет использован?/
История возникновения поисковых систем берет свое начало в июле 1945 г., когда американский ученый Вэннивер Буш (Vannevar Bush) написал знаменитую статью «Пока мы мыслим», в которой предсказал появление персонального компьютера и сформулировал идею гипертекста. Кстати, сам Вэннивер Буш и занимался созданием прототипа современной поисковой системы. Правда, тогда, в далеком 1938 г., он разработал и запатентовал устройство для быстрого поиска информации на микрофильмах.
И хоть родоначальником идеи Интернета и технологий поиска является Вэннивер Буш, но на практике реолизовали его идеи другие ученые. В 1958 г. в США при Министерстве обороны создано Агентство Передовых Исследовательских Проектов (Advanced Research Projects Agency - ARPA), где с 1963 по 1969 года ученые работают над новой предложенной концепцией передачи информации посредством компьютерной сети.
Изначально соединение для передачи зашифрованных данных планировалось использовать в военных целях, но низкий уровень безопасности передачи информации заставили военных отказаться от продоложения разработок.
И только к концу 1980-х гг. идею создания компьютерной сети воскресили в своих разработках несколько универститетов США, объединив свою библиотеку образовательной информации посредством соединения сетями.
В 90-х гг. началось бурное развитие Интернета, а с февраля 1993 года как только Марк Андрессен (Mark Andressen) из NCSA (Национальный Центр Суперкомпьютерных приложений США, www.ncsa.uiuc.edu) закончил начальную версию программы визуализации гипертекста Mosaic под UNIX, которая имела удобный графический интерфейс и стала прототипом современных браузеров, интернет начал входить в массы.
В середине 90-х годов поиск нужной информации осуществлялся посредством размещения сайтов в каталогах, которых на тот момент было не много, да и не блистали изобилием сайтов, но тем не менее информация была упорядочена по тематиками и рубрикам. Кстати, в 1993 г. в сети уже имелись три бота поисковых систем. Это были некоммерческие разработки и с наплывом огромного количества информации они не справились и исчезли в водовороте бурного развития интернета.
С 1995 года свое верхоправие в глобальном интернете взяли на себя, ставшие впоследствии крупными, поисковые системы Google, Yachoo, Alta Vista в западном Интернете и Yandex, Rambler, Aport в рунете.
Немного из истории российских поисковых систем
/
the
same
/
История компании "Яндекс" восходит к 1990 году, но настоящая поисковая система, которую мы видим сейчас, появилась только в 1997 году.
Яндекс продолжает являться безусловным лидером, так как месячный охват аудитории Яндекса по оценкам ведущих исследователей составляет около половины регулярной аудитории российского Интернета, что намного превосходит потенциальную аудиторию Рамблера и Апорта. Не так давно появился мощный поиск Go Mail крупной электронной почтовой службы, но в данном случае компания использует алгоритм Яндекса и поэтому поиск со страниц системы Mail можно отнести к Яндекс поиску.
В своем поиске Яндекс учитывает заголовки и обязательное нахождение слова в теле документа. Особенно предпочтение отдается словам, если это словосочетание расположено ближе друг к другу и находящится в одном абзаце. Еще одна отличительная особенность Яндекса, это поиск с учетом морфологии русского языка, то есть при запросе «фото природы» или «фото природа» будут выдаваться и те и другие документы встречающие эти слова.
Первый поисковый сервис Рунета Рамблер был открыт осенью 1997 года группой ученых из НИИ Микробиологии г. Пущино Московской области.
Поиск Рамблера построен на индексации особо значимых слов на странице, особенно если они часто появляются в заголовка (тегах h1) и выделены особым жирным шрифтом (тегами b и strong). При этом Рамблер в отличие от Яндекса игнорирует теги keyword, благодаря чему называет себя чистым поиском, хотя и это не может обеспечить должной чистоты поиска. Собственно это остается проблемой и в других поисковых системах.
Поисковая машина "Апорт" была впервые продемонстрирована в феврале 1996 года на пресс-конференции "Агамы" по поводу открытия "Русского клуба", тогда она еще не была масштабным поисковиком по всему интернету. В отличие от других поисковиков Апорт ищет заданные ключевые слова не только в keywords , но также и в описании (description) и в подписях к картинкам (alt).
Сейчас поисковые системы всячески продолжают улучшать свои технологии поиска. Как бы они высоко развитыми не были, к сожалению, совершенным поиском похвастаться ни одна из них не может. По сей день к основным недостаткам автоматических систем поиска относятся слаборазвитые системы обобщения запроса, тотальная зависимость от выбора источников информации. И если недостаточную информативность еще можно как-то компенсировать обилием выбора результатов поиска, то объяснить машине простым языком что хочет найти человек пока удается не легко. Поэтому энциклопедией вряд ли сможет назвать себя хоть одна поисковая система, но уже не секрет, что будущее именно за информативным поиском, ориентированным на обработку человеческих понятий.
Принцип работы поисковой системы
Многие пользуются поисковыми системами, такими как Google, Яндекс, Yahoo и др., однако, все ли понимают, как работает механизм поисковика?
(это для кого написано???) Несмотря на то, что каждый из поисковиков имеет свои особенности в алгоритмах поиска и ранжирования результатов, принципы работы всех поисковых систем общие.
Если рассматривать процесс поиска информации в сети, его можно разбить на следующие этапы: сбор информации со страниц сайтов в сети Интернет, индексация сайтов, поиск по запросу и ранжирование результатов. Рассмотрим каждый из этапов отдельно.
Сбор данных
Как только вы запустили свой сайт и дали роботу какой-нибудь поисковой системы понять, что появился новый ресурс (с помощью внешних ссылок на ваш сайт, добавления его в адурилку
[1]
или используя другие методы), робот приходит к вам, начинает ходить по страницам и собирать с них данные (это могут быть текстовый контент, картинки, видео и др. файлы). Этот процесс называется сбором данных (англ. crawling) и он может происходить не только при запуске сайта. Робот составляет для сайта расписание, когда он должен на него зайти в следующий раз, проверить старую инфомрацию и добавить новые страницы, если таковые имеются.
Важно, чтобы общение вашего сайта с ботом было приятным для обеих сторон. В ваших интересах, чтобы бот долго не задерживался на сайте, чтобы не грузить лишний раз сервер, и в то же время необходимо, чтобы он правильно собрал все данные со всех нужных страниц. В интересах робота также сделать сбор быстрым, чтобы приступить к обработке следующего сайта в таблице расписаний. Для этого вам необходимо убедиться, что сайт доступен, что нет проблем с навигацией по сайту (flash и javascript меню роботы ещё плохо распознают), что отсутствуют битые страницы (отдающие 404 ошибку), не заставлять бота ходить по страницам, которые доступны только зарегистрированным пользователям и так далее. Также следует помнить, что для web-пауков существует ограничение на глубину проникновения (уровень вложенности) и максимальный размер сканируемого текста (обычно 256кб).
Управлять доступом на разные ресурсы (своего сайта?) для поискового робота можно с помощью файла robots.txt. Карта сайта sitemap.xml также может помочь роботу, если по каким-либо причинам навигация по сайту ему затруднена.
Индексация
Робот может ходить по вашему сайту долгое время, однако это не значит, что он сразу появится в поисковой выдаче. Страницам сайта необходимо пройти такой этап, как индексация – составление для каждой страницы обратного (инвертированного) файла индекса. Индекс служит для того, чтобы быстро по нему производить поиск и состоит обычно из списка слов из текста и информации о них (позиции в тексте, вес и др.).
После того, как прошла индексация сайта или отдельных страниц, они появляются в основной выдаче поисковика и их можно найти по ключевым словам, присутствующим в тексте. Процесс индексации обычно происходит довольно быстро после того, как робот стянет информацию с вашего сайта.
Поиск информации
При поиске, первым делом, анализируется запрос, введенный пользователем (происходит препроцессинг запроса), в результате которого вычисляются веса для каждого из слов.
Далее, поиск производится по инвертированным индексам, находятся все документы в коллекции (базе данных поисковой системы), которые наиболее подходят под данный запрос. Другими словами, вычисляется схожесть документа запросу примерно по следующей формуле:
similatiry(Q,D) = SUM(Wqk
*Wdk
),
где similatiry(Q,D)
— схожесть запроса Q
документу D
;
Wqk
— вес k-го слова в запросе;
Wdk
— вес k-го слова в документе.
Документы, наиболее схожие с запросом, попадают в результаты поиска.
Ранжирование
После того, как наиболее схожие документы были отобраны из основной коллекции, они должны ранжироваться, чтобы в верхних результатах отражались наиболее полезные для пользователя ресурсы. Для этого используется специальная формула ранжирования, которая для разных поисковиков имеет разный вид, однако для всех из них основными факторами ранжирования являются:
· вес страницы
· авторитетность домена;
· релевантность текста запросу;
· релевантность текстов внешних ссылок запросу;
· а также множество других факторов ранжирования.
Существует упрощенная формула ранжирования, которую можно найти в некоторых статьях оптимизаторов:
R
а
(x)=(m*T
а
(x)+p*L
а
(x))* F(PRa),
где:
Rа(x)
– итоговое соответствие документа а запросу x,
Tа(x)
– релевантность текста (кода) документа а запросу x,
Lа(x)
– релевантность текста ссылок с других документов на документ а запросу x,
PRа
– показатель авторитетности страницы а, константа относительно х,
F(PRa)
– монотонно неубывающая функция, причем F(0)=1, можно допустить, что F(PRa) = (1+q*PRа),
m, p, q
– некие коэффициенты.
То есть, мы должны знать, что при ранжировании документов используются, как внутренние факторы, так и внешние. А также можно их разделить на зависимые от запроса факторы (релевантность текста документа или ссылок) и независимые от запроса. Конечно же, эта формула даёт очень общее представление об алгоритмах ранжирования документов в результатах поиска.
/приведенный материал считаю интересным, хотя и не очень конкретным, но не затронут вопрос построения базы поисковика по найденным материалам. И – еще более важный вопрос – слежение за интересами того, кто запрашивал, его идентификация (!) и построение IP-портрета интересов. И здесь даже необязателен поисковик – даже книгомагазинные сайты уже это отслеживают.../
Самые популярные поисковые системы мира
/зачем это??/
Самым популярным поисковым порталом в мире является интернет-гигант Google, свидетельствует новое исследование, проведенное экспертами из аналитической компании comScore. Согласно отчету экспертов, всего за август 2007 года поступил 61 млрд запросов от более, чем 750 млн пользователей. Через Google прошло более половины, а точнее - 37 млрд запросов. Это гораздо больше, чем через все остальные главные поисковые порталы, вместе взятые. На втором месте - Yahoo, а на третьем - китайский поисковый сервис Baidu. Эксперты установили, что больше всего поисковых запросов поступает из Азиатско-тихоокеанского региона, куда входят такие страны, как Китай, Япония и Индия. В августе, - говорится в отчете comScore, - более 258 млн пользователей из этого региона подали 20,3 млрд запросов. На втором месте - Европа, где было подано 210 млн запросов, за нею следует Северная Америка (206 млн) . В настоящее время меньше всего поисковый рынок развит на Ближнем Востоке и в Африке. Оттуда поступило всего 30 млн запросов , - говорится в отчете. Самые популярные поисковые порталы:
· Google: 37 млрд запросов
· Yahoo: 8,5 млрд запросов
· Baidu: 3,2 млрд запросов
· Microsoft: 2,1 млрд запросов
· NHN: 2 млрд запросов
· eBay: 1,3 млрд запросов
· Time Warner: 1,2 млрд запросов
· Ask: 743 млн запросов
· Fox: 683 млн запросов
· Lycos: 441 млн запросов
«Иные» поисковые системы
Мини обзор по «нестандартным» поисковым системам.
Первый по списку будет «Поисковик по вину»
. Поисковик предлагает жителям Америки здесь же на сайте и купить коллекционное вино. Возможно посмотреть на рекомендации, почитать, узнать сколько гипотетически бутылка того или иного вина может стоить. Адрес такого «п
.
Поиск среди арабских сайтов латинскими буквами. Может быть полезен для поиска картинок, названия которых написаны на арабском. Поисковик автоматически переводит ваш запрос на арабскую вязь http://www.yamli.com/
Поиск приложений и виджетов для социальных сетей, мобильных устройств, блогов, десктопа или хоум страницы сайта (apps for Facebook, MySpace, Yahoo, iPhone, OpenSocial, iGoogle, OSX and more) http://www.cleverhippo.org/site/start.html
Вы добавляете адрес своего сайта или блога, и поисковик ищет кто и где в Интернет использовал контент с вашего сайта или блога (текстовая информация). Также можно отслеживать цитирование вас. http://copyscape.com/
Следующая по списку система - поисковая система среди табличных и графических данных. Ищет в сети файлы с таблицами и представляет эти данные в графической форме. Пользователи могут также подгружать свои данные и конвертить их в графический вид http://www.graphwise.com/
Поиск по вебу, картинкам, блогам, поиск среди тегов... Все результаты представляет в визуальной форме, результаты сразу из нескольких источников. http://www.searchcrystal.com/
Поиск по именам доменов .com .net .org .info .biz .us Вводите интересующее вас доменное имя, поисковик показывает вам, можно ли приобрести данное имя или нет, а также где приобрести. http://www.domainsbot.com/
Поисковая система, которая якобы умеет отвечать на вопросы пользователей (Direct answers to human and machine questions). Для начала работы с поисковиком нужно зарегистрироваться, а если нет желания, то можно посмотреть демо видео, где поисковик сравнивают с Google. http://www.trueknowledge.com/
TagSlides - это интерактивная поисковая система по тегам. Сейчас можно искать по Google, Yahoo, Amazon, Del.icio.us и Technorati. http://searchslides.com/
Ну и последний такой поисковик - поиск слов песен, а также видео http://www.chizmax.com/[2]
Обычный запрос – а безопасно ли?[3]
/вот это – в теме/
В ходе исследований поисковых запросов, специалисты McAfee изучили результаты и классифицировали несколько тысяч ключевых слов, используя поисковые сервисы Google и Yahoo! . Результатом их работы стало определение опасных запросов в интернете.
Используя наиболее популярные запросы и ключевые слова — хакеры завлекают ничего не подозревающих пользователей на зараженные вирусами сайты. Вирусы наиболее часто распространяются через загрузку незнакомых файлов, могут быть размещены во фреймах и т.д.
В итоге возможна кража у пользователя личных данных и финансовой информации, а также различных паролей.
Наиболее распространенные поисковые запросы связаны с поиском бесплатными музыкальными записями, МР3, играми и другим похожим контентом. Также, в наше время «кризиса», опасными являются и некоторые сайты с предложениями о «высокооплачиваемой» работе на дому или быстрому заработку.
Лидирующие позиции по запросам занял поиск заставок, игр и бесплатных mp3 композиций. Около половины результатов запросов по поиску заставок или Screensaver-ов есть ссылками на «зараженные» сайты и являются рискованными.
И по версии McAfee наиболее опасными есть следующие поисковые запросы в интернете:
· Screensavers 59.1%
· Free Games 24.7%
· Work From Home 15.6%
· Rihanna 12.6%
· Webkinz 11.4%
· Powerball 9.3%
· iPhone 7.9%
· Jonas Brothers 7.9%
· Twilight 6.8%
· Barack Obama 6.2%
· Taxes 4.9%
· Viagra 1.6%[4]
Хотя здесь не учитывалась и доля рунета — разница в поиске будет незначительной.
Так что — поиск информации и файлов в Интернете оказывается не самым безопасным занятием.
/надо не только переписывать тексты, но и делать из переписанного выводы. Например, здесь напрашивается вывод об уровне интересов контингента и способе защиты = подъеме интеллекта/
«Нестандартные» запросы
Многие знают, а тем более умеют пользоваться поисковой системой от Google, но не каждый знает, что если грамотно составить поисковой запрос с помощью специальных конструкций, то можно достичь результатов того, что Вы ищете намного эффективнее и быстрее. А при желании найти то, что Вам не следует знать.
Google поддерживает несколько расширенных операторов поиска, имеющими специальное значение при поиске на google.com. Типично, эти операторы изменяют поиск, или даже говорят Google’y делать полностью различные типы поиска. Например, конструкция link:
является специальным оператором, и запрос link:www.google.com
не даст вам нормального поиска, но вместо этого найдет все web-страницы, которые имеют связи к google.com.
Альтернативные типы запросов:
1. cache:
Если Вы будете включать другие слова в запрос, то Гугл подсветит эти включенные слова в пределах кэшируемого документа. Например, cache:www.armadaboard.com web
покажет кэшируемое содержимое с подсвеченным словом 'web'.
2. link:
рассматриваемый выше поисковой запрос покажет веб-страницы, на которых содержатся ссылки к указанному запросу. Например: link:www.armadaboard.com
отобразит все страницы на которых есть ссылка на http://www.armadaboard.com
3. related:
Отобразит web-страницы, которые являются 'подобными' (related) указанной web-странице. Например, related: www.google.com
перечислит web-страницы, которые являются подобными домашней странице Гугл./попробуйте сделать Яндекс-поиск выделенной фразы. Статью дуюлируют многие. Но что такое "подобная" страница? -
4. info:
Информация запроса: представит немного информации, которую Гугл имеет о запрашиваемой web-странице. Например, info:armadaboard.com
покажет информацию о форуме armadaboard.com.
Другие информационные запросы
5. define
:
Этот запрос обеспечит определение слов, которые Вы вводите после того, как это, собранно из различных сетевых источников. Определение будет для всей введенной фразы (то есть, это будет включать все слова в точный запрос).
6. stocks:
Если Вы начинаете запрос с stocks: Гугл обработает остальную часть сроков запроса как символы биржевых сводок, и свяжется со страницей, показывающую готовую информацию для этих символов. Например, stocks: Intel yahoo покажет информацию о Intel и Yahoo.
Модификаторы Запросов
7. site:
Если Вы включаете site: в ваш запрос, Гугл ограничит результаты теми веб-сайтами, которые найдет в данном домене. Также можно искать и по отдельным зонам, как таковое ru, org, com, etc ( site:com site:ru)
8. allintitle:
Если Вы запускаете запрос с allintitle:, Гугл ограничит результаты со всеми словами запроса в заголовке. Например, allintitle: google search
вернет все страницы гугла по поиску как то images, Blog, etc
9.
intitle:
Если Вы включаете intitle: в вашем запросе, Гугл ограничит результаты документами, содержащими то слово в заголовке. Например, intitle:Бизнес
10. allinurl:
Если Вы запускаете запрос с allinurl: Гугл ограничит результаты, со всеми словами запроса в URL. Например, allinurl: google search
вернет документы с google и search в заголовке. Также как вариант можно разделять слова слэшем ( / ) тогда слова по обе стороны слэша будут искаться в пределах одной страницы: Пример allinurl: foo/bar
11. inurl:
Если Вы включаете inurl: в вашем запросе, Гугл ограничит результаты документами, содержащими то слово в URL. Например, Animation inurl:armadaboard.com
12. intext:
ищет только в тексте страницы указанное слово, игнорируя заглавие и тексты ссылок, и прочее, не относящееся к требуемому. Есть также и производная этого модификатора - allintext:
т.е. далее все слова в запросе будут искаться только в тексте, что тоже бывает важно, игнорируя часто используемые слова в ссылках. Например, intext:форум
13. inancor:
ищет текст в ссылках, т.е. внутри тегов
14. daterange:
ищет во временных рамках (daterange:2452389-2452389
), даты для времени указываются в Юлианском формате.
15. Filetype:[расширение файла]
– находит файлы с заданным расширением
16. “[слово1][слово2]”
– поиск страниц, содержащих точную фразу.
К примеру можно нестандартным способом найти музыку, видео или книги:
Music:
-inurl:(htm|html|php) intitle:«index of» +«last modified» +«parent directory» +description +size +(wma|mp3) «Название»;
Video:
-inurl:(htm|html|php) intitle:«index of» +«last modified» +«parent directory» +description +size +(mpg|wmv) «название»;
Books:
-inurl:(htm|html|php) intitle:«index of» +«last modified» +«parent directory» +description +size +(pdf|doc) «нахвание».
«
Google
Hacking
»
В статье, которая появилась на wired.com, рассказывается, как Adrian Lamo, хакер, часто попадающий в сводки компьютерных преступлений, использовал Google, чтобы получить доступ к web-сайтам крупных корпораций. /а где ВЫ
взяли этот материал??? ВАША ССЫЛКА ??, таких источни ков много /
"Например, введя фразу "Select a database to view" - обычная фраза, используемая в FileMaker Pro database interface" - Google выдает примерно 200 ссылок, большинство из которых ведут на страницу с доступом к FileMaker для всех пользователей."
Подобные статьи продолжали и продолжали появляться в Internet’е. Правительственные и Военные сайты Соединенных Штатов были тоже уязвимы, потому что скрипты, используемые администраторами, можно было легко найти с помощью Google. Медицинские карты, личные записи - все могло неожиданно оказаться в руках пользователей этой поисковой системы. Но в статьях никогда не было описано, как можно использовать Google в "таких" целях. Даже пример строки, которую вводил хакер, не предоставлялся широкой аудитории. Но всё это было давно...
Теория
На самом деле, теория очень проста. Чтобы получить интересующую информацию, нужно попробовать представить, в каких файлах эта информация может находиться, а затем просто попытаться их найти. Или же можно избрать более интересный подход - подумать, какой soft, установленный на атакуемой машине, предоставляет возможность выполнять нужные вам задачи, затем ввести критические/опасные файлы этого программного обеспечения в строку поиска. Примером может послужить система управления содержанием сайта (content management system). Вам нужно исследовать эту систему, выяснить, какие файлы она в себя включает, а затем воспользоваться Google.
Известно, что строка "view database" находится на тех web-страницах, которые не должны быть нам доступны. Следовательно, остается только найти страницы, в которых содержится данная строка или же узнать, что, например, опция "view database" ссылается на страницу "viewdbase.htm", то есть ее и надо будет ввести в строку поиска.
Самое главное - четко поставить перед собой цель и знать, что вы хотите найти. Только после этого можете воспользоваться Google.
Поиск уязвимых систем
:
Запрос intitle:index.of WEB-INF
– покажет нам ресурсы, которые позволяют получить доступ к конфигурации web-сервера.
Поиск паролей
filetype:log inurl:”password.log”
– поиск ресурсов с журналами, содержащими пароли пользователей.
Или же аналогичный запрос index.of.password
позволит вам без особо труда раздобыть пароли.
Запрос index.of passlist
позволит найти не зашифрованные пароли. Вот так вот!
Просмотр писем
Запрос типа intitle
:
index
.
of
/
maildir
/
new
/
позволит просмотреть электронные письма. Рай для злоумышленника и огромная дыра для почтового сервиса.
Admin.cfg
Admin.cfg,
в большинстве случаев, конфигурационный файл администратора. Многие разработчики ПО также используют имена типа "config", "admin" или "setup". Часто такие файлы содержат важную информацию и поэтому они не должны быть доступны большинству людей. Запрос на поиск файла admin.cfg: inurl
:
admin
.
cfg
"
index
of
"
W
ebadmin
"Webadmin" позволяет удаленно редактировать содержимое web-сайта, загружать файлы и т.д. Главная страничка центра управления (control center) webadmin называется "webeditor.php". Очевидно, что если использовать google и 'inurl', есть вероятность наткнуться на незащищенный webeditor.php.
Искомый запрос: inurl:webeditor.php
Frontpage Server Extensions HTML Administration Forms
"Вы можете удаленно администрировать FrontPage Server Extensions с любого компьютера, подключенного к Internet, используя FrontPage Server Extension HTML Administration Forms."
Вот, что говорит об этом документация Microsoft. Это значит, что пользователи, имеющие доступ к этим формам, могут выполнять некоторые функции администратора, удаленно. А это значит, что формы должны быть хорошо защищены от неавторизованных пользователей. И конечно же, наверняка, имеются такие незащищенные формы. Для поиска необходимо знать, какие файлы используют этот soft.
Поискав на сайте Microsoft’а или посмотрев в документацию по FrontPage, выявим, что главной страницей всех форм администратора является "fpadmin.htm". Именно этот файл и необходимо искать. Если проводится установка по умолчанию, то все файлы помещаются в директорию "admin".
А вот и запрос:inurl
:
fpadmin
.
htm
"
index
of
"
admin
или inurl
:
admin
/
fpadmin
.
htm
Freesco Router
Программное обеспечение Freesco router для Linux по умолчанию устанавливает маленький браузер, который позволяет владельцам контролировать работу роутера через http протокол. По умолчанию, логин и пароль для панели управления - "admin". Очень многие пользователи freesco не знают об этом.
Этот запрос поможет найти панель управления Freesco роутеров: intitle:"freesco control panel"
или "check the connection".
filetype:conf inurl:proftpd.conf -sample
Этот запрос показывает имена пользователей, POP3 пароли, адреса электронной почты, подключенных серверов и многое другое. IP-адреса пользователей также могут быть выявлены в некоторых случаях.
Стандартный файл конфигурации FTP, может предоставить много подробностей о том, как установлен сервер, включая пути установки, расположение лог-файлов, имена пользователей, связанные с ними группы и т.д.
site:extremetracking.com inurl:”login=”
Поиск показывает имена пользователей (прямо URL-адрес выделенный зеленым цветом в найденном) и ссылки на сайты, которые подписаны сайтом extremetracking.com. Отсюда злоумышленник может просмотреть статистику любого из сайтов, в том числе всех посетителей сайта, которые отслеживается, а также их IP-адреса.
В действительности существует огромное количество различных запросов, позволяющие находить пароли, файлы конфигурации, различные, скрытые от глаз посетителей, файлы, на незащищенных сервисах. Такие запросы могут дать доступ даже к скрытым камерам, установленных где-либо.(Сам лично бывал на таких страничках, наблюдал картинку скрытых камер, работающих в он-лайн режиме.
В курсовой работе я его не упомянул в связи с тем, что достался он мне с трудом, но с лёгкостью был забыт).
Описывать все множество запросов бессмысленно, т.к. это займет громадное количество места в курсовой работе и потребует большое количество времени на осмысление, поэтому я хотел бы упомянуть сайт, который помогал мне в написании работы. http://www.hackersforcharity.org/. /Its really your advisor?/На его просторах можно найти сотни различных запросов, отсортированных по тематике поиска.
На этом я хотел бы закончить написание курсовой работы на тему опасностей, связанных с использованием сервисов поисковых систем. Я не стал много расписывать об опасностях, появляющихся при посещении неизвестных сайтов, которых выдала вам поисковая система. Я считаю, что от такой опасности можно без особо труда защитится, используя, скажем хорошее антивирусное программное обеспечение, а также, хочу подчеркнуть, посещать только проверенные и официальные сайты.
А вот опасности, вызванные Google Hacking’ом, остаются и в наши дни. Internet - это сеть, к которой подключены сотни тысяч, а то и миллионов web-серверов и по идее, можно получить доступ к любым данным, конечно, если они не защищены подобающим образом. Как разработчики программного обеспечения, так и конечные пользователи должны уделять больше внимания конфигурации защиты, устанавливаемой по умолчанию и политике безопасности. В конце концов, всегда найдутся люди, которые допускают ошибки, устанавливают все по умолчанию, используют плохо защищенное программное обеспечение и совсем об этом не беспокоятся или все еще верят, что ничего не произойдет, если они поместят все это в таком виде в интернет.
Требуется изначально реализовывать адекватную защиту, поддерживать и, конечно же, усовершенствовать ее, а не суетится после того как информация оказалась «не в тех руках».
Список литературы
При написании работы использовались различные данные, взятые из глобальной сети Интернет, статья с очень хорошего ИТ-сайта http://habrahabr.ru/, /это ссылка на сайт, надо ссылаться на статью/
и уже упомянутый сайт «Библия Google Hacking» http://www.hackersforcharity.org/. /Do You really?/ Большую часть примеров по Google Hacking также предоставил http://xek.name/ . /он их ВАМ представлял???/
///////////////////////////////////////////////////////////////////////////////////////////////
//////////////////
Резюме
Попытки следовать ссылкам приводят только на сайт. Попытки найти первоисточник по ключевым словам дают по несколько статей, передранных друг у друга. Пример -
1. Поисковые системы Интернета . Реферат
Многие
поисковые
системы
позволяют
искать
информацию
не только в Web-страницах, но и в группах новостей и хранилищах файлов.
BiblioFond.ru › view.aspx?id=33975 копия ещё
2. 2 Поисковые системы Интернета
Многие
поисковые
системы
позволяют
искать
информацию
не только в Webстраницах, но и в группах новостей и хранилищах файлов.
ref.by › refs/67/39126/1.html копия ещё
3. 3 Реферат: Поисковые системы Интернета
Многие
поисковые
системы
позволяют
искать
информацию
не только в Webстраницах, но и в группах новостей и хранилищах файлов. Таким образом, в результате поиска вы можете найти сообщение в группе новостей или какой-то файл.
neuch.ru›Рефераты›44215.html копия ещё
Аналогично – по другим ссылкам.
Надо учиться делать выводы из приведенного материала. Если он не нужен – не приводить, не нагонять листаж.
Впечатление – на скорую руку перекачал из Инета что попалось. И сам не заметил интересные моменты насчет использования Гугл-запросов.
А другие поисковики дают такие возможности или здесь прорезался уникальный алгоритм Гугла, показывающий глубину поиска?
Направления на будущее
-Использование Гугл-запросов для оценки защищенности сайта/сервера
- и не только Гугл
-анализ (возможных) алгоритмов выделения информации о сайтах Интернета
-анализ (возможных) алгоритмов выделения и накопления информации о запросах, поступающих с определенных IP-адресов
[1]
Адурилка, это не от слова “одуреть” (спасибо!), а от англ. “add url”, что означает “добавить сайт”. У каждого поисковика есть своя адурелка, где можно зарегистрировать свой сайт.
[2]
Взято со статьи http://habrahabr.ru/blogs/search_engines/18057/
[3]
Новостная статья на http://news-i.net /Нужно давать ссылку не на сайт, а на статью/
[4]
В процентах указано вероятность попадания ссылок на зараженные вирусами сайты /еле-еле нашел место. Такие ссылки лучше ставить в начале (иначе можно понять, что ссылка – только к этой строке) а еще лучше – общее примечание к таблице/