Индексация веб сайтов

[Yavanosta]

В мире существуют кучи поисковиков. Яндекс Гугл и прочие. Так вот возникла необходимость создать свой небольшой поисковик.

Кто нибудь видел описания алгоритмов индексации? Понятное дело что что-то похожее на яндекс и гугл не сделать, но мне это и не нужно :)

Первое что приходит в голову рекурсивно обойти страницы, выкинуть хтмл, знаки препинания, слишком короткие слова.

Но как выкинуть например элементы дизайна? На каждой странице есть менюшки, счетчики и всякая прочая фигня. Как её вырезать чтобы она не забивала поиск?

Как выбрать из страницы только смысл? Хотябы направление по которому идти где нибудь описано? :)

[johnsm123]

а есть уже готовые решения по поиковикам
например тоже апи от гугла
получится свой гугл)))

[Yavanosta]

Мне не нужен свой гугл :)

мне нужно проиндексировать десяток сайтов и по ним искать :)

[johnsm123]

Мне не нужен свой гугл :)

мне нужно проиндексировать десяток сайтов и по ним искать :)
ну ведь сказал же апи от гугла юзай
теперь даю ссылку http://www.google.com/cse/docs/cref.html
все тот же апи от гугла, т.е. в результате будет посик от гугла по ТВОИМ сайтам
если сам не можешь закажи мне, сделаю за бабки

[Yavanosta]

Я сам это за бабки делаю :) Сайты не доступны снаружи. Можно заюзать Яндекс.Сервер, но тогда придется вешать логотип яндекса везде и рекламму. А это плохо.

[johnsm123]

Я сам это за бабки делаю :) Сайты не доступны снаружи. Можно заюзать Яндекс.Сервер, но тогда придется вешать логотип яндекса везде и рекламму. А это плохо.

есть такая гадость как holms это тот же гугл только в сети локальной