crawler(в Интернете; перемещается по всем локальным гиперссылкам, найденным на страницах пауком (см. Spider), скачивает страницы и анализирует их в поисках перекрестных ссылок. Его основные задачи: сканирование Интернет-ресурсов в поисках страниц, содержащих заданную информацию, изменений на страницах и определение дальнейшего пути следования по сети. Аналогичное наименование присваивается программам-роботам, которые строят индексы путем последовательного перехода по гиперссылкам с одной Web-страницы на другую. Они позволяют в автоматическом режиме извлекать различные данные с Web-сайтов, в частности, сведения об их адресах, мета-теги, обычный текст со страниц, размеры страниц, даты последнего обновления, списки ссылок, расположенных на Web-страницах и т.д. По своей сути часто такие программы выполняют функции паука, ползателя, а иногда и индексатора (см. Indexer) ssn); Web-crawler(см. Crawlerssn)
