программа-обходчик(An automated program that searches the Internet for new Web documents and places their addresses and content-related information in a database, which can be accessed with a search engine. Generally considered to be a type of bot, or Internet robot)
сборщик(в Интернете; перемещается по всем локальным гиперссылкам, найденным на страницах пауком (см. Spider), скачивает страницы и анализирует их в поисках перекрестных ссылок. Его основные задачи: сканирование Интернет-ресурсов в поисках страниц, содержащих заданную информацию, изменений на страницах и определение дальнейшего пути следования по сети. Аналогичное наименование присваивается программам-роботам, которые строят индексы путем последовательного перехода по гиперссылкам с одной Web-страницы на другую. Они позволяют в автоматическом режиме извлекать различные данные с Web-сайтов, в частности, сведения об их адресах, мета-теги, обычный текст со страниц, размеры страниц, даты последнего обновления, списки ссылок, расположенных на Web-страницах и т.д. По своей сути часто такие программы выполняют функции паука, ползателя, а иногда и индексатора (см. Indexer) ssn)
