Bot - zwany także crawlerem lub pajączkiem, to robot wyszukiwarki będący programem lub automatycznym skryptem, przeszukującym metodycznie zasoby Internetu. Jego zadaniem jest przeglądanie oraz indeksowanie odwiedzanych stron. Bot zbiera informacje o strukturze i zawartości danego serwisu internetowego, przegląda nowe strony, sprawdza ich kody, linki, monitoruje wszelkie zmiany na nich zachodzące i tworzy kopie. Robot porusza się w sieci dzięki linkom zawartym w kodzie źródłowym danej strony internetowej. Zebrane informacje przekazuje potem do Bazy Danych wyszukiwarki. Ze względu na to, że zagłębia się on tylko kilka poziomów w głąb strony, zaleca się stosowanie jej mapy, aby ułatwić mu zadania. Obecność robota jest niezbędna, by została ona zaindeksowana w wyszukiwarce, a tym samym widoczna dla internautów. Roboty po jakimś czasie wracają na zindeksowane strony, aby sprawdzić zmiany i pobrać nowe dane.