Съдържание
- Определение - Какво означава Spider?
- Въведение в Microsoft Azure и Microsoft Cloud | В това ръководство ще научите какво представлява компютърните изчисления и как Microsoft Azure може да ви помогне да мигрирате и стартирате бизнеса си от облака.
- Техопедия обяснява Паяка
Определение - Какво означава Spider?
В контекста на Интернет, паякът е специализиран софтуер, предназначен за систематично обхождане и сърфиране в World Wide Web, обикновено с цел индексиране на уеб страници, за да ги предостави като резултати от търсенето на потребителски заявки за търсене. Най-известният от такива паяци е главният робот на Googlebot, Googles, който помага да се осигурят връщане на съответните резултати за заявки за търсене.
Паяците са известни още като уеб сканери, ботове за търсене или просто ботове.
Въведение в Microsoft Azure и Microsoft Cloud | В това ръководство ще научите какво представлява компютърните изчисления и как Microsoft Azure може да ви помогне да мигрирате и стартирате бизнеса си от облака.
Техопедия обяснява Паяка
Паякът е по същество програма, използвана за събиране на информация от световната мрежа. Той обхожда страниците на уебсайтове, извличайки информация и индексирайки я за по-късна употреба, обикновено за резултати от търсачките. Паякът посещава уебсайтове и техните страници чрез различните връзки към и от страниците, така че страница без нито една връзка, която ще отиде до нея, ще бъде трудно да се индексира и може да бъде класирана наистина ниско на страницата с резултати от търсенето. И ако има много връзки, сочещи към дадена страница, това би означавало, че страницата е популярна и ще изглежда по-висока спрямо резултатите от търсенето.
Стъпки, участващи в обхождането в уеб:
- Паякът намира сайт и започва да обхожда страниците му.
- Паякът индексира думите и съдържанието на сайта.
- Паякът посещава връзките, намерени в сайта.
Паяците или webcrawlers са просто програми и като такива те следват систематични правила, зададени от програмистите. Собствениците на уебсайтове също могат да се свържат с това, като кажат на паяка кои части от сайта да индексират и кои не. Това става, като се създаде файл "robots.txt", който съдържа инструкции за паяка относно кои части да индексира и връзки да следва и кои трябва да игнорира. Най-значимите паяци там са тези, които са собственост на големи търсачки като Google, Bing и Yahoo, и тези, предназначени за извличане на данни и изследвания, но има и някои злонамерени паяци, написани, за да намерят и събират s за потребителя, който да продаде на реклама компании или да откриете уязвимости в уеб сигурността.