Daftar Isi:
Definisi - Apa yang dimaksud Spider?
Dalam konteks Internet, laba-laba adalah perangkat lunak khusus yang dirancang untuk secara sistematis merayapi dan menelusuri World Wide Web biasanya untuk tujuan pengindeksan halaman Web untuk menyediakannya sebagai hasil pencarian untuk permintaan pencarian pengguna. Laba-laba semacam itu yang paling terkenal adalah Googlebot, perayap utama Google, yang membantu memastikan bahwa hasil yang relevan dikembalikan untuk permintaan pencarian.
Laba-laba juga dikenal sebagai perayap Web, bot pencarian, atau bot sederhana.
Techopedia menjelaskan Spider
Laba-laba pada dasarnya adalah program yang digunakan untuk memanen informasi dari World Wide Web. Itu merangkak melalui halaman situs web yang mengekstraksi informasi dan mengindeksnya untuk digunakan nanti, biasanya untuk hasil mesin pencari. Laba-laba mengunjungi situs web dan halaman mereka melalui berbagai tautan ke dan dari halaman, sehingga halaman tanpa tautan tunggal akan sulit untuk diindeks dan mungkin berperingkat sangat rendah pada halaman hasil pencarian. Dan jika ada banyak tautan yang menunjuk ke suatu halaman, ini berarti bahwa halaman tersebut populer dan akan muncul lebih tinggi pada hasil pencarian.
Langkah-langkah yang terlibat dalam perayapan Web:
- Laba-laba menemukan situs dan mulai merayapi halamannya.
- Laba-laba mengindeks kata-kata dan konten situs.
- Laba-laba mengunjungi tautan yang ditemukan di situs.
Laba-laba atau penjaring web hanyalah program dan, dengan demikian, mereka mengikuti aturan sistematis yang ditetapkan oleh programmer. Pemilik situs web juga dapat memahami hal ini dengan memberi tahu laba-laba bagian mana dari situs yang akan diindeks dan mana yang tidak. Ini dilakukan dengan membuat file "robots.txt" yang berisi instruksi untuk laba-laba mengenai bagian mana yang harus diindeks dan tautan yang harus diikuti dan mana yang harus diabaikan. Laba-laba yang paling signifikan di luar sana adalah yang dimiliki oleh mesin pencari utama seperti Google, Bing dan Yahoo, dan yang dimaksudkan untuk penggalian data dan penelitian, tetapi ada juga beberapa laba-laba jahat yang ditulis untuk menemukan dan mengumpulkan email agar pengguna dapat menjualnya kepada perusahaan. atau untuk menemukan kerentanan dalam keamanan Web.
