Crawler merupakan sebuah program yang dapat mengambil informasi pada suatu halaman website layaknya browser. Aplikasi crawler biasanya memiliki nama user-agent yang dapat dikenal kerena mengandung kata-kata seperti “bot”, “spider” dan lain-lain. Crawler biasa digunakan untuk memberikan hasil pencarian kata kunci, berbagi link website ataupun analisis informasi. Meskipun aplikasi crawler biasa digunakan oleh perusahaan besar tetapi tidak menuntut kemungkinan jika terdapat pembatasan kerja crawler agar tidak membebani jaringan perusahaan tersebut. Contoh penggunaan crawler seperti preview berbagi link wesite di google, twitter ataupun facebook. Nah disini saya akan memberikan tipsnya:

-Mengurangi Ukuran Halaman Website

Ukuran halaman website sangat berpengaruh juga pada akses halaman website, karena kebanyakan crawler akan mengambil informasi jika halaman telah selesai dimuat secara total. Jika anda menggunakan wordpress maka tidak akan asing dengan plugin WP Smush yang dapat mengoptimasi ukuran gambar. Dimana gambar merupakan konten website yang memiliki ukuran besar. Dan jika anda membangun website menggunakan bahasa pemrograman php, dalam mengoptimasi gambar dapat meggunakan library Imagick ataupun GD.

-Menggunakan CDN (Content Delivery Network)

Tidak hanya ukuran halaman website yang berpengaruh dalam kecepatan website, tetapi jarak jaringan antara pengunjung website dan server juga berpengaruh. Lalu lintas pada jaringan internet yang sangatlah rumit dan sulit ditebak juga menambah masalah kecepatan akses website. CDN jadi solusinya, CDN mendistribusikan konten ataupun web cache dengan menambah atau menghapusnya pada server-server cabang yang terdekat dengan pengunjung. Sehingga konten ataupun web cache dapat dimuat kembali secara cepat karena jarak yang dekat.

-Memilah Konten Yang Seperlunya Kepada Crawler

Sangatlah berlebihan jika kita meyajikan kepada crawler, halaman website yang sama dengan pengunjung normal. Crawler akan mengambil informasi dengan asal pada halaman website jika anda tidak menujukkan secara jelas mana informasi dan mana yang bukan. Dan dengan memberikan informasi seperlunya, maka ukuran halaman website menjadi lebih kecil. Crawler memiliki nama user-agent yang unik jadi kita bisa menentukan mana crawler dan mana yang bukan seperti “facebookexternalhit”, “twitterbot” dan lain-lain.