Rating

Pentingkah Mengoptimalkan Robots txt itu? Berikut Penjelasannya!

tips mengoptimalkan robots.txt
Tips Mengoptimalkan Robots.txt untuk SEO


Salah satu hal utama dalam mengoptimalkan teknik SEO adalah dengan membuat file Robots.txt. Saat mengunjungi sebuah blog, tugas pertama yang dilakukan search engine adalah mencari dan memeriksa file tersebut. Kesalahan dalam konfigurasi file tersebut dapat berdampak negatif terhadap peringkat dan lalu lintas blog Anda. Untuk itu mari kita cari tahu apa itu Robots.txt dan bagaimana cara mengoptimalkannya.

Apa itu Robots.txt?

File Robots.txt adalah file teks yang berada di direktori root blog / situs dan memberikan instruksi perayapan kepada search engine ke halaman mana saja mereka dapat merayapi dan mengindeksnya.

Pentingkah Robots.txt itu

Ya sangat penting! file Robots.txt dikenal sebagai protokol atau file teks yang memberi tahu Robot web halaman mana saja yang akan dirayapi atau tidak dirayapi. katakanlah mesin pencarian akan mengunjungi sebuah blog, sebelum mengunjungi halaman target, ia akan memeriksa Robots.txt terlebih dahulu.

Kesalahan membuat file Robots.txt berpengaruh buruk pada blog Anda, diantaranya:
  • Tidak dioptimalkan dalam hal perayapan.
  • Lebih rentan terhadap kesalahan SEO.
  • Terbuka untuk melihat data sensitif.
  • Lebih mudah bagi pengguna yang berniat jahat untuk meretas blog Anda.
  • Mengeluarkan sinyal membingungkan ke search engine.
Intip Juga: Tips Mengoptimalkan Blog Anda di Search Console

Bagaimana Mengoptimalkan Robots.txt

Cara mengoptimalkan Robots.txt tergantung pada konten yang kamu miliki. Dalam pengaturan file ini (perlu di ingat bahwa kamu tidak boleh menggunakan Robots.txt untuk memblokir halaman dari search engine).

Tambahkan kode ini di tema Anda pada bagian <head> dan </head> pada blog Anda:
<meta content='noindex' name='robots'/>

Jika Anda pengguna Blogger, copy kode di bawah ini, masuk dashboard Blogger klik Setelan >> Preferensi Penelusuran >> letakan di Robots.txt Khusus.

example 1 robots.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://link-blog-anda/feeds/posts/default?orderby=UPDATED

Atau Kamu bisa juga menggunakan sitemap ini bila postingan kamu lebih dari 25.
Sitemap: https://link-blog-anda/atom.xml?redirect=false&amp;start-index=1&amp;max-results=500

Anda juga dapat mengatur halaman mana saja yang dapat di akses atau tidak ingin dirayapi. misalnya: halaman about us untuk tidak ingin dirayapi.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about
Allow: /
Sitemap: https://link-blog-anda/atom.xml?redirect=false&amp;start-index=1&amp;max-results=500

Sintaks Robots.txt dapat dianggap sebagai "bahasa" file Robots.txt. dalam file ini ada beberapa istilah umum yang digunakan:

  • User Agen: Penjelajah web khusus yang akan memberikan instruksi penjelajahan di mesin pencarian.
  • Disallow: Perintah yang digunakan untuk memberi tahu agen-pengguna agar tidak merayapi URL tertentu. hanya satu baris "Disallow:" yang diizinkan untuk setiap URL.
  • Allow: Perintah untuk memberi tahu Googlebot dapat mengakses halaman atau subfolder, meskipun halaman induk atau subfoldernya mungkin tidak diizinkan (Hanya berlaku untuk Googlebot).
  • Sitemap: Digunakan untuk memanggil lokasi dari semua sitemap XML yang terkait dengan URL. Perintah ini hanya didukung oleh "Google, Ask, Bing, dan Yahoo".

Bagaimana Cara Menguji dan Memvalidasi Robots.txt

Cara terbaik untuk menguji dan memvalidasinya adalah melalui opsi penguji Robots.txt dari Google Search Console.

Masuk ke Akun Google Search Console kamu, klik pada Penguji Robots.txt, yang ditemukan di bawah opsi Perayapan.
robots.txt test 1


Kemudian kamu bisa mengetuk tombol Uji.
robots.txt test 2


Jika semuanya ok, tombol Test akan berubah menjadi berwarna hijau dan label akan berubah menjadi diperbolehkan. Jika ada masalah, garis pembatas akan disorot dan berwarna merah.
robots.txt test 3


Kesimpulan

Penggunaan yang tidak tepat dari file Robots.txt dapat merusak peringkat di search engine. File atau folder apa pun yang tercantum dalam dokumen file tersebut tidak akan dirayapi dan diindeks oleh spider mesin penelusuran. Jadi, Mengoptimalkan Robots.txt adalah tugas yang perlu di lakukan ketika kamu pertama kali membuat blog dan ini adalah sebagai bagian dari teknik SEO.

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel