Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Setting robots.txt dan Custom Robots Header Tags di Blogger merupakan salah satu bagian teknis yang perlu dipahami ketika melakukan optimasi SEO pada blog. Pengaturan ini dapat membantu memberikan instruksi kepada crawler mesin pencari mengenai bagian tertentu dari website yang boleh dirayapi atau tidak.

Blogger menyediakan fitur robots.txt khusus dan Custom Robots Header Tags yang dapat dikonfigurasi melalui menu Setelan. Dengan pengaturan yang tepat, Anda dapat mengontrol beberapa jenis halaman seperti halaman pencarian, arsip, halaman postingan, dan halaman utama.

Namun, pengaturan robots.txt perlu dilakukan dengan hati-hati. Konfigurasi yang salah dapat menghambat crawler mengakses halaman yang sebenarnya ingin Anda tampilkan di mesin pencari. Karena itu, pada tutorial ini kita akan membahas cara setting robots.txt Blogger dan Custom Robots Header Tags yang aman untuk pemula.

Apa Itu robots.txt di Blogger?

Robots.txt adalah file teks yang berisi aturan bagi crawler atau robot mesin pencari mengenai URL atau bagian tertentu dari sebuah website yang boleh atau tidak boleh dirayapi.

Pada Blogger, file robots.txt dapat digunakan untuk memberikan instruksi kepada crawler melalui aturan seperti User-agent, Disallow, Allow, dan Sitemap.

Contoh sederhana:

User-agent: *
Disallow: /search
Allow: /

Dalam contoh tersebut, crawler diarahkan untuk tidak merayapi URL yang berada pada jalur /search, sementara akses ke bagian lainnya tetap diperbolehkan.

Apa Itu Custom Robots Header Tags?

Custom Robots Header Tags merupakan pengaturan yang dapat digunakan untuk memberikan instruksi tertentu pada jenis halaman Blogger melalui tag robots.

Pengaturan ini dapat diterapkan pada beberapa kelompok halaman seperti:

• Halaman beranda.
• Halaman arsip dan penelusuran.
• Postingan dan halaman.

Tujuannya adalah membantu mengatur bagaimana crawler memperlakukan jenis halaman tertentu. Karena setiap pilihan memiliki fungsi berbeda, Anda harus memahami arti all, noindex, dan pilihan lainnya sebelum mengaktifkannya.

Perbedaan robots.txt dan Custom Robots Header Tags

Meskipun keduanya sama-sama berkaitan dengan crawler mesin pencari, robots.txt dan Custom Robots Header Tags memiliki fungsi yang berbeda.

Pengaturan	Fungsi Utama
robots.txt	Memberikan aturan perayapan pada URL atau pola URL tertentu.
Custom Robots Header Tags	Memberikan instruksi robots berdasarkan jenis halaman Blogger.

Keduanya dapat digunakan bersama, tetapi konfigurasi harus dibuat secara konsisten agar tidak menghalangi akses crawler terhadap halaman yang memang ingin Anda indeks.

Manfaat Setting robots.txt Blogger

Pengaturan robots.txt yang tepat dapat membantu mengatur bagian website yang perlu dirayapi oleh crawler. Pada blog yang memiliki banyak URL tambahan seperti halaman pencarian internal, pengaturan tertentu dapat membantu mengurangi perayapan pada URL yang tidak menjadi fokus utama.

• Mengatur akses crawler terhadap URL tertentu.
• Mengurangi perayapan pada halaman tertentu yang tidak diperlukan untuk tujuan SEO.
• Membantu crawler menemukan sitemap melalui deklarasi sitemap.
• Membuat struktur instruksi crawler lebih terorganisir.
• Mendukung pengelolaan teknis SEO pada blog Blogger.

Perlu dipahami bahwa robots.txt bukan alat untuk menjamin artikel masuk halaman pertama Google. Peringkat pencarian dipengaruhi oleh banyak faktor, termasuk kualitas konten, relevansi, pengalaman pengguna, otoritas halaman, dan faktor teknis lainnya.

Contoh robots.txt Blogger yang Digunakan

Berikut contoh konfigurasi robots.txt yang digunakan dalam tutorial ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://NAMA_BLOG_ANDA.blogspot.com/sitemap.xml

Ganti bagian:

https://NAMA_BLOG_ANDA.blogspot.com/sitemap.xml

dengan alamat blog Anda yang sebenarnya.

Contohnya:

Sitemap: https://contohblog.blogspot.com/sitemap.xml

Penjelasan Kode robots.txt

1. User-agent: Mediapartners-Google

User-agent: Mediapartners-Google
Disallow:

Bagian tersebut memberikan aturan untuk user-agent Mediapartners-Google. Nilai Disallow: yang kosong berarti tidak ada jalur yang secara khusus diblokir oleh aturan tersebut.

2. User-agent: *

User-agent: *

Tanda bintang digunakan sebagai wildcard untuk mencocokkan user-agent crawler secara umum.

3. Disallow: /search

Disallow: /search

Aturan tersebut digunakan untuk melarang crawler merayapi URL yang berada pada jalur /search.

Contoh URL Blogger yang menggunakan jalur tersebut antara lain halaman pencarian internal blog.

4. Allow: /

Allow: /

Aturan ini menunjukkan bahwa jalur root website diperbolehkan untuk dirayapi dalam konteks aturan robots.txt tersebut.

5. Sitemap

Sitemap: https://NAMA_BLOG_ANDA.blogspot.com/sitemap.xml

Baris sitemap memberikan alamat sitemap kepada crawler. Pastikan URL sitemap sesuai dengan alamat blog Anda.

Cara Mengaktifkan Custom robots.txt di Blogger

Setelah memahami struktur kode, Anda dapat memasangnya melalui pengaturan Blogger.

Langkah 1: Buka Dashboard Blogger

Masuk ke dashboard Blogger menggunakan akun yang digunakan untuk mengelola blog.

Langkah 2: Pilih Menu Setelan

Pada sidebar Blogger, pilih menu Setelan.

Langkah 3: Cari Bagian Perayap dan Pengindeksan

Gulir halaman Setelan hingga menemukan bagian Perayap dan pengindeksan.

Di bagian tersebut tersedia beberapa opsi terkait crawler dan pengindeksan.

Langkah 4: Aktifkan robots.txt Khusus

Aktifkan opsi Aktifkan robots.txt khusus.

Setelah aktif, buka bagian robots.txt khusus dan masukkan konfigurasi yang telah disiapkan.

Langkah 5: Ganti Nama Blog

Pastikan bagian sitemap tidak lagi menggunakan placeholder:

NAMA_BLOG_ANDA

Ganti dengan alamat blog Anda.

Langkah 6: Simpan Pengaturan

Setelah memastikan seluruh baris kode sudah benar, simpan pengaturan tersebut.

Cara Mengaktifkan Custom Robots Header Tags

Selain robots.txt, Blogger juga menyediakan pengaturan Custom Robots Header Tags.

Langkah 1: Aktifkan Fitur

Pada bagian Perayap dan pengindeksan, aktifkan opsi Aktifkan tag tajuk robot khusus.

Langkah 2: Atur Tag Halaman Beranda

Pada pengaturan halaman beranda, gunakan konfigurasi sesuai kebutuhan. Dalam struktur tutorial ini, pilihan yang digunakan adalah:

• all
• noodp

Pastikan Anda memahami fungsi setiap opsi sebelum menerapkannya pada blog produksi.

Langkah 3: Atur Tag Arsip dan Penelusuran

Untuk halaman arsip dan penelusuran, konfigurasi yang digunakan dalam artikel sumber adalah:

• noindex
• noodp

Tujuannya adalah memberikan instruksi agar jenis halaman tersebut tidak diindeks.

Langkah 4: Atur Tag Postingan dan Halaman

Untuk postingan dan halaman, konfigurasi yang digunakan adalah:

• all
• noodp

Dengan konfigurasi tersebut, artikel dan halaman utama konten tidak diberikan instruksi noindex melalui pengaturan ini.

Arti Beberapa Pilihan Custom Robots Header Tags

Agar tidak salah konfigurasi, penting untuk memahami beberapa pilihan yang tersedia.

All

Pilihan all secara umum berarti tidak memberikan pembatasan khusus terhadap pengindeksan dan penyajian melalui robots meta directive.

Noindex

Noindex memberikan instruksi kepada mesin pencari agar halaman tidak dimasukkan ke indeks pencarian ketika instruksi tersebut dapat diproses oleh crawler.

Karena itu, jangan sembarangan menggunakan noindex pada artikel atau halaman yang ingin Anda tampilkan di hasil pencarian.

Noodp

Opsi noodp berkaitan dengan instruksi terhadap penggunaan deskripsi dari Open Directory Project. Penggunaan opsi ini berasal dari sistem lama dan relevansinya saat ini jauh lebih terbatas.

Jika template atau konfigurasi lama Anda menggunakan opsi tersebut, pahami bahwa noodp bukan faktor utama dalam optimasi SEO modern.

Kenapa Halaman Pencarian Sering Tidak Diindeks?

Halaman pencarian internal biasanya berisi hasil pencarian berdasarkan kata kunci yang dimasukkan pengguna. Halaman seperti ini dapat menghasilkan banyak URL dengan kombinasi query yang berbeda.

Dalam konfigurasi tutorial ini, jalur /search diberikan aturan Disallow melalui robots.txt, sedangkan halaman arsip dan penelusuran juga diatur menggunakan noindex.

Pendekatan ini bertujuan memusatkan perhatian SEO pada halaman konten utama seperti artikel dan halaman statis yang memang ingin Anda tampilkan di mesin pencari.

Apakah robots.txt Membuat Artikel Cepat Terindeks?

Tidak ada jaminan bahwa perubahan robots.txt akan membuat artikel langsung terindeks. Robots.txt terutama memberikan instruksi mengenai perayapan, bukan mekanisme untuk memaksa Google memasukkan halaman ke indeks.

Jika tujuan Anda adalah membantu Google menemukan dan memahami artikel baru, pastikan artikel dapat diakses, memiliki struktur yang baik, memiliki internal link yang relevan, dan telah dikirim melalui proses yang sesuai di Google Search Console jika diperlukan.

Kesalahan yang Harus Dihindari Saat Setting robots.txt

Pengaturan robots.txt harus dilakukan dengan hati-hati karena aturan yang terlalu luas dapat menghalangi crawler mengakses halaman penting.

1. Jangan Memblokir Semua Halaman Secara Tidak Sengaja

Hindari konfigurasi seperti:

User-agent: *
Disallow: /

Aturan tersebut dapat memberikan instruksi kepada crawler untuk tidak merayapi seluruh bagian website.

2. Jangan Menggunakan Noindex pada Artikel Penting

Jika sebuah artikel ingin ditemukan melalui mesin pencari, periksa kembali agar halaman tersebut tidak diberikan instruksi noindex.

3. Periksa URL Sitemap

Pastikan alamat sitemap yang ditulis benar dan sesuai dengan alamat blog.

4. Jangan Menyalin Konfigurasi Secara Sembarangan

Setiap blog dapat memiliki kebutuhan teknis yang berbeda. Jangan menggunakan robots.txt dari website lain tanpa memahami fungsi setiap aturan.

Cara Memeriksa robots.txt Blogger

Setelah menyimpan pengaturan, Anda dapat memeriksa file robots.txt blog melalui URL:

https://NAMA_BLOG_ANDA.blogspot.com/robots.txt

Ganti NAMA_BLOG_ANDA dengan alamat blog Anda.

Periksa apakah aturan yang dimasukkan sudah muncul sesuai konfigurasi yang dibuat.

Cara Menguji Apakah Artikel Dapat Dirayapi

Untuk memeriksa status URL artikel, Anda dapat menggunakan Google Search Console.

1. Buka properti blog di Google Search Console.
2. Gunakan fitur Inspeksi URL.
3. Masukkan URL artikel.
4. Periksa informasi mengenai perayapan dan pengindeksan.
5. Pastikan tidak ada aturan yang secara tidak sengaja menghalangi URL tersebut.

Perlu diingat bahwa status perayapan dan status indeks merupakan hal yang berbeda. URL yang dapat dirayapi belum tentu langsung masuk indeks.

Tips SEO Blogger Setelah Setting robots.txt

Pengaturan crawler hanyalah salah satu bagian dari optimasi SEO. Setelah konfigurasi selesai, fokuskan optimasi pada aspek lain yang lebih penting.

• Buat artikel yang benar-benar bermanfaat dan menjawab kebutuhan pembaca.
• Gunakan struktur heading yang jelas seperti H2 dan H3.
• Gunakan internal link untuk menghubungkan artikel yang relevan.
• Optimalkan gambar menggunakan nama file dan alt text yang relevan.
• Pastikan website responsif pada perangkat mobile.
• Perhatikan kecepatan halaman dan jumlah script yang digunakan.
• Gunakan sitemap dan pantau kondisi website melalui Search Console.

FAQ robots.txt dan Custom Robots Header Tags Blogger

Apa fungsi robots.txt di Blogger?

robots.txt digunakan untuk memberikan instruksi kepada crawler mengenai URL atau pola URL tertentu yang boleh atau tidak boleh dirayapi.

Apakah robots.txt wajib diatur secara manual di Blogger?

Tidak selalu. Blogger sudah menyediakan pengaturan terkait crawler. Pengaturan manual perlu dilakukan dengan memahami konsekuensi setiap aturan agar tidak menghalangi halaman penting.

Apakah robots.txt dapat meningkatkan ranking Google secara langsung?

Tidak. robots.txt merupakan pengaturan teknis untuk mengatur perayapan. Ranking Google dipengaruhi oleh berbagai faktor lain seperti relevansi, kualitas konten, pengalaman pengguna, dan faktor teknis website.

Apakah halaman artikel harus menggunakan noindex?

Jika artikel tersebut ingin muncul di hasil pencarian, hindari memberikan instruksi noindex pada halaman artikel tersebut.

Apakah halaman pencarian Blogger perlu diindeks?

Dalam konfigurasi artikel ini, halaman pencarian diberikan aturan untuk tidak dirayapi dan halaman arsip serta penelusuran diberikan instruksi noindex. Tujuannya adalah memfokuskan indeks pada halaman konten utama.

Bagaimana cara mengecek robots.txt Blogger?

Anda dapat membuka alamat robots.txt pada domain blog, misalnya dengan format /robots.txt, kemudian memeriksa aturan yang sedang aktif.

Apakah setting robots.txt bisa menyebabkan artikel hilang dari Google?

Konfigurasi yang salah dapat menghambat crawler mengakses URL tertentu. Karena itu, jangan menggunakan aturan yang terlalu luas dan selalu periksa halaman penting setelah melakukan perubahan.

Kesimpulan

Setting robots.txt dan Custom Robots Header Tags di Blogger perlu dilakukan dengan memahami fungsi masing-masing pengaturan. robots.txt digunakan untuk memberikan aturan perayapan terhadap URL tertentu, sedangkan Custom Robots Header Tags digunakan untuk memberikan instruksi robots berdasarkan jenis halaman Blogger.

Konfigurasi contoh pada artikel ini menggunakan:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://NAMA_BLOG_ANDA.blogspot.com/sitemap.xml

Untuk Custom Robots Header Tags, halaman beranda dan postingan menggunakan konfigurasi yang berbeda dengan halaman arsip dan penelusuran. Tujuannya adalah menghindari penerapan noindex pada konten utama yang ingin ditampilkan di mesin pencari.

Hal terpenting adalah jangan menganggap robots.txt sebagai cara instan untuk membuat artikel masuk halaman pertama Google. Pengaturan ini merupakan bagian dari SEO teknis. Agar performa pencarian lebih baik, kombinasikan dengan konten berkualitas, struktur artikel yang jelas, internal linking, optimasi gambar, performa website, serta pemantauan melalui Google Search Console.

Jika Anda masih pemula, lakukan perubahan robots.txt secara bertahap dan selalu periksa kembali konfigurasi setelah disimpan. Dengan begitu, Anda dapat mengontrol perayapan Blogger dengan lebih aman tanpa secara tidak sengaja menghalangi halaman penting dari mesin pencari.