Diindeks meski diblokir oleh robots.txt di Blogger, Apa Penyebabnya?

Postingan ini saya tulis untuk menjawab pertanyaan yang memadai sering ditanyakan oleh pelanggan template blogger premium milik saya, yakni perihal persoalan notifikasi Diindeks meski diblokir oleh robots.txt di Google Search Console.

Di sini aku tidak cuma menyatakan cara menangani permasalahan ini, tetapi termasuk akan menjelaskan kenapa masalah ini dapat terjadi. Harapannya pastinya sehingga sobat lebih memahami tentang cara kerja mesin pencari, terlebih Google.

Langsung saja ke topik pembahasan.

Penyebab peringatan «Diindeks meski diblokir oleh robots.txt»

Mungkin banyak yang belum tahu, penyebab utama munculnya peringatan ini adalah dikarenakan mesin pencari Google udah mengabaikan perintah noindex menggunakan file robots.txt.

Sedangkan di blogger sampai selagi ini masih manfaatkan file robots.txt untuk menahan halaman khusus supaya tidak terindex di mesin pencari.

Halaman berikut adalah halaman pencarian dan halaman label.

File robots.txt default blogger

Pada file robots.txt tersebut tertulis perintah :

Disallow: /search

Perintah berikut bermanfaat untuk memberitahu mesin pencari supaya tidak mengindex URL yang diawali bersama /search setelah alamat blog.

Nah URL yang diawali bersama dengan /search di blogger digunakan untuk halaman label dan halaman pencarian.

Contoh URL halaman label = https://linkmagz.sugeng.id/search/label/Produk

Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb

Selain untuk halaman label dan pencarian, URL yang dimulai bersama dengan /search juga digunakan untuk menampilkan daftar tulisan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7

Terus bagaimana langkah mengatasinya?

Ada beberapa metode yang sanggup digunakan untuk menanggulangi problem ini.

1. Cara Pertama

Cara paling enteng adalah bersama dengan menghapus perintah Disallow: /search di file robots.txt manfaatkan fitur custom robots.txt di blogger.

Dengan cara ini dapat menghalau peringatan diindeks meski diblokir oleh robots.txt di google search console.

Tapi pengaruh buruknya halaman label dan pencarian tetap selamanya dapat terindex di halaman pencarian.

Umumnya kita tidak inginkan halaman label dan pencarian terindex di halaman pencarian sebab halaman selanjutnya termasuk halaman berkualitas rendah.

2. Cara Kedua

Cara ke-2 adalah bersama dengan menggunakan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.

Saat ini Google masih menolong tag header robot, bersama dengan kata lain tag header robot tidak diabaikan seperti file robots.txt.

Untuk memasang tag header robot ini sebenarnya/seharusnya dapat ditunaikan secara otomatis bersama menggunakan fitur «Tag tajuk robot khusus» di blogger.

Ketika pelanggan template blogger premium milik saya menanyakan permasalahan ini, aku umumnya menyuruh untuk sesuaikan setelan «Tag tajuk robot khusus.»

Tapi entah kenapa terakhir aku cek fitur «Tag tajuk robot khusus» di blogger telah tidak kembali bekerja sebagaimana mestinya. Sekarang sudah tidak otomatis keluar tag header robot noindex di halaman arsip, label, dan pencarian.

Karena langkah tersebut udah tidak lagi bekerja, maka alternatifnya bisa bersama memasang tag meta robot langsung di didalam template.

Caranya bagaimana, Mas?

Langsung saja salin kode di bawah ini :

Letakan kode berikut tepat di bawah kode di dalam template.

Langkah selanjutnya, kawan dekat juga mesti mengapus perintah Disallow: /search terhadap file robots.txt.

Karena kecuali perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang telah dipasang sebelumnya.

Untuk langkah menghapusnya silakan masuk ke dashboard blogger > setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.

Klik pada robots.txt kostum, setelah itu masukkan kode ini:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Allow: /

Sitemap: https://linkmagz.sugeng.id/sitemap.xml

Note: tukar linkmagz.sugeng.id bersama alamat blog sobat.

Jangan lupa klik «Simpan»

Jika telah melakukan perubahan, jangan lupa klik tombol «Validasi Perbaikan» di dashboard Search Console. Setelah itu menunggu sampai notifikasi «Diindeks meski diblokir oleh robots.txt» hilang.

Beberapa pesan notifikasi lain

Selain notifikasi «Diindeks meski diblokir oleh robots.txt», hampir dipastikan di Google Search Console juga terlihat notifikasi-notifikasi lainnya.

Notifikasi lain tak sekedar «Diindeks meski diblokir oleh robots.txt» kebanyakan bukan berupa sebagai peringatan. Artinya meskipun dibiarkan saja tidak begitu masalah. Malah justru lebih baik dibiarkan saja.

Berikut adalah beberapa notifikasi yang paling umum:

Anomali crawling

Notifikasi ini terlihat kebanyakan dikarenakan ada URL tulisan yang mulanya sudah terindex di mesin pencari tetapi udah dihapus di blog.

Cara mengatasinya bagaimana, Mas?

Bisa dibiarkan saja atau terkecuali teman baik risih sobat bisa mengalihkan URL postingan yang error ke tulisan lain bersama gunakan fitur pengalihan tertentu di blogger.

Cara pakai fitur pengalihan tertentu bisa dibaca di sini : Cara SEO Blogger.

Di-crawl – saat ini tidak diindeks

Notifikasi ini terlihat biasanya gara-gara ada URL RSS feed yang tidak ditampilkan di hasil pencarian.

Cara mengatasinya bagaimana, Mas?

Cek daftar URL yang beroleh notifikasi ini. Jika sebagain besar adalah URL RSS feed maka lumayan biarkan saja.

URL RSS feed contohnya seperti ini:

https://viomagz.sugeng.id/feeds/posts/default

https://viomagz.sugeng.id/feeds/273523674801878748/comments/default

Halaman alternatif bersama tag kanonis yang tepat

Notifikasi ini keluar gara-gara terdapatnya URL versi mobile bersama parameter ?m=1 di belakang URL.

Ketika kawan akrab membuka blog melalui perangkat mobile, di belakang URL dapat otomatis tersedia tambahan paremeter ?m=1.

Di blogger otomatis mengimbuhkan tag canonical (kanonis) terhadap halaman/postingan bersama dengan parameter ?m=1.

Tag kanonis ini pada intinya berikan tahu mesin pencari bahwa URL dengan tambahan ?m=1 dan yang tidak ada tambahannya adalah satu halaman/postingan yang sama, agar tidak sebabkan duplicate content.

Cara mengatasinya bagaimana, Mas?

Ini normal, memadai biarkan saja.

Dan notifikasi lainnya

Masih banyak notifikasi-notifikasi lainnya yang muncul di Google Search Console. Namun notifkasi berikut sebagian besar sifatnya bukan peringatan.

Selama notifikasinya bukan sebuah peringatan atau warning, maka sahabat tidak mesti terlampau khawatir. Cukup dibiarkan saja apa adanya.

Mungkin hanya sampai di sini saja tulisan aku kali ini.

Jika tersedia pertanyaan silahkan disampikan melalui komentar.

Terima kasih.

If you want to check out more information regarding Caraseru.com visit the internet site.

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *