Senin, 09 September 2019

Cara Mengatasi Peringatan Diindeks Meski Diblokir oleh Robots.txt





WANpedia.ID | Pada Google Search Console (console versi baru), pasti semua blog yang kita kelola akan mendapati peringatan Diindeks, Meski Diblokir Oleh Robot.txt khususnya untuk blog-blog yang menggunakan platform Blogger.
Biasanya kalau kita cek semua URL yang Diindeks, Meski Diblokir Oleh Robot.txt ini adalah semua halaman Search yaitu Ada beberapa tutorial tentang cara mengatasinya, namun admin akan bagikan beberapa cara saja yang sudah pernah admin coba. Berikut ini halaman Search Label dan untuk halaman navigasi postingan lama diblog yang kita kelola.
Dan biasanya, platform Blogger menggunakan robot.txt seperti ini:
USER-AGENT: MEDIAPARTNERS-GOOGLE
DISALLOW:
USER-AGENT: *
DISALLOW: /SEARCH
ALLOW: /
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP.XML
Pada robots.txt di atas, menunjukan bahwa semua halaman Search tidak diizinkan untuk dicrawl bot.
Tetapi, karena halaman-halaman search tersebut ditautkan di blog seperti pada breadcrumb, menu, atau widget label atau pada navigasi next prev, maka halaman-halaman tersebut tetap bisa dirayapi oleh bot.
Lalu bagaimana cara untuk mengatasi masalah ini, sebaiknya halaman-halaman tersebut diperbolehkan untuk dirayapi bot dan ditampilkan di hasil pencarian. Berikut ini akan kami bagikan tutorial cara Mengatasi Diindeks, Meski Diblokir oleh Robot.txt

Diindeks Meski Diblokir oleh Robots.txt

Silahkan ganti terlebih dahulu robot.txt bawaan platform Blogger dengan kode Robot.txt berikut ini:
USER-AGENT: *
DISALLOW:
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP.XML
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/ATOM.XML?REDIRECT=FALSE&START-INDEX=1&MAX-RESULTS=500
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/FEEDS/POSTS/DEFAULT
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP-PAGES.XML
Silahkan ganti kode yang ditandai dengan nama Blog atau Webstie anda. Kemudian, tambahkan kode Meta Tag noindex  dibagian <head> pada template blog anda, berikut ini kode Meta Tag noindex:
<B:IF COND=’DATA:VIEW.ISARCHIVE’>
<META CONTENT=’NOINDEX,NOARCHIVE’ NAME=’ROBOTS’/>
</B:IF>
Hal ini berfungsi untuk memblokir bot pada halaman arsip dan tidak menampilkannya di halaman hasil percarian Google untuk menjaga duplikat konten dengan halaman search.

Penutup

Peringatan!
Pastikan Anda tidak menggunakan widget Arsip di blog. Setelah semua hal di atas di lakukan, silahkan submit robots.txt baru Anda di 
robots.txt testing tool agar Google cepat mengenali robots.txt baru Anda.
Kemudian masuk ke Console dan lakukan validasi pada warning Diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console. Terima Kasih!
Source : wanpedia.id