WANpedia.ID | Pada Google Search Console (console versi baru), pasti
semua blog yang kita kelola akan mendapati peringatan Diindeks, Meski Diblokir
Oleh Robot.txt khususnya untuk blog-blog yang menggunakan platform Blogger.
Biasanya kalau kita cek semua
URL yang Diindeks, Meski Diblokir Oleh Robot.txt ini adalah semua halaman
Search yaitu Ada beberapa tutorial tentang cara mengatasinya, namun admin akan
bagikan beberapa cara saja yang sudah pernah admin coba. Berikut ini
halaman Search Label dan untuk halaman navigasi postingan lama
diblog yang kita kelola.
Dan biasanya, platform
Blogger menggunakan robot.txt seperti ini:
USER-AGENT:
MEDIAPARTNERS-GOOGLE
DISALLOW:
USER-AGENT: *
DISALLOW: /SEARCH
ALLOW: /
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP.XML
DISALLOW:
USER-AGENT: *
DISALLOW: /SEARCH
ALLOW: /
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP.XML
Pada robots.txt di atas,
menunjukan bahwa semua halaman Search tidak diizinkan untuk dicrawl bot.
Tetapi, karena
halaman-halaman search tersebut ditautkan di blog seperti
pada breadcrumb, menu, atau widget label atau
pada navigasi next prev, maka halaman-halaman tersebut tetap bisa dirayapi
oleh bot.
Lalu bagaimana cara untuk
mengatasi masalah ini, sebaiknya halaman-halaman tersebut diperbolehkan untuk
dirayapi bot dan ditampilkan di hasil pencarian. Berikut ini akan kami bagikan
tutorial cara Mengatasi Diindeks, Meski Diblokir oleh Robot.txt
Diindeks
Meski Diblokir oleh Robots.txt
Silahkan ganti terlebih
dahulu robot.txt bawaan platform Blogger dengan kode Robot.txt berikut ini:
USER-AGENT: *
DISALLOW:
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP.XML
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/ATOM.XML?REDIRECT=FALSE&START-INDEX=1&MAX-RESULTS=500
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/FEEDS/POSTS/DEFAULT
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP-PAGES.XML
DISALLOW:
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP.XML
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/ATOM.XML?REDIRECT=FALSE&START-INDEX=1&MAX-RESULTS=500
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/FEEDS/POSTS/DEFAULT
SITEMAP: HTTPS://WWW.DOMAINANDA.COM/SITEMAP-PAGES.XML
Silahkan ganti kode yang
ditandai dengan nama Blog atau Webstie anda. Kemudian, tambahkan kode Meta Tag
noindex dibagian <head> pada template blog anda, berikut ini kode
Meta Tag noindex:
<B:IF
COND=’DATA:VIEW.ISARCHIVE’>
<META CONTENT=’NOINDEX,NOARCHIVE’ NAME=’ROBOTS’/>
</B:IF>
<META CONTENT=’NOINDEX,NOARCHIVE’ NAME=’ROBOTS’/>
</B:IF>
Hal ini berfungsi untuk
memblokir bot pada halaman arsip dan tidak menampilkannya di halaman hasil
percarian Google untuk menjaga duplikat konten dengan halaman search.
Penutup
Peringatan!
Pastikan Anda tidak menggunakan widget Arsip di blog. Setelah semua hal di atas di lakukan, silahkan submit robots.txt baru Anda di robots.txt testing tool agar Google cepat mengenali robots.txt baru Anda.
Pastikan Anda tidak menggunakan widget Arsip di blog. Setelah semua hal di atas di lakukan, silahkan submit robots.txt baru Anda di robots.txt testing tool agar Google cepat mengenali robots.txt baru Anda.
Kemudian masuk ke Console dan
lakukan validasi pada warning Diindeks, meski diblokir oleh robots.txt dan
silahkan pantau terus Search Console. Terima Kasih!
Source
: wanpedia.id
Tidak ada komentar:
Posting Komentar