Tutorial Membuat file robots.txt pada website

Tutorial Membuat file robots.txt pada website -  Robot yang satu ini bukan robot ( power rangers ), tapi robots ini merupakan file yang diperlukan oleh sebuah website/ blog supaya terindeks dengan cepat oleh search engine ( Mesin Pencari ) seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah meng-index website / blog kita. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.

[caption id="attachment_383" align="aligncenter" width="282"] robots-txt-whendy-blog[/caption]

contoh robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://whendy.net/sitemap.xml

Ganti https://whendy.net/sitemap.xml dengan lokasi sitemap.xml anda.