Selamat datang di Leak, terimakasih karena anda telah berkunjung ke blog saya, kali ini saya akan menulis tentang Meningkatkan SEO Blog Wordpress Dengan Robots.Txt, semoga informasi yang anda cari ada disini, selamat membaca.
Pernah dengar istilah robots.txt? Menurut Wikipedia:
The robots exclusion standard, also known as the Robots Exclusion Protocol or robots.txt protocol is a convention to prevent cooperating web spiders and other web robots from accessing all or part of a website which is, otherwise, publicly viewable. Robots are often used by search engines to categorize and archive web sites, or by webmasters to proofread source code. A robots.txt file on a website will function as a request that specified robots ignore specified files or directories in their search.
Dengan kata lain, ibaratnya seorang guide, robots.txt ini berfungsi untuk mengarahkan crawler mesin pencari pada saat ia melakukan kerjanya. Dengan robots.txt, kita dapat menentukan file atau direktori mana yang boleh diakses dan mana yang tidak boleh. Kita bahkan bisa mengatur, crawler mana yang boleh mengakses situs kita dana mana yang tidak boleh.
Jika Anda menggunakan platform blog Wordpress (jangan lupa ikuti polling yang ada di sidebarnya), Anda bisa memanfaatkan si robots.txt ini untuk proses SEO blog Anda dan (semoga) meningkatkan SERP-nya. Beberapa hal yg bisa kita lakukan dengan robots.txt di blog WP antara lain:
Pernah dengar istilah robots.txt? Menurut Wikipedia:
The robots exclusion standard, also known as the Robots Exclusion Protocol or robots.txt protocol is a convention to prevent cooperating web spiders and other web robots from accessing all or part of a website which is, otherwise, publicly viewable. Robots are often used by search engines to categorize and archive web sites, or by webmasters to proofread source code. A robots.txt file on a website will function as a request that specified robots ignore specified files or directories in their search.
Dengan kata lain, ibaratnya seorang guide, robots.txt ini berfungsi untuk mengarahkan crawler mesin pencari pada saat ia melakukan kerjanya. Dengan robots.txt, kita dapat menentukan file atau direktori mana yang boleh diakses dan mana yang tidak boleh. Kita bahkan bisa mengatur, crawler mana yang boleh mengakses situs kita dana mana yang tidak boleh.
Jika Anda menggunakan platform blog Wordpress (jangan lupa ikuti polling yang ada di sidebarnya), Anda bisa memanfaatkan si robots.txt ini untuk proses SEO blog Anda dan (semoga) meningkatkan SERP-nya. Beberapa hal yg bisa kita lakukan dengan robots.txt di blog WP antara lain:
- Mematikan akses crawler ke direktori wp-admin dan wp-include.Kedua direktori tersebut berisi file-file pendukung Wordpress dan tidak ada gunanya untuk dilalui oleh crawler.
- Menghindari atau menghilangkan supplemental result di Google yang diakibatkan oleh duplicate content. Beberapa fitur WP sebenarnya menghasilkan supplemental result di Google, seperti comments feed dan trackback url. Untuk menghindarinya (atau menghilangkannya jika sudah terlanjur ter-index dan tercatat sebagai supp.), kita dapat mencegah crawler untuk mengakses alamat tersebut.
- Menghindari atau menghilangkan supplemental result di Google yang diakibatkan oleh dynamic page. Yang dimaksud dynamic page di sini adalah halaman yang mengandung lebih dari 1 karakter ‘?’ (tanda tanya) di URL-nya. Jika mungkin dulu Anda khilaf dan lupa mengaktifkan permalink misalnya, maka halaman-halaman artikel blog Anda akan penuh dengan karakter tersebut dan sayangnya, tidak akan bermakna apa-apa di mesin pencari.
Untuk mulai menggunakan robots.txt, yg Anda lakukan cukup dengan membuat file dengan nama tersebut dan letakkan pada root domain atau sub-domain Anda. Jika blog Anda terletak pada sub-direktori, misal: http://www.namadomain.com/blog, Anda tetap harus meletakkan robots txt tersebut pada http://www.namadomain.com.
Untuk menentukan crawler yg ingin diatur:
User-agent: namacrawler
Contoh nama crawler:
Untuk menentukan crawler yg ingin diatur:
User-agent: namacrawler
Contoh nama crawler:
- Googlebot — crawler search engine Google
- Googlebot-Image — crawler image search Google
- Mediapartners-Google* — crawler Google AdSense
- * — semua crawler diperbolehkan
Untuk mencegah akses ke direktori tertentu:
Disallow: /namadirektori/
Sebaliknya, Anda juga bisa menggunakan Allow untuk memperbolehkan akses ke direktori tertentu.
Misal, untuk mencegah akses ke direktori internal Wordpress:
Disallow: /wp-admin/
Disallow: /wp-includes/
Untuk mencegah akses ke comments feed dan trackback:
Disallow: */feed/
Disallow: */trackback/
Kita menggunakan tanda * karena struktur URL comments feed adalah http://www.namadomain.com/blahblah-tergantung-permalink/feed/. Begitu pula halnya dengan trackback.
Untuk mencegah akses ke dynamic page:
Disallow: /*?*
Disallow: /*?
Sekarang, mari kita coba padukan semuanya menjadi satu.
# This rule means it applies to all user-agents
User-agent: *
# Disallow all directories and files within
Disallow: /wp-admin/
Disallow: /wp-includes/
# The Googlebot is the main search bot for google
User-agent: Googlebot
# Disallow Google from parsing indididual post feeds and trackbacks..
Disallow: */feed/
Disallow: */trackback/
# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?
# The Googlebot-Image is the image bot for google
User-agent: Googlebot-Image
# Allow Everything
Allow: /*
# This is the ad bot for google
User-agent: Mediapartners-Google*
# Allow Everything
Allow: /*
Demikian informasi dari saya tentang Meningkatkan SEO Blog Wordpress Dengan Robots.Txt yang dapat saya sampaikan, semoga berguna dan dapat menambah pengetahuan bagi yang membacanya.
Disallow: /namadirektori/
Sebaliknya, Anda juga bisa menggunakan Allow untuk memperbolehkan akses ke direktori tertentu.
Misal, untuk mencegah akses ke direktori internal Wordpress:
Disallow: /wp-admin/
Disallow: /wp-includes/
Untuk mencegah akses ke comments feed dan trackback:
Disallow: */feed/
Disallow: */trackback/
Kita menggunakan tanda * karena struktur URL comments feed adalah http://www.namadomain.com/blahblah-tergantung-permalink/feed/. Begitu pula halnya dengan trackback.
Untuk mencegah akses ke dynamic page:
Disallow: /*?*
Disallow: /*?
Sekarang, mari kita coba padukan semuanya menjadi satu.
# This rule means it applies to all user-agents
User-agent: *
# Disallow all directories and files within
Disallow: /wp-admin/
Disallow: /wp-includes/
# The Googlebot is the main search bot for google
User-agent: Googlebot
# Disallow Google from parsing indididual post feeds and trackbacks..
Disallow: */feed/
Disallow: */trackback/
# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?
# The Googlebot-Image is the image bot for google
User-agent: Googlebot-Image
# Allow Everything
Allow: /*
# This is the ad bot for google
User-agent: Mediapartners-Google*
# Allow Everything
Allow: /*
Demikian informasi dari saya tentang Meningkatkan SEO Blog Wordpress Dengan Robots.Txt yang dapat saya sampaikan, semoga berguna dan dapat menambah pengetahuan bagi yang membacanya.
0 komentar:
Posting Komentar