1. Menggunakan robots.txt dengan efektif
Apa itu robot.txt?
File "robots.txt" adalah sebuah script yang kita buat dan berfungsi memberi tahu mesin telusur apakah dapat mengakses kemudian merayapi bagian dari sebuah situs. Berikut ini adalah contoh scriptnya:
User-agent: *
Disallow: /images/
Disallow: /search
Artinya :
Semua bot mesin telusur yang patuh (ditandai dengan simbol pengganti *) seharusnya tidak mengakses dan merayapi konten dengan /images/ atau URL apapun yang jalurnya dimulai dengan /search
File tersebut, harus dinamai "robots.txt", dan ditempatkan di direktori root situs.
Anda mungkin tidak ingin halaman tertentu dari situs Anda dirayapi karena halaman tersebut mungkin tidak berguna bagi pengguna jika ditemukan sebagai bagian dari hasil mesin telusur. Jika Anda ingin mencegah mesin telusur merayapi halaman Anda, Alat Webmaster Google memiliki pembuat robots.txt untuk membantu Anda membuat file ini. Perhatikan bahwa jika situs Anda menggunakan subdomain dan Anda ingin halaman tertentu tidak dirayapi pada subdomain tertentu, Anda harus membuat file robots.txt terpisah untuk subdomain tersebut. Untuk informasi selengkapnya tentang robots.txt, sebaiknya Anda membaca panduan Pusat Bantuan Webmaster tentang menggunakan file robots.txt ini.
Terdapat beberapa cara lain untuk mencegah konten muncul di hasil penelusuran, seperti menambah "NONINDEX" ke tag meta robots Anda, menggunakan .htaccess pada direktori yang dilindungi kata sandi, dan menggunakan Alat Webmaster Google untuk menghapus konten yang telah dirayapi. Insinyur Google Matt Cutts menjelaskan satu per satu hal-hal yang perlu diperhatikan pada setiap metode pemblokiran URL dalam sebuah video yang membantu.
Praktik terbaik yang bisa dilakukan adalah dengan menggunakan metode yang lebih aman untuk konten yang sensitif. Jangan merasa aman begitu saja saat menggunakan robots.txt untuk mencekal materi yang sensitif atau rahasia. Salah satu alasan adalah mesin pencari masih dapat memberi referensi URL yang Anda blokir (hanya menunjukkan URL, tidak ada judul atau snippet) jika ternyata ada tautan ke URL itu di Internet (seperti catatan perujuk). Tidak hanya itu, mesin telusur yang tidak patuh atau sembarangan yang tidak mengakui Robots Exclusion Standard dapat mengabaikan instruksi dari robots.txt Anda. Terakhir, pengguna yang ingin tahu dapat memeriksa direktori atau subdirektori pada robots.txt Anda dan menebak URL dari konten yang Anda tidak ingin perlihatkan. Mengenkripsi konten atau melindunginya dengan kata sandi dengan .htaccess merupakan alternatif yang lebih aman. Hindari: memungkinkan halaman mirip hasil penelusuran untuk dirayapi -pengguna tidak suka meninggalkan satu halaman hasil penelusuran dan membuka halaman hasil penelusuran lain yang tidak menambahkan nilai yang signifikan bagi mereka membiarkan terbentuknya URL sebagai hasil dari layanan proxy untuk dirayapi.
==============================================
“Batasi perayapan jika tidak diperlukan dengan robots.txt”
===============================================
2. Hati-hati saat mengunakan tautan rel="nofollow"
2.1. Lawan spam komentar dengan "nofollow"
Menyetel nilai atribut "rel" dari tautan menjadi "nofollow" akan memberi tahu Google bahwa tautan tertentu pada situs Anda sebaiknya tidak diikuti atau membagikan reputasi halaman Anda ke halaman yang ditautkan. Menjadikan tautan nofollow adalah menambahkan rel="nofollow" di dalam tag jangkar tautan seperti berikut.
<a href="http://www.shadyseo.com" rel="nofollow">Pelaku spam komentar</a>
Kapan hal ini berguna? Jika situs Anda memiliki blog dengan akses komentar publik aktif, tautan pada komentar itu dapat membagi reputasi Anda kepada halaman yang mungkin tidak akan nyaman bagi Anda untuk memberi jaminan. Area komentar blog pada halaman sangat mudah terkena spam komentar (2). Menjadikan tautan nofollow yang ditambahkan pengguna memastikan Anda tidak memberikan reputasi halaman yang didapat dengan susah payah kepada situs spam.
Dari gambar di kanan, Pelaku spam komentar meninggalkan sebuah pesan pada salah satu pos blog kita, berharap mendapatkan beberapa reputasi situs kita.
. “Jika Anda dan pembaca situs Anda menautkan suatu situs yang tidak Anda percaya dan/atau tidak ingin mereferenskan suatu situs, gunakan nofollow”
2.2. Menambahkan "nofollow" secara otomatis ke kolom komentar dan papan pesan.
Banyak paket perangkat lunak blog secara otomatis menandai nofollow pada komentar pengguna, tapi bagi yang tidak, masih dapat melakukan edit manual untuk nofollow. Saran ini juga berlaku untuk area lain pada situs Anda yang mungkin melibatkan konten yang dihasilkan pengguna, seperti buku tamu, forum, papan-komentar, daftar perujuk, dll. Jika Anda bersedia menjamin untuk tautan yang ditambahkan oleh pihak ketiga (misal: jika pemberi komentar dipercaya di situs Anda), maka tidak perlu menggunakan nofollow pada tautan, namun, menautkan pada situs yang dianggap Google sebagai spam dapat memengaruhi reputasi situs Anda sendiri. Pusat Bantuan Webmaster memiliki lebih banyak kiat tentang menghindari spam komentar, seperti menggunakan CAPTCHA dan mengaktifkan moderasi komentar.
2.3. Tentang menggunakan "nofollow" untuk setiap konten, keseluruhan halaman, dsb.
Kegunaan lain dari nofollow adalah saat Anda menulis konten dan ingin mereferensikan situs web, tapi tidak ingin memberikan reputasi kepadanya. Sebagai contoh, bayangkan Anda tengah menulis blog dengan topik spam komentar dan Anda ingin menyebutkan sebuah situs yang baru-baru ini memberi spam komentar di blog Anda. Anda ingin memperingatkan yang lain tentang situs itu, jadi Anda menambah tautan situs itu pada konten; namun, Anda tidak ingin membagi reputasi dari tautan itu kepada situs. Ini merupakan saat yang tepat untuk menggunakan nofollow.
Terakhir, jika Anda tertarik untuk mengaktifkan nofollow pada seluruh tautan pada sebuah halaman, Anda dapat gunakan "nofollow" pada meta tag robot, yang diletakkan di dalam tag <head> dari HTML halaman itu. Webmaster Central Blog menyediakan pos yang bermanfaat mengenai penggunaan meta tag robot. Metode ini ditulis sebagai berikut ini
<meta name="robots" content="nofollow">
Contoh scriptnya
<html>
<head>
<title>Uang Kuno Tino - Jual Beli, Harga, dan Informasi Uang Kuno Indonesia</title>
<meta name="description=" content="Uang Kuno Tino menyediakan uang kuno
asli dan replika dengan harga terjangkau. Cocok untuk mahar/mas kawin uang
kuno. Dapatkan informasi mengenai">
<meta name="robots" content="nofollow">
</head>
<body>
Script di atas akan mengaktifkan nofollow seluruh tautan pada halaman.
======================================================================
Pastikan Anda memiliki pengaman kuat yang siap menghadapi spam komentar
======================================================================
demikianlah teknik memanfaatkan mesin perayap dari search engine. Posting berikutnya adalah mengenai optimasi on page untuk telepon seluler/tablet
No comments:
Post a Comment