Googlebot user-agent baru untuk merayapi konten smartphone

Googlebot user-agent

Selama bertahun-tahun, Google telah menggunakan crawler yang berbeda untuk menjelajah dan mengindeks konten untuk fitur ponsel dan smartphone. Ini crawler mobile-spesifik semuanya telah disebut sebagai Googlebot-Mobile. Namun, fitur ponsel dan smartphone memiliki kemampuan perangkat jauh berbeda, dan kita telah melihat kasus di mana seorang webmaster tidak sengaja diblokir smartphone merayapi atau mengindeks ketika mereka benar-benar dimaksudkan untuk memblokir hanya fitur merayapi telepon atau pengindeksan. Ambiguitas ini membuat mustahil bagi Google untuk mengindeks konten smartphone dari beberapa situs, atau Google untuk mengakui bahwa situs tersebut smartphone dioptimalkan. 

Sebuah Googlebot baru untuk smartphone
Untuk memperjelas situasi dan memberikan kontrol yang lebih besar webmaster, kami akan pensiun "Googlebot-Mobile" untuk smartphone sebagai agen pengguna mulai dalam waktu 3-4 minggu. Sejak saat itu, pengguna-agen untuk smartphone akan mengidentifikasi dirinya hanya sebagai "Googlebot" tapi masih akan daftar "mobile" di tempat lain di string user-agent. Berikut adalah user-agen baru dan lama:

Googlebot baru untuk smartphone user-agent:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 seperti Mac OS X) AppleWebKit/536.26 (KHTML, seperti Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; + http://www.google.com / bot.html)

The Googlebot-Mobile untuk smartphone user-agent akan segera dihentikan:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 seperti Mac OS X) AppleWebKit/536.26 (KHTML, seperti Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; + http://www.google .com / bot.html)

Perubahan ini hanya mempengaruhi Googlebot-Mobile untuk smartphone. The user-agen Googlebot biasa tidak berubah, dan dua sisanya crawler Googlebot-Mobile akan terus merujuk mereka ke dalam fitur perangkat ponsel string user-agent, untuk referensi, ini adalah:

Regular Googlebot user-agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Kedua Googlebot-Mobile user-agen untuk fitur ponsel:
  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Anda dapat menguji situs Anda menggunakan Ambil sebagai fitur Google di Webmaster Tools, dan Anda dapat melihat daftar lengkap perayap yang ada di Pusat Bantuan.

Perayapan dan indeks
Harap dicatat implikasi penting ini update user-agent: Googlebot baru untuk smartphone crawler akan mengikuti robots.txt, robots meta tag, dan arahan HTTP header untuk Googlebot bukan Googlebot-Mobile. Misalnya, ketika crawler baru dikerahkan, direktif robots.txt ini akan memblokir semua yang merangkak oleh Googlebot baru untuk smartphone user-agent, dan juga Googlebot biasa:

User-agent: Googlebot
Disallow: /
Direktif robots.txt ini akan memblokir yang merangkak oleh crawler fitur telepon Google:
User-agent: Googlebot-Mobile
Disallow: /