Google tarayıcıları

"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfetmek ve taramak amacıyla kullanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda, yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler ve bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtilmeleri gerektiği listelenmektedir.

Aşağıdaki tabloda, Google'daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:

Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken genel tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcılar tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı belirtecinizin eşleşmesi yeterlidir. Bu liste tam olmasa da, web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
Tam kullanıcı aracısı dizesi, tarayıcının tam açıklamasıdır, istekte ve web günlüklerinizde görünür.

Bu değerler sahte olabilir. Ziyaretçinin Googlebot olduğunu doğrulamanız gerekiyorsa ters DNS araması kullanmalısınız.

Tarayıcı	Kullanıcı aracısı jetonu (ürün jetonu)	Tam kullanıcı aracısı dizesi
APIs-Google	`APIs-Google`	`APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)`
AdSense	`Mediapartners-Google`	`Mediapartners-Google`
AdsBot Mobil Web Android (Android web sayfası reklam kalitesini kontrol eder)	`AdsBot-Google-Mobile`	`Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)`
AdsBot Mobil Web (iPhone web sayfası reklam kalitesini kontrol eder)	`AdsBot-Google-Mobile`	`Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)`
AdsBot (Masaüstü web sayfası reklam kalitesini denetler)	`AdsBot-Google`	`AdsBot-Google (+http://www.google.com/adsbot.html`)
Googlebot Image	`Googlebot-Image` `Googlebot`	`Googlebot-Image/1.0`
Googlebot News	`Googlebot-News` `Googlebot`	`Googlebot-News`
Googlebot Video	`Googlebot-Video` `Googlebot`	`Googlebot-Video/1.0`
Googlebot (Masaüstü)	`Googlebot`	`Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html`) `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z^‡ Safari/537.36` veya (nadiren kullanılır): `Googlebot/2.1 (+http://www.google.com/bot.html`)
Googlebot (Akıllı Telefon)	`Googlebot`	`Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z^‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)`
Mobil AdSense	`Mediapartners-Google`	(Çeşitli mobil cihaz türleri) (`compatible; Mediapartners-Google/2.1`; `+http://www.google.com/bot.html`)
Mobil Uygulamalar Android (Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robotlarının kurallarına uyar.)	`AdsBot-Google-Mobile-Apps`	`AdsBot-Google-Mobile-Apps`
Feedfetcher	`FeedFetcher-Google` Robots.txt kurallarına uymuyor - nedenini buradan öğrenebilirsiniz	`FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)`
Google Sesli Okuma	`Google-Read-Aloud` Robots.txt kurallarına uymuyor - nedenini buradan öğrenebilirsiniz	Mevcut aracılar: Masaüstü aracısı: `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)` Mobil temsilci: `Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)` Eski aracı (kullanımdan kaldırıldı): `google-speakr`
Duplex on the Web	`DuplexWeb-Google` Kullanıcı aracısı joker karakterini yok sayabilir - nedenini burada bulabilirsiniz	`Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36`
Google Site Simgesi (Çeşitli hizmetler için site simgelerini alır)	`Google Favicon` Kullanıcı tarafından başlatılan istekler için robots.txt kurallarını yok sayar	`Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon`
Web Light	`googleweblight` Robots.txt kurallarına uymuyor - nedenini buradan öğrenebilirsiniz	`Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19`

^‡ Kullanıcı aracılarında Chrome/W.X.Y.Z

Tablodaki kullanıcı aracısı dizelerinde Chrome/WXYZ ifadesini gördüğünüz her yerde, W.X.Y.Z aslında Chrome'un sürümünü temsil eden ve bu kullanıcı aracısı tarafından kullanılan bir yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.

Günlüklerinizde arama yapıyorsanız veya sunucunuzu bu sürüm numarası kalıbına sahip bir kullanıcı aracısına göre filtreliyorsanız, büyük olasılıkla sürüm numarasını tam olarak belirtmek yerine için joker karakterler kullanmanız gerekir.

Robots.txt dosyasındaki kullanıcı aracıları

Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da, Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız, bunu yapmak için Googlebot'u kullanıcı-aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google aramasında görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız, Googlebot kullanıcı-aracısını engellediğinizde, Google'ın diğer tüm kullanıcı-aracıları da engellenir.

Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-image kullanıcı-aracısının /personal dizininizdeki dosyaları taramamasını (ancak, diğer tüm dosyaları taramasına izin vermeyi) şu şekilde sağlayabilirsiniz:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google tarayıcısına izin verebilirsiniz:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Robots meta etiketlerindeki kullanıcı aracıları

Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.

Bu Blogda Ara

Profesyonel SEO