Doğrudan Google'dan:
Meta etiketler, web yöneticilerinin arama motorlarına siteleri hakkında bilgi sağlamaları için harika bir yoldur. Meta etiketler her tür istemciye bilgi sağlamak için kullanılabilir ve her sistem yalnızca anladıkları meta etiketleri işler ve geri kalanını yok sayar.
Tüm arama motorlarını tamamen engellemek istiyorsanız:
Neden?
Belki sitenizde biraz özel bir URL'dir, ancak bir arama botunun göremeyeceği şekilde korunmamaktadır. Bir sayfanın görmek için oturum açması gerekiyorsa, bu yine de bir arama botundan engellenir. Ancak bu sadece karmaşık bir URL ise, arama botlarının nasıl dolaştığını kim bilebilir, bu nedenle dizine eklemeyi engellemek isteyebilirsiniz.
Arama sonuçları başka bir yaygın olanıdır. Bir arama sonucunun arama sonuçları olması garip olabilir. WordPress temaları şunları içerir:
Bunu biraz değiştirebilir ve botlara söyleyebilirim, hey, siteyi indekslemeye devam etmek için buradaki bağlantıları takip edebilirsiniz, ancak bu sayfayı özel olarak indekslemeyin.
Diğerleri
Arama motorları, şunun yanında metin içeriği için açıklama etiketini kullanma eğilimindedir :
"Site bağlantısı arama kutusu" gibi Google'a özgü kullanıcı arayüzünü durdurma yeteneği gibi diğer Google'a özgü olanlar için Google sayfasına bakın.