ในปัจจุบัน Bot ของ Search Engine ต่างๆมีมากมายนับไม่ถ้วน ซึ่ง Bot บางตัวก็ไม่ได้มีประโยชน์อะไรกับเราเลย เราจึงควรจำกัด Bot ที่ไม่ได้เป็นผลดีต่อเรานักออกไปซะบ้าง เพราะยิ่ง Bot เข้ามาเยอะเท่าไร มันก็มีผลให้ Server ของเราทำงานหนักขึ้นโดยไม่จำเป็นเท่านั้น

วิธีในการ Block Bot ก็มีหลายวิธี เช่น ใช้ .htaccess ในการบล็อกการเข้าถึง

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

ตัวอย่างด้านบน googlebot bingbot Baiduspider คือ Search Engine ที่ถูกบล็อก เราสามารถเพิ่มได้อีกครับ โดยเวลาใส่ให้คั่นแต่ละรายการด้วย |
ข้อเสียของการใช้ htaccess ในการบล็อก Search Engine คือเราต้องใส่รายการเยอะมาก เพราะมี Bot ที่ควรบล็อก มากกว่า Bot ที่ควรอนุญาต

อีกวิธีที่ผมแนะนำคือการใช้ความสามารถของ robots.txt ในการจัดการกับ Serch Engine ซึ่งเป็นหน้าที่ของมันโดยตรงอยู่แล้ว
หลักการก็คือบล็อก Search Engine ทั้งหมดไว้ก่อน

User-agent: *
Disallow: /

จากนั้นค่อยเลือก Search Engine ที่จะอนุญาต ซึ่งมีน้อยกว่า

User-agent: Googlebot
Allow: /

โค้ดเต็มๆที่ผมใช้อยู่ โดยจะอนุญาตเฉพาะ Bot หลักๆเท่านั้นให้สามารถมา Index เว็บไซต์ของเราได้

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Google
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Bing
Allow: /
User-agent: Slurp
Allow: /
User-Agent: MSNBot
Allow: /
User-Agent: MSNBot-Media
Allow: /
User-Agent: BingPreview
Allow: /