Ton’s Blog

Google Bot Crawl stats

ตอนนี้ Google Bot กลับมา crawling ได้ตามเดิมแล้วครับ หลังจาก
ที่ตามมานาน วันนี้ผมจะมาสรุปวิธีแก้ไขเรื่องที่ Bot ไม่เข้ามา crawling
ไว้ให้เพื่อนๆ ที่เจอปัญหาแบบผมได้เอาไปใช้กันครับ .. มีดังต่อไปนี้
- ต้องแน่ใจว่าไม่มีการ block Google Bot IP 66.249.xxx.xxx
- ถ้า Webmaster Tools ฟ้องว่า Googlebot found an extremely
high number of URLs on your site ให้พยายามปรับ content ที่เว็บ
ตามคำแนะนำของ Google ตาม link นี้ Webmaster Tools Messages
– ดูเรื่อง Bandwidth Inter ว่ามีอยู่เพียงพอให้ Google Bot เข้ามา
crawling ได้สะดวกหรือไม่ โดยดูได้จาก Time spent downloading a page
ตัวเลขยิ่งน้อย ยิ่งดี ถือว่า Bot เข้ามาได้สะดวก
- Gen Sitemap ช่วยในหน้าที่สำคัญๆ ให้ Bot เข้าถึงได้สะดวกขึ้น

หลักๆ ก็มีเท่านี้ครับ ลองเอาไปปรับใช้กันดูครับ การที่ Google Bot เข้ามา
crawling ได้มากเท่าไร ก็เป็นผลดีต่อเว็บเรามากเท่านั้นครับ เพราะจะทำการ
index page นั้นๆ ไว้ เวลา search อะไร ก็จะได้เจอเว็บเราได้ง่ายขึ้น ..