Crawl rate control : Your current speed Faster
Thursday, 2. August 2007, 17:02:04
เรื่องของเรื่องคือ หลายวันก่อนผมเข้าไปแก้ไขไฟล์ robots.txt โดยกันไม่ให้ bot คลานเข้ามา แล้วบังเอิญว่าผมจะทดลองสัก 1-2 วันแต่ดันลืมทำให้ Index ของผมตกฮวบและหยุดชะงัก นี่ก็ใกล้ออัพเดทของ Google เข้าช่วงอกสั่นขวัญหายกันพอดี
เข้าไปดูใน Webmaster Tools ตกใจนึกออกทันทีครับ
โชคดีว่าวันนี้ผมนึกแอะใจว่าทำไมไม่มี bot เข้ามาเลยแล้วจะทำไงดี เพราะ โพสไปก็เยอะแล้วจะไล่ตามทันหรือเปล่าก็หนักใจ
ก็เลยลองใช้บริการของ Webmaster Tools ครับเพื่อทำความเร็วของ bot มากขึ้น
เข้าไปดูใน Webmaster Tools ตกใจนึกออกทันทีครับ
robots.txt URLhttp://www.xxxx.com/robots.txt Last downloadedAugust 1, 2007 7:34:10 PM PDT Status200 (Success) [?] Home page accessThis file is blocking access to http://www.xxxx.com/
โชคดีว่าวันนี้ผมนึกแอะใจว่าทำไมไม่มี bot เข้ามาเลยแล้วจะทำไงดี เพราะ โพสไปก็เยอะแล้วจะไล่ตามทันหรือเปล่าก็หนักใจ
ก็เลยลองใช้บริการของ Webmaster Tools ครับเพื่อทำความเร็วของ bot มากขึ้น
โดยเข้าไปที่ส่วนของ Diagnostic > Crawl rate
จากนั้นผมก็เลือก Faster : A faster crawl will enable us to crawl your site quickly, but may put more load on your server.
แต่แน่นอนว่า server จะทำงานหนักขึ้นไปอีกนิดหน่อย เมื่อเราปรับความเร็วแล้วอัตรา Crawl rate จะหมดอายุใน90 วัน จากนั้นจะเข้าสู่สถานะ Normal ครับ
เป็นประสบการณ์แรกที่ผมได้ลองใช้ส่วนนี้ของ Google Webmaster Tools โดยไม่คาดคิดมาก่อนครับ เพราะความยากลอง ความหลงลืมแน่แท้ ของผมเองครับ
หวังว่าโพสนี้คงมีประโยชน์กับทุก ๆ ท่านด้วยครับ
PR, PageRank, robots.txt, Crawl rate, Webmaster Tools
WIDGETIZE
Anonymous # 26. August 2008, 03:16
มีเรื่องรบกวนค่ะ ใช้ Analyze robot.txt ที่ Google Webmaster Tools ทดสอบ
ได้ผลดังนี้
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Noindex: /feedReaderJson
Sitemap: http://tipsandtrickshub.blogspot.com/feeds/posts/default?orderby=updated
ใช้ Googlebot กับ Mediapartners-Google ทดสอบค่ะ
ผิดปกติไหมคะ สงสัยจังเลยว่า blog มี robot.txt ด้วยหรือคะ แล้วจะปรับแก้ตรงใหนคะ งงจัง
ขอบพระคุณค่ะ
dulron2008
yokey # 26. August 2008, 04:00
และอีกประการตอนนี้เราก็ไม่สามารถแก้ไขค่าของไฟล์ Robots.txt ของ Blogger ได้นะครับ