SEM, SEO knowledge in Thailand

Robots.txt for SEO.

Posted on April 16th, 2007 in SEO

สวัสดีปีใหม่ไทยครับ อิอิ สงกรานต์ไปเที่ยวไหนกันมาบ้างครับ ส่วนผมเองไม่ได้ไปไหนเลย นั่งเฝ้าหน้าคอมฯ ตลอดเลยครับ เพี้ยนเพ้อในโลกออนไลน์ไปเรื่อยๆครับ

เอาล่ะ เข้าเรื่องกันเลยครับกับ [tag]robots.txt[/tag] หรือเราเรียกกันว่า [tag]robot[/tag] [tag]text[/tag] นั่นครับ คราวนี้เกี่ยวกับ [tag]seo[/tag] เต็มๆครับ ซึ่งแต่ก่อนมันไม่ค่อยเกี่ยวเท่าไหร่ครับ สำหรับเจ้า robots.txt เนี่ยล่ะครับ ซึ่งเคยกล่าวไว้ใน
Google,Best for search or Best for Hacker?? ซึ่งผมเองเขียนไว้นานมากๆ แล้วครับเกี่ยวกับการใช้robots.txt ในการป้องกัน bot เข้าสู่พื้นที่ที่เราไม่ต้องการให้ออกสู่โลกสาธารณะครับ

ซึ่งผมเองก็เคยบอกหลายๆครั้งใน blog นี้ว่า robots.txt ไม่ได้มีส่วนช่วยในการทำ seo เสียเท่าไหร่นัก (ไม่ได้ช่วยเลยมั้งครับ) เพราะหลักๆของมันคือ การควบคุม search engine bot ให้วิ่งไปตามส่วนที่เราต้องการเท่านั้น

แต่วันนี้ ผมขอคืนคำครับ ว่ามันมีส่วนช่วยในการทำ seo แล้วครับ ไม่ใช่ว่าแต่ก่อนผมเข้าใจผิดนะครับ แต่ก่อนที่เขียนไว้ก็ถูก ส่วนของใหม่ที่จะเขียนก็ถูก อ่าว งง ใช่ไหมครับ อิอิ

สิ่งหนึ่งในการทำ seo ที่ผมก็เคยเขียนไว้คือ คนที่ทำ seo จะต้องอัพเดทตัวเองตามระบบ ตาม algorithm ของ search engine ตลอด เพราะ search engine แต่ละค่ายจะมีการปรับปรุงตัวเสมอครับ และนี่คือเหตุผลล่าสุด ที่ผมต้องมาเขียนถึง robots.txt อีกครั้งนึงครับ

มันเป็นผลมาจาก SES NY. ล่ะครับ หุหุ ซึ่งแนวโน้มของ Major Search engine ต่างๆ หันมามีส่วนร่วมกันมากขึ้นทำให้เกิดอะไรใหม่ๆ ขึ้นครับไม่ว่าจะเป็น การร่วมมือในระบบของ sitemap [อ่านเพิ่มเติมได้ที่ Sitemap for Major Search Engine ครับ] คราวนี้ก็เช่นกันครับ

เกิดการเอา robots.txt มาใช้งานอีกแล้วครับ การใช้งานที่ว่าคือ การใส่ sitemap ลงไปใน robots.txt ครับ แต่ไม่ใช่เอา sitemap ทั้งอันยัดลงไปนะครับ แต่เป็นการชี้เป้าให้กับ Bot ครับว่า sitemap อยู่ที่ไหน ลักษณะการใช้งานก็

Sitemap: http://www.eblogbiz.com/sitemap.xml
Sitemap: http://www.eblogbiz.com/sitemap.xml.gz

เพิ่มลงไปในไฟล์ robots.txt เดิมครับ ซึ่งปรกติแล้วเวลาที่ bot เข้ามายังเว็บก็จะวิ่งเช็ค robots.txt ก่อนว่ามีหรือไม่ ถ้ามี ก็จะเช็คว่า folder ไหนอนุญาติ บ้าง folder ไหนห้ามเข้าบ้าง (จริงๆแล้วส่วนมากมันวิ่งเข้าหมดล่ะครับ แต่อันไหนที่มี robots.txt ระบุห้ามไว้จะไม่มีการนำ index ขึ้นไปเท่านั้นเอง)

คราวนี้จึงถือเป็นการเพิ่ม Option ให้กับ robots.txt ครับ เพราะนอกจากที่จะสั่งควบคุมบอทแล้ว ยังชี้เป้าหมายให้กับ Robot ด้วยครับว่า sitemap อยู่ที่ไหน อยู่ตรงไหน เรียกได้ว่าเป็นอีกทางหนึ่งครับนอกเหนือจากการ submit sitemap ครับ

งานนี้บอกได้คำเดียวครับว่า ไม่ใช่แค่ค่ายเดียวที่ยอมรับแนวคิดนี้ พี่ใหญ่ทั้ง สามค่ายคือ Google, Yahoo และ MSN ออกมายอมรับแนวคิดนี้แล้วครับ เพียงแต่ยังมีแค่ yahoo เท่านั้นที่ออกมาประกาศอย่างเป็นทางการแล้วครับ ส่วนค่ายอื่นคิดว่าคงจะตามมาเร็วๆ นี้ครับ

ปล. ผมเองหลังไม่ค่อยได้สนใจ sitemap เท่าไหร่แล้วครับ มีตัวอื่นที่น่าเล่นกว่า อิอิ เขียนอยู่ในบล็อกนี่ล่ะครับ เหอๆ ว่าอะไร

2 Comments »