เคยได้ยินวงการเสี่ยว (SEO) ^_^ คุยกันถึงเรื่องโรบอต โรบอต หลายๆ ท่านสงสัยว่าโรบอตที่ว่านั้นคืออะไร ขออธิบายแบบง่ายๆ เลยละกันน่ะค่ะ ไฟล์ robots.txt คือไฟล์ที่อนุญาติให้บรรดา robot ทั้งหลายสามารถแวะเวียนเข้าเว็บไซต์ของคุณ เพื่อเก็บข้อมูลต่างๆ ในเว็บไซต์ของคุณเรียกว่าเก็บทุกอย่าง ทุกระเบียดนิ้วเลยก็ว่าได้ bot จะเก็บข้อมูลเว็บไซต์ของคุณไปเพื่อทำเป็นดัชนีอินบ็อกนั้นเองค่ะ แต่อย่างได้สบายใจไปน่ะค่ะ bot นิแหละตัวดีเลยถ้าเราไม่รอบครอบละก็ ข้อมูลลับหรือข้อมูลที่คุณยังไม่อยากเปิดเผยหรือไม่อยากให้ใคร Search เจอก็สามารถถูกเปิดเผยได้ถ้าคุณไม่มีการจำกัด robot ว่าไม่ให้เก็บข้อมูลนั้นๆ แล้วด้วยเหตุนี้เราจะมีวิธีการสร้างไฟล์ robots.txt อย่างไรที่จะสามารถจำกัดการเก็บข้อมูลได้ เรามาดูวิธีสร้างไฟล์ robots.txt และวิธีการป้องกันไม่ให้ bot เห็นสิ่งที่เราไม่ต้องการเปิดเผยอย่างไร ไปดูกันเลยค่ะ
วิธีสร้างไฟล์ robots.txt
วิธีสร้างไฟล์ robots.txt มีคำสั่งดังนี้- User-agent: * //คือการสั่งอนุญาติให้ bot ทุกตัวเข้ามา
- User-agent: Googlebot //คือการสั่งอนุญาติให้ bot ของ google เข้ามา
- User-agent: Googlebot-Image //คือการสั่งอนุญาติให้ bot ของ google เข้ามาเก็บรูปภาพ เป็นต้น
วิธีการป้องกันไม่ให้ bot มองเห็นข้อมูลลับของคุณ
มีคำสั่งดังนี้- Disallow: //คือคำสั่งไม่ให้เก็บข้อมูล
บล๊อกหน้าเพจที่ไม่ต้องการให้ bot เข้าถึง
User-agent: *
Disallow: /private_file.html
บล็อกไฟล์รูปภาพไม่ให้ bot เข้าไปเก็บ
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
การบล๊อกรูปภาพทั้งหมดในเว็บไซต์ของคุณไม่ให้ bot เข้าไปเก็บ
User-agent: Googlebot-Image
Disallow: /
การบล็อคไฟล์โดยบล็อกตามสกุลไฟล์ เช่น .gif
User-agent: Googlebot
Disallow: /*.gif$
เอาละค่ะเพียงเท่านี้หลายๆ คนก็คงจะพอเข้าใจคำว่า robots.txt มากขึ้นไม่มากก็น้อยแล้วน่ะค่ะ แต่จะว่าไป bot ที่อยู่บนโลกนี้ก็ไม่ได้มีแค่ googlebot เท่านั้นน่ะค่ะ ยังมี bot อีกมากมายเลยที่คุณสามารถสร้างไฟล์ robots.txt ให้พวกเขาเหล่านั้นแวะเวียนมาเข้าชมมาเก็บข้อมูลในเว็บไซต์ของคุณได้เช่นกันค่ะ
ขอบคุณแหล่งข้อมูลดีๆ ที่ช่วยสานความรู้ด้วยน่ะค่ะ
>> howto108.com
>>support.google.com
ไม่มีความคิดเห็น:
แสดงความคิดเห็น