ไฟล์ robots.txt คืออะไร ? สร้างและใช้อย่างไร

ไฟล์ robots.txt คืออะไร ?

Robots.txt คือ ไฟล์ที่ใช้บอก Search Engine Robot ที่เข้ามาเก็บข้อมูลภายในเว็บไซต์ให้ทราบว่า URL หรือ ไฟล์ หรือโฟลเดอร์ ไหนบ้าง ที่อนุญาตให้เข้ามาเก็บข้อมูลได้ หรือไม่อนุญาตให้เข้าเก็บข้อมูล

การเก็บข้อมูลเว็บไซต์ของ Search Engine โดยทั่วไป เช่น Google, Bing จะมีโปรแกรม Search Engine Robot ทำหน้าที่เข้าไปเก็บข้อมูลของเว็บไซต์ต่างๆ โดยผ่านไปตาม Link ต่างๆ ของแต่ละเว็บไซต์ เพื่อนำเอาข้อมูลเนื้อหา ไฟล์ และรูปภาพ ไปจัดทำ index การทำงานของ Search Engine Robot จะทำงานอัตโนมัติเพื่อเก็บข้อมูลต่างๆ ภายในเว็บไซต์ ในบางกรณี ไฟล์ข้อมูล หรือบางโฟลเดอร์ ที่เราไม่อยากให้ Search Engine Robot นำไปจัดทำ index จึงจำเป็นต้องใช้ไฟล์ robots.txt เพื่อบอกให้ Search Engine Robot ทราบว่า ไฟล์ หรือ โฟลเดอร์ไหนบ้าง ที่ไม่ต้องการให้ Search Engine Robot เข้ามาเก็บข้อมูล ไฟล์ robots.txt จึงเป็นส่วนหนึ่งที่ช่วยในการทำ SEO อำนวยความสะดวกให้กับ Search Engine Robot ทราบถึงส่วนต่างๆ ที่ต้องการให้เข้าเก็บข้อมูล

ข้อจำกัดของไฟล์ robots.txt

• Search Engine Robot บางราย อาจไม่รองรับคำสั่งในไฟล์ robots.txt : ดังนั้นถ้าต้องการบล็อกไม่ให้ Search Engine เข้ามาเก็บรวบรวมข้อมูล อาจจะต้องใช้วิธีการบล็อคอื่นๆ เช่น การป้องกันการอ่านไฟล์ข้อมูลด้วยการตั้ง รหัสผ่านในเซิณฟเวอร์ เป็นต้น
• Search Engine Robot บางราย อาจจะตีความคำสั่งในไฟล์ robots.txt ต่างกัน
• URL ที่ไม่อนุญาต ในไฟล์ robots.txt จะยังถูกจัดทำ index ได้ หากมี link มาจากเว็บไซต์อื่น วิธีป้องกันถ้าไม่ต้องการเผยแพร่ข้อมูลไฟล์ หรือ URL ที่ไม่อนุญาต ให้ป้องกันโดยการตั้งรหัสผ่านในเซิณฟเวอร์

ไฟล์ robots.txt สร้างและใช้งานอย่างไร

ไฟล์ robots.txt สามารถขึ้นจาก notepad หรือ text editor ทั่วๆ ไป หลังจากสร้างไฟล์ robots.txt เรียบร้อยแล้วต้องอัพโหลดไฟล์ ไปไว้ที่ root ของเว็บไซต์ เช่น https://www.mysite.com/robots.txt  ซึ่งหลังจากอัพโหลดไฟล์ไปไว้ที่ root ของเว็บไซต์แล้ว เราสามารถเรียกดูค่าในไฟล์ robots.txt ได้ โดยพิมพ์ใน URL ลงในบราวเซอร์

ตัวอย่างและความหมายของคำสั่งในไฟล์ robots.txt