Mẫu file robots.txt chuẩn cho WordPress

Bài viết hôm nay cũng tìm hiểu về File robots.txt và các mẫu file robots.txt được sử dụng cho web.
File robots.txt không có săn trên thu mục cài đặt của web duy nhiên chúng ta cũng có thể thảo và up lên.

Trước khi sử dụng file robots.txt chúng ta cùng tìm hiểu về nó trươc đã.
File robots.txt là gì? File robots.txt là một file nằm ở thu mục gốc của web, giúp thực hiện việc khai báo với các công cụ tìm kiếm về việc thu thập thông tin trang web của trang web.

Tính năng của file robots.txt?
– Cho phép hoặc hạn chế các công cụ Bot tìm kiếm
– Ẩn website khỏi công cụ tìm kiếm
– Hạn chế

Một số tên trong file file robots.txt:
– User-agent: Tên loại bot
– Allow: Cho phép
– Disallow: Không cho phép
– Sitemap: Đường dẫn sơ đồ của trang web.
– Ghi chú: Dấu * thay cho chuỗi, có nghĩa là áp dụng với tất cả

1. Mẫu file robots.txt cơ bản thường sử dụng trong WordPress:
Ở đây chúng ta chó phép công cụ tìm kiếm được thu thập thu mục Uploas và chặn các thư mục wp-admin..
Chúng ta nên thêm Sitemap để cho công cụ tìm kiếm thu thập thông tin trang web được nhanh ơn.
Chúng ta có đoạn sau:

User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /?s=*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: http://example.com/post-sitemap.xml

2. Mẫu file robots.txt chặn các công cụ tìm kiếm thu thập thông tin website
Cới những website muốn đang trong quá trình xây dựng thì chúng ta có thể tạo file robots.txt như sau:

User-agent: *
Disallow: /

Lời kết:
Như vậy là chúng ta đã tìm hiểu qua file robots.txt. Trong quá trình phát triển web thì file robots.txt là một phần cần thiết để khai báo với công cụ tìm kiếm như Google, Cốc cốc, Bing…
Chúc các bạn thành công.