Tạo file robots.txt cho wordpress là một trong những keyword được search nhiều nhất trên Google về chủ đề tạo file robots.txt cho wordpress. Trong bài viết này, kienthucmmo.vn sẽ viết bài viết Hướng dẫn tạo file robots.txt cho wordpress mới nhất 2020.
Mục Lục
Hướng dẫn tạo file robots.txt cho wordpress mới nhất 2020
File robots.txt là gì
Robots.txt là một file dạng text mà khi thiết lập website bạn có thể xây dựng để nói cho những con bọ của bộ máy kiếm tìm rằng.
làm thế nào để thu thập thông tin và index các trang trên web đó.
Bạn đủ sức tìm thấy file robots.txt ở thư mực gốc của website hay còn gọi là folder chính của website đó.
Về cơ bản một file robots.txt sẽ có dạng như này:
1 | User-agent: [user-agent name] |
2 | Disallow: [URL string not lớn be crawled] |
3 |
4 | User-agent: [user-agent name] |
5 | Allow: [URL string to be crawled] |
6 |
7 |
8 | Sitemap: [URL of your XML Sitemap] |
Bạn có thêm nhiều thể loại không giống trong cấu trúc trên để allow hoặc disallow một đường dẫn cụ thể nào đó và thêm nhiều sitemap khác.
Nếu bạn không mong muốn disallow một URL nào cả, thì các con bọ của công cụ tìm kiếm sẽ được phép thu thập all mọi thứ trên web đó.
Đây là một gợi ý về file robots.txt cơ bản hay sử dụng trong WordPress:
1 | User-Agent: * |
2 | Allow: /wp-content/uploads/ |
3 | Disallow: /wp-content/plugins/ |
4 | Disallow: /wp-admin/ |
5 |
6 | Sitemap: https: //example.com/sitemap_index.xml |
Trong gợi ý trên, tôi đang cho phép tool tìm kiếm thu thập thông tin và index file có trong thư mục uploads.
Sau đó thì tôi lại không cho phép nó thu thập 2 folder plugins và wp-admin và cuối cùng là thêm sitemap
Bạn có cần đến file robots.txt cho website WordPress không?
Mặc định thì kể cả bạn không có file này thì tool tìm kiếm nó luôn luôn index web.
không những thế thỉnh thoảng có một số file quan trọng bạn k muốn nó bị lộ thông tin ra ngoài thì đây là lúc cần nó.
Nếu bạn là một người mới khởi đầu và mới thiết lập blog với tỉ lệ content ít ỏi thì đây hiển nhiên chẳng hề vấn đề bạn cần quan tâm.
Nhưng dần dần khi website bạn phát triển có nhiều content hơn, nhiều organic lượt truy cập hơn.
Thì bạn sẽ cần phải để ý về chủ đề tỉ lệ thông tin bị thu thập.
Và đây là nguyên do vì sao file robots.txt lại quan trọng đến vậy
Các con bọ của tool search có một hạn chế nhất định cho mỗi web.
Có nghĩa là mỗi lần đi chúng sẽ thu thập một số lượng page nhất định trên web đó.
Nếu nó luôn luôn chưa thu thập xong hết all các page thì lần sau nó sẽ quay lại và liên tục.
Vì vậy mà website với lượng bài viết lớn thì sẽ đủ nội lực việc index sẽ bị tác động và chậm hơn.
Để không giống phục điều này thì bạn có thể disallow một số page k quan trọng trong WordPress như admin, folder plugins và themes.
giống như vậy là bạn đã bớt được số lượng thông tin mà các con bọ không cần thiết phải thu thập, và nó sẽ giúp những content quan trọng được index mau hơn.
Còn trong một số trường hợp đặc biệt bạn còn có thể ngăn tool kiếm tìm k index một số Page hoặc bài viết nào đó trên website của bạn.
Mặc dù nó chẳng phải là hướng dẫn tốt nhất để che dấu nội dung đó, nhưng nó cũng khá kết quả để k bị tìm thấy trên kết quả kiếm tìm.
Một số ví dụ về file robots.txt mà bạn có thể dùng
Một số blog có file robots.txt khá đơn giản, mỗi web có một nội dung khác nhau tùy vào nhu cầu cụ thể của họ
1 | User-agent: * |
2 | Disallow: |
3 |
4 | Sitemap: http: //www.example.com/post-sitemap.xml |
5 | Sitemap: http: //www.example.com/page-sitemap.xml |
File robots.txt trên cho phép all các con bot thu thập tất cả các thông tin trên website đó và có chứa thêm Sitemap XML.
Nhân tiện nếu bạn chưa biết tạo sitemap hãy xem chỉ dẫn phương pháp tạo XML Sitemap
Nếu bạn vừa mới dùng WordPress Diều Hâu ví dụ bạn sử dụng file robots.txt có dạng như sau:
1 | User-Agent: * |
2 | Allow: /wp-content/uploads/ |
3 | Disallow: /wp-content/plugins/ |
4 | Disallow: /wp-admin/ |
5 | Disallow: /readme.html |
6 | Disallow: /refer/ |
7 |
8 | Sitemap: http: //www.example.com/post-sitemap.xml |
9 | Sitemap: http: //www.example.com/page-sitemap.xml |
Với dạng này cho phép tool kiếm tìm thu thập tất cả các file có trong thư mục uploads giống như ảnh.
Và disallow file plugins, khu vực admin, file readme, và tiếp thị liên kết liên kết.
Nhớ thêm sitemap vào robots.txt để Google đủ sức không khó khăn thu thập mọi page đang có trên website nhé.
Giờ thì bạn đang hiểu cơ bản file robots.txt là gì và nó có cấu trúc như thế nào.
Làm sao để tạo file robots.txt trong WordPress
Có 2 hướng dẫn để tạo file robots.txt trong WordPress, nói chung là đều khá không khó khăn. Trong bài viết này tôi sẽ hướng dẫn bạn cả 2 phương pháp.
Mẹo 1: Tạo file robots.txt bằng Yoast SEO plugin
Nếu bạn đã sử dụng Yoast SEO thì nó có sẵn tính năng tạo file robots.txt cho bạn.
Bạn đủ nội lực tạo và chỉnh sửa trực tiếp từ khu vực admin.
dễ dàng đi đến menu SEO » Tools và chọn File Editor
Ngay sau đó Yoast SEO sẽ hiển thị file robots.txt bạn vừa mới có.
Nếu k có file robots.txt. Yoast SEO sẽ tạo giúp bạn bằng nhấn vào nút dưới đây.
Mặc định thì file robots.txt được Yoast SEO tạo có cấu trúc như sau.
1 | User-agent: * |
2 | Disallow: / |
note: Với cấu trúc như này thì toàn bộ các công cụ kiếm tìm sẽ bị chặn và không thể thu thập nội dung trên website bạn được.
Tốt nhất là nên dùng cấu trúc Diều Hâu khuyên sử dụng ở trên nhé các bạn, hoặc tự tạo cho riêng mình. Và nhớ lưu lại nhé.
Phương pháp 2: Tạo file robots.txt bằng cách thủ công dùng FTP
Với cách thức này bạn cần sử dụng FTP client để chỉnh sửa file trên VPS hoặc nếu bạn dùng host có Cpanel đủ nội lực vào File Manager để chỉnh sửa.
Truy cập vào thư mục chính trên WordPress bằng FTP và edit trực tiếp giống như dưới đây.
Nếu bạn không thấy file robots.txt nào, hãy tạo bằng cách chuột phải và creat new file.
File robots.txt dễ dàng chỉ là một file text bạn có thể download nó về edit bằng notepad, notepad++ hoặc phần mềm tương tự, save lại và upload lên lại host là được.
Làm sao để kiếm tra file robots.txt
Có khá nhiều cách nhưng tôi khuyên bạn nên sử dụng phương pháp sau.
Đó là truy cập Google tìm kiếm Console chuyển sang version cũ.
Và nó sẽ trở lại giao diện quan thuộc ngày xưa của Google Webmaster Tools.
Chuyển sang phần Crawl » robots.txt tester
tool này sẽ tự động tra cứu và tìm ra các lỗi có trên file robots.txt của bạn sau đó đưa ra cảnh báo.
Kết luận giải
mục đích cuối cùng khi tăng cao file robots.txt đó là cho phép tool search crawl những thứ thực sự cần thiết trên website bạn và disallow một số page không quan trọng như admin, plugins, theme.
Hãy tự tăng cao và chọn những gì quan trọng trên website của bạn.
Tôi hy vọng post này giúp bạn hiểu file robots.txt là gì và mẹo tạo file robots.txt tăng cao cho SEO.
Đừng quên đọc hướng dẫn cơ bản về SEO của tôi và công cụ SEO tốt nhất sẽ khiến bạn hiểu hơn về SEO.
Nếu có bất kỳ thắc mắc hoặc câu hỏi hãy bình luận ở dưới nhé !
nguồn: dieuhau.com