Robots.txt là một tập tin văn bản , trong đó có vài dòng mã đơn giản. Nó được lưu trữ trên các trang web hoặc máy chủ của blog đó hướng dẫn các trình thu thập web thế nào để chỉ số và thu thập thông tin blog của bạn trong các kết quả tìm kiếm. Điều đó có nghĩa bạn có thể hạn chế bất kỳ trang web trên blog của bạn từ trình thu thập web để nó không thể được lập chỉ mục trong công cụ tìm kiếm như trang blog của bạn nhãn, trang giới thiệu của bạn hoặc bất kỳ trang nào khác mà không phải là quan trọng để có được lập chỉ mục. Luôn luôn nhớ rằng trình thu thập tìm kiếm quét các tập tin robots.txt trước khi bò bất kỳ trang web.

Mỗi blog lưu trữ trên blogger có tập tin robots.txt mặc định của nó là một cái gì đó giống như thế này:

User-agent: Mediapartners-Google 

Không cho phép: 

User-agent: * 

Disallow: / tìm kiếm 

Cho phép: / 

Sơ đồ: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Giải thích

Mã này được chia thành ba phần. Hãy nghiên cứu đầu tiên của mỗi người trong số họ sau đó chúng ta sẽ học cách để thêm tập tin robots.txt tùy chỉnh trong blog blogspot.

User-agent: Media Partners Google

Mã này là cho robot Google Adsense mà giúp họ để phục vụ quảng cáo tốt hơn trên blog của bạn. Hoặc là bạn đang sử dụng Google Adsense trên blog của bạn hay không chỉ đơn giản là để nó như nó là.

User-agent: *

Này là dành cho tất cả các robot được đánh dấu bằng dấu hoa thị ( * ). Trong các thiết lập mặc định blog của chúng tôi của nhãn liên kết được giới hạn trong lập chỉ mục bởi trình thu thập tìm kiếm có nghĩa là các trình thu thập web sẽ không chỉ mục nhãn của chúng tôi trang liên kết vì mã dưới đây.

Không cho phép: / tìm kiếm

Điều đó có nghĩa các liên kết có từ khóa tìm kiếm chỉ sau lĩnh vực tên sẽ bị bỏ qua. Xem ví dụ dưới đây là một liên kết của trang nhãn có tên là SEO .

http://www.lutip.com/search/label/SEO

Và nếu chúng ta loại bỏ Disallow: / tìm kiếm  từ các mã trên sau đó thu thập sẽ truy cập vào toàn bộ blog của chúng tôi đến chỉ số và thu thập thông tin tất cả các nội dung của nó và các trang web.

Đây Cho phép: /  đề cập đến chủ có nghĩa là trình thu thập web có thể thu thập thông tin và chỉ số trang chủ blog của chúng tôi.

Không cho phép đặc biệt cuối

Bây giờ giả sử nếu chúng ta muốn loại trừ một đặc biệt bài từ lập chỉ mục sau đó chúng ta có thể thêm vào bên dưới dòng trong code.

Không cho phép: / yyyy / mm / sau url.html

Đây yyyy  và mm  đề cập đến năm xuất bản và tháng của bài viết tương ứng. Ví dụ, nếu chúng tôi đã xuất bản một bài viết trong năm 2013 trong tháng Ba thì chúng ta phải sử dụng dưới định dạng.

Không cho phép: / 2013/03/post-url.html

Để thực hiện nhiệm vụ này dễ dàng, bạn chỉ có thể sao chép URL bài và loại bỏ các tên blog từ đầu.

Không cho phép đặc biệt trang

Nếu chúng ta cần không cho phép một đặc biệt trang sau đó chúng ta có thể sử dụng phương pháp tương tự như trên. Đơn giản chỉ cần sao chép địa chỉ URL và loại bỏ địa chỉ blog của nó mà một cái gì đó sẽ như thế này:

Không cho phép: / p / trang-url.html

Sơ đồ: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Mã này dùng để chỉ đồ của blog của chúng tôi. Bằng cách thêm đồ liên kết ở đây chúng tôi chỉ đơn giản là tối ưu hóa tỷ lệ bò blog của chúng tôi. Có nghĩa là bất cứ khi nào các trình thu thập web quét tập tin robots.txt của chúng tôi họ sẽ tìm thấy một con đường để chúng tôi sơ đồ trang web nơi mà tất cả các liên kết của bài viết xuất bản của chúng tôi hiện nay. Trình thu thập web sẽ tìm thấy nó dễ dàng để thu thập thông tin tất cả các bài viết của chúng tôi. Do đó, có những cơ hội tốt hơn mà trình thu thập web thu thập thông tin tất cả các bài viết blog của chúng tôi mà không bỏ qua một duy nhất. Lưu ý: đồ này sẽ chỉ cho các trình thu thập web về 25 bài viết gần đây. Nếu bạn muốn tăng số lượng các liên kết trong sơ đồ trang web của bạn sau đó thay thế đồ mặc định với dưới một. Nó sẽ làm việc cho lần đầu tiên 500 bài viết gần đây

 - Sơ đồ: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Nếu bạn có nhiều hơn 500 bài viết được công bố trên blog của bạn thì bạn có thể sử dụng hai sơ đô web như dưới đây:

- Sơ đồ: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 

- Sơ đồ: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max -kết quả = 1000

Bây giờ là phần chính của hướng dẫn này là làm thế nào để thêm robots.txt tùy chỉnh trong blogger. Vì vậy, dưới đây là các bước để thêm nó.

 1. Đi vào blog blogger của bạn.

 2. Điều hướng đến Cài đặt >>  Tìm kiếm Tuỳ chọn >> Crawlers và lập chỉ mục >> Tuỳ chỉnh robots.txt >> Edit >> Có

 3. Bây giờ dán mã tập tin robots.txt của bạn trong hộp.

 4. Click vào nút Save Changes.

 5. Bạn đã làm xong!

Bạn có thể kiểm tra tập tin này trên blog của bạn bằng cách thêm / robots.txt  cuối cùng để URL blog của bạn trong trình duyệt. Hãy xem ví dụ dưới đây cho bản demo.

   http://www.lutip.com/robots.txt

Một khi bạn truy cập vào URL tập tin robots.txt, bạn sẽ thấy toàn bộ mã mà bạn đang sử dụng trong tập tin robots.txt tùy chỉnh của bạn. Xem hình ảnh dưới đây.

Đây là hướng dẫn đầy đủ của ngày hôm nay làm thế nào để thêm tập tin robots.txt tùy chỉnh trong blogger. Tôi thực sự cố gắng bằng cả trái tim của tôi để làm hướng dẫn này đơn giản và nhiều thông tin càng tốt. Nhưng vẫn còn nếu bạn có bất kỳ nghi ngờ hoặc truy vấn sau đó cảm thấy tự do để hỏi tôi. Không đặt bất kỳ mã trong các thiết lập robots.txt tùy chỉnh của bạn mà không biết về nó. Chỉ đơn giản là yêu cầu tôi để giải quyết các truy vấn của bạn. Tôi sẽ cho bạn biết tất cả mọi thứ một cách chi tiết. Thanks bạn để đọc hướng dẫn này. Nếu bạn thích nó thì xin vui lòng hỗ trợ tôi để truyền bá lời của tôi bằng cách chia sẻ bài viết này trên phương tiện truyền thông xã hội của bạn cấu hình. Hạnh phúc blog!