Google vẫn vẫn thấy các trang website bị chặn vày _robots.txt_ với thậm chí hoàn toàn có thể liệt kê bọn chúng trong hiệu quả tìm kiếm.
Bạn đang xem: Không có mô tả cho kết quả này do robots.txt của trang web này
Điều này đặc trưng xảy ra khi toàn bộ tên miền/tên miền phụ bị chặn. Google sẽ liệt kê những liên kết đến các liên kết này với văn bạn dạng biểu đạt cho kết quả này không khả dụng bởi robot.txt của website này - bài viết liên quan với liên kết đến https://support.google.com/webmasters đá/156449 .
Họ nói với chúng tôi rằng trong những khi sẽ không thu thập dữ liệu hoặc lập chỉ mục nội dung của các trang bị chặn bởi vì _robots.txt_, bọn họ vẫn hoàn toàn có thể lập chỉ mục các URL nếu cửa hàng chúng tôi tìm thấy link đến chúng ở chỗ khác. Chúng ta cũng chỉ dẫn lời khuyên có ích này:
Để ngăn chặn trọn vẹn nội dung của một trang được liệt kê vào chỉ mục web của Google trong cả khi những trang web khác link với nó, hãy áp dụng thẻ meta noindex hoặc x-robot-tag . Miễn sao Googlebot cài đặt trang, nó đang thấy thẻ meta noindex và ngăn trang đó hiển thị vào chỉ mục web. Title HTTP thẻ x-robot đặc biệt quan trọng hữu ích nếu bạn có nhu cầu giới hạn lập chỉ mục các tệp không hẳn HTML như đồ họa hoặc những loại tư liệu khác.
Vì vậy, nếu bạn đích thực ko muốn các trang của chính bản thân mình được lập chỉ mục thì hãy bảo đảm sử dụng thẻ META hoặc title HTTP. Tôi đang tìm thấy đặc biệt hữu ích mang đến các quanh vùng quản trị và bảng điều khiển phụ trợ khi tôi thiếu tín nhiệm tưởng _Disallow: /admin_ là đầy đủ tốt.
3
Google không bỏ qua robots.txt. Nếu bạn thấy Googlebot đang tích lũy dữ liệu một sản phẩm công nghệ chặn do robots.txt bạn nên báo cáo cho Google trong diễn bầy sản phẩm "thu thập dữ liệu, lập chỉ mục và xếp hạng" của họ .
Xem thêm: Hợp Âm Xây Nhà Bên Suối & Túp Lều Lý Tưởng, Liên Khúc Xây Nhà Bên Suối
Có một trong những trường hợp dường như như Googlebot không tuân theo robots.txt:
Tệp robots.txt được cập nhật cách đây không lâu - Googlebot chỉ có thể tìm hấp thụ nó một đợt một ngày.Một trang được liệt kê trong tác dụng tìm kiếm trong cả khi bị chặn - Google hoàn toàn có thể liệt kê các trang phía bên trong robots.txt lúc có một số liên kết phía bên ngoài đến chúng. Khi điều đó xảy ra, Googlebot không thu thập dữ liệu trang nhưng sử dụng tin tức của mặt thứ tía (chẳng hạn như văn phiên bản neo liên kết) để xác minh nội dung của trang.Mặc cho dù Google rất xuất sắc trong việc theo dõi robots.txt, mà lại không phải tất cả các trình tích lũy dữ liệu web hầu như thân thiện. Ko có gì quá xa lạ khi thấy những robot khác, kém lịch sự hơn, tích lũy dữ liệu các trang bị chặn.
robot.txt là hướng dẫn không bắt buộc. Google hay lập chỉ mục trang mà các bạn đã ngăn trong tệp robots.txt đặc trưng nếu bạn có những liên kết được trỏ mang đến trang bị chặn. Trong cả khi trang đó có thẻ noindex và các liên kết gồm thẻ nofollow.
MattCutt sẽ nói điều này trong video chính thức của bản thân mình và ông đã chỉ dẫn ví dụ về các trang web cơ quan chỉ đạo của chính phủ của Ebay với nhà trắng. Vài ba năm trước, họ sẽ chặn các công thay tìm kiếm nhưng do con số lớn yêu cầu Google phải thu thập dữ liệu với lập chỉ mục những trang web. Hiện thời nó là một trong những thực tế thông thường của google. Tôi nghĩ dưới đây là video tôi vẫn nói về. Http://www.mattcutts.com/blog/robots-txt-remove-url/
Nếu bạn muốn chặn Google thì nên thử .htaccess hoặc mật khẩu, v.v.
Cách đúng mực để ẩn những trang trả khỏi được hiển thị?
Có thể áp dụng url sơ đồ website tương đối trong tệp robots.txt không?
Phần mềm của bọn chúng tôi
Sức mạnh mẽ của chúng tôi
Robot.txt tốt là gì?
Toàn bộ website NoFollow
Lỗi 404
Có wordpress chèn auto phân tích google?
Danh mục Wordpress được hotline là "lưu trữ" trong những liên kết google. Làm nạm nào để các loại bỏ?
Làm giải pháp nào để giải quyết và xử lý vấn đề Robots.txt với thiết lập mới của WordPress?
Ngăn chặn nguyên tắc tìm tìm lập chỉ mục trang 2, 3 trở lên?
Hạn chế quyền truy vấn vào câu chữ kết hợp với kết nối facebook và đăng nhập google
làm câu hỏi với nhau
Sử dụng google graph api với wordpress
Câu hỏi về Robots.txt
Menu "Quyền riêng biệt tư" mang lại plugin "WP Robots Txt" ở đâu?
Máy khách nhằm bàn mang lại Google+ và Hangout
Lỗi kho tàng trữ với google chrome
Nghịch lý Sơ thứ trang web
Điều gì tạo ra "thông báo đưa hướng" trong tìm kiếm của Google?