Kiểm tra robots.txt của bạn với Trình kiểm tra robots.txt

Related Articles

Cách dùng GetRespone mới nhất làm Email Marketing

Tháng Bảy 11, 2021

Cách lấy link facebook của mình mới nhất

Tháng Bảy 3, 2021

Cách tạo ra một mẫu video giới thiệu phim ngắn bằng InVideo

Tháng Sáu 30, 2021

Công cụ Trình kiểm tra robots.txt cho biết tệp robots.txt của bạn có chặn trình thu thập dữ liệu web của Google từ các URL cụ thể trên trang web của bạn hay không. Ví dụ, bạn có thể sử dụng công cụ này để kiểm tra xem trình thu thập dữ liệu Googlebot-Image có thể thu thập dữ liệu URL của một hình ảnh bạn muốn chặn từ Google Tìm kiếm hình ảnh hay không.

Bạn có thể gửi URL đến công cụ Trình kiểm tra robots.txt. Công cụ này hoạt động như Googlebot để kiểm tra tệp robots.txt của bạn và xác minh rằng URL của bạn đã bị ch
ặn đúng cách.

Kiểm tra tệp robots.txt của bạn

1. Mở công cụ trình kiểm tra cho trang web của bạn và cuộn qua mã robots.txt để xác định vị trí các cảnh báo cú pháp và lỗi logic được đánh dấu. Số các cảnh báo cú pháp và lỗi logic được hiển thị ngay lập tức bên dưới trình chỉnh sửa.
2. Nhập URL của một trang trên trang web của bạn vào hộp văn bản ở cuối trang.
3. Chọn tác nhân người dùng bạn muốn mô phỏng trong danh sách thả xuống ở bên phải hộp văn bản.
4. Nhấp vào nút KIỂM TRA để kiểm tra quyền truy cập.
5. Kiểm tra xem nút KIỂM TRA giờ hiển thị ĐƯỢC CHẤP NHẬN hay BỊ CHẶN để tìm hiểu xem URL bạn nhập vào có bị chặn khỏi trình thu thập dữ liệu web của Google hay không.
6. Chỉnh sửa tệp trên trang và kiểm tra lại khi cần thiết. Lưu ý rằng những thay đổi được thực hiện trên trang sẽ không được lưu vào trang web của bạn! Xem bước tiếp theo.
7. Sao chép các thay đổi của bạn vào tệp robots.txt trên trang web của bạn. Công cụ này không làm thay đổi tệp thực tế trên trang web của bạn, nó chỉ kiểm tra bản sao được lưu trữ trong công cụ.