Robots.txt

Robots.txt는 일반적으로 모든 웹사이트의 루트에 배치되는 파일입니다. 크롤러가 웹사이트에 대한 접근을 허용할지 금지할지 결정합니다.

예를 들어, 사이트 관리자는 일반적으로 다른 검색 엔진에서 해당 파일이 색인화되는 것을 방지하기 위해 크롤러가 특정 폴더(및 그 안에 포함된 모든 파일)를 방문하거나 특정 파일을 크롤링하는 것을 금지할 수 있습니다.