로보트 파일(robots.txt)란 웹사이트의 루트 디렉토리에 위치한 텍스트 형식의 파일로 그 내용은 웹크롤러(구글봇)에게 사이트 내에서 어떤 페이지나 콘텐츠를 크롤링 할 수 있는지 어떤 페이지는 크롤링 해서는 안되는지 규칙을 정하는 역할을 한다. 이때 이 규칙은 보편적인 웹크롤러는 지키는데 굳이 지키않아도 되고 필수는 아니다.
여기서 웹크롤러란?
크롤링(crawling)은 인터넷에 있는 웹페이지나 사이트를 자동으로 방문하여 정보를 수집하는 과정을 말합니다. 보통 웹 크롤러 또는 웹 봇이라 불리는 프로그램이 웹사이트를 탐색하면서 데이터를 모으는 작업을 하고 그 데이터를 db에 저장해서
검색 엔진에 검색을 할 때 연관 검색어를 출력해준다
