목록크롤러 (1)

나를 위한 기록들

robots.txt ( 로봇 배제 표준 ) 란 무엇일까?

robots.txt 파일은 사이트의 루트에 위치하며 사이트에서 검색 엔진 크롤러가 액세스하는 것을 방지하기 위한 규약이다. 즉, 검색 로봇이 robots.txt 파일을 읽고 액세스 여부를 판단한다. 하지만 접근 방지를 설정했더라도 무시하고 접근할 수도 있다. 설정법 태그 사용사이트 루트( / ) 디렉토리에 robots.txt 생성 태그 사용 ... 태그를 넣어주면 된다. 참고로 tistory 는 META 태그를 이용해야 한다.Content에 값은 "INDEX", "NOINDEX", "FOLLOW", "NOFOLLOW" 가 있다. Content 값 설명 ALL 문서 수집, 링크된 문서 수집 0 INDEX 문서 수집 0 NOINDEX 문서 수집 X FOLLOW 링크된 문서 수집 O NOFOLLOW 링크된 문..
JS/크롤링 2017. 4. 22. 16:03
Prev 1 Next