검색 봇 수집 방지 소스

robots.txt  - 웹검색 로봇은 로봇배제기준을 따르고 있다. - 로봇이 자신의 홈페이지를 가져가지 못하게 하는 것으로서 특정 디렉토리에 robot.txt파일을 사용하는 것이다. - 자신이 사이트를 웹검색 결과에 검색되지 않게 하려면 . 아래처럼 작성해서 robot.txt로 저장 후 루트디렉토리에 올리면 된다. USER-agent : * Disallow : /image/ "*"은 모든 로봇들이 못들어오게 하는 것이고, "inktomi"라고 쓰면 로봇이 인덱스를 하지 않는다. Disallow 옵션은 특정 디렉토리를 지정하는 것으로 로봇이 접근하지 않도록 디렉토리를 지정  특정 봇에게만 검색되기를 원할 경우 User-agent : NaverBot Disallow : User-agent : * Disallow : / 네이버봇에게만 검색을 허용하고, 다른 봇에게는 루트아래 전부 검색 비허용 [출처] http://blog.naver.com/jaegals/30122454302