구글 검색을 해보자 ! 

 ● 구글에서 제공하는 고급 검색 기능



 - site
 특정 사이트만을 집중적으로 선정해서 검색할 때 유용.

☞ site:wishfree.com admin

 - filetype
 특정 파일 유형에 대해 검색할 때 사용.

☞ filetype:txt 그림


- intitle
 디렉터리 리스팅 사이트 검색

☞ intitle:index.of hello


 ● 검색엔진을 피하는 방법

 웹 서버의 홈 디렉터리에 robots.txt 파일을 만들어 검색할 수 없게 만든다.

 - robots.txt 파일 내용 구성하기

  · 파일 내용의 형식은 매우 간단하고 두 개의 필드로 구성이 가능
  · User-agent (검색 엔진의 검색을 막는다.)
  · Disallow (특정 파일이나 디렉터리를 로봇이 검색하지 못하게 한다.)

 ex) 

 User-agent: googlebot
 ☞ 구글 검색 엔진의 검색을 막는다.

 User-agent: *
 ☞ 모든 검색 로봇의 검색을 막는다.

 Disallow: dbconn.ini
 ☞ dbnonn.ini 파일을 검색하지 못하게 한다.

 Disallow: /admin/
 ☞ admin 디렉터리에 접근하지 못하게 한다.

 

미국 백악관의 robot.txt 파일

 - http://www.whitehouse.gov/robots.txt

+ Recent posts