[cPanel] robots.txt

8월 2, 2017

1. 모든 검색 엔진 접속 허용

User-agent: *

Disallow:

2. 특정 폴더 접속 차단

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~name/

3. 모든 폴더 접속 차단

User-agent: *

Disallow: /

4. Googlebot이 특정 형식(예: .gif)의 파일을 검색 차단

User-Agent: Googlebot

Disallow: /*.gif$

* 참고

disallow: 와 allow: / 는 동일(모두 허용)

allow: 와 disallow: / 는 동일(모두 거부)