[cPanel] robots.txt
1. 모든 검색 엔진 접속 허용
User-agent: *
Disallow:
2. 특정 폴더 접속 차단
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/
3. 모든 폴더 접속 차단
User-agent: *
Disallow: /
4. Googlebot이 특정 형식(예: .gif)의 파일을 검색 차단
User-Agent: Googlebot
Disallow: /*.gif$
* 참고
disallow: 와 allow: / 는 동일(모두 허용)
allow: 와 disallow: / 는 동일(모두 거부)