잠시만 기다려 주세요

     '대통령을 욕하는 것은 민주사회에서 주권을 가진 시민의 당연한 권리입니다. 대통령을 욕하는 것으로 주권자가 스트레스를 해소할 수 있다면 저는 기쁜 마음으로 들을 수 있습니다. - 노무현 -'
전체검색 :  
이번주 로또 및 연금번호 발생!!   |  HOME   |  여기는?   |  바다물때표   |  알림 (19)  |  여러가지 팁 (1095)  |  추천 및 재미 (163)  |  자료실 (28)  |  
시사, 이슈, 칼럼, 평론, 비평 (796)  |  끄적거림 (142)  |  문예 창작 (719)  |  바람 따라 (75)  |  시나리오 (760)  |  드라마 대본 (248)  |  
살인!


    html/css/xml

html/css/xml - robots.txt, 사이트 검색 로봇 설정...
이 름 : 바다아이   |   조회수 : 8470         짧은 주소 : https://www.bada-ie.com/su/?621613224433

의무적이지는 않습니다. 다만 서로 업체들끼리 상도덕이라 보시면 됩니다.
원치않는 크롤링을 방지할 수 있습니다.

공백조심하시고 (공백 잘 보세요.. 있는 곳과 없는 곳.. 중요합니다.)
/ 슬래시 주의 하시고요.. 위에부터 순차적 해석입니다.
주석은 # 입니다. // 요거 아닙니다.


예제>

1. 사이트내에 모든 문서를 모든 로봇에게 접근 허용

 User-agent: *    <-모든 봇

 Allow: /           <- 모든 문서 허용

 

2. 사이트내에 모든 문서 모든 봇 차단

 User-agent: *   <--모든 봇

 Disallow: /           <--모든 문서 차단

 

3. 특정봇, 특정 폴더, 파일에 대한 차단

User-agent: *     <--모든 봇
Disallow: /owner/   <--특정폴더 차단
Disallow: /admin/
Disallow: /oldadmin/
Disallow: /search/searh.jsp   <--특정파일 차단
Disallow: /m/search/
Disallow: /m/admin/
Allow: /                  <--위에서 차단한 폴더, 문서를 제외한 모든 문서 허용

User-agent: Mediapartners-Google    <--특정 봇에 대하여
Allow: /                                        <-- 모든 문서 허용



출처: https://devlinker.tistory.com/4 [Devlinker -Software Developer]



아래는 나무위키에서 퍼왔네요...


반드시 폴더명 맨 끝에 / 를 붙여야 한다.
붙이지 않으면 확장자가 없는 파일로 인식하기 때문에 제대로 작동하지 않는다.

특정 디렉토리의 접근을 허가하려면

User-agent: 제어할 로봇의 User-Agent
Allow: /foo/bar/


특정 디렉토리의 접근을 차단하려면

User-agent: 제어할 로봇의 User-Agent
Disallow: /foo/bar/


모든 문서에 대해 접근을 허가하려면 (사실상 의미는 없다.)

User-agent: *
Allow: /


모든 문서에 대해 접근을 차단하려면

User-agent: *
Disallow: /


모든 문서에 대해 접근을 차단하고, 첫 페이지에 대해서만 허가

User-agent: *
Disallow: /
Allow: /$



나무위키 예제..

User-agent: *
Disallow: /
Allow: /$
Allow: /ads.txt
Allow: /w/
Allow: /backlink/
Allow: /OrphanedPages
Allow: /UncategorizedPages
Allow: /ShortestPages
Allow: /LongestPages
Allow: /RecentChanges
Allow: /RecentDiscuss
Allow: /js/
Allow: /img/
Allow: /css/
Allow: /skins/
Allow: /favicon.ico
Allow: /_nuxt/
 
| |





      1 page / 2 page
번 호 카테고리 제 목 이름 조회수
48 html/css/xml ... 바다아이 3562
47 html/css/xml ckeditor css ,,, .. ckeditor 바다아이 4740
46 html/css/xml ckeditor font size , ckeditor , ckeditor <br>, width height . 바다아이 5985
현재글 html/css/xml robots.txt, ... 바다아이 8471
44 html/css/xml CSS / letter-spacing, word-spacing / , , 바다아이 8165
43 html/css/xml ie , ... 바다아이 7920
42 html/css/xml html tab , .... 바다아이 14945
41 html/css/xml css on/off , toggle switch , 바다아이 9997
40 html/css/xml pt, px, em, %, font , , 바다아이 9909
39 html/css/xml (font face) 바다아이 9993
38 html/css/xml .... 바다아이 9963
37 html/css/xml html MIME ... 바다아이 14145
36 html/css/xml ckeditor ajax .... 바다아이 10501
35 html/css/xml [] , 바다아이 14286
34 html/css/xml , , , ico 바다아이 9893
33 html/css/xml input , autocomplete 바다아이 10673
32 html/css/xml [CSS] , border-radius, 바다아이 11637
31 html/css/xml ckeditor 4 ... 바다아이 12204
30 html/css/xml HTTP/2 ? 바다아이 19617
29 html/css/xml HTTP/2 ? 바다아이 10377
28 html/css/xml xml .... sitemap.xml 바다아이 10371
27 html/css/xml ckeditor config.js .... 바다아이 11473
26 html/css/xml 바다아이 11225
25 html/css/xml 바다아이 10178
24 html/css/xml , border 바다아이 10607
23 html/css/xml , 바다아이 11040
22 html/css/xml (= HTML ), entity code 바다아이 11393
21 html/css/xml (Won;) (;Backslash; ) , , 바다아이 16068
20 html/css/xml 바다아이 10823
19 html/css/xml / / 바다아이 11429
| |









Copyright ⓒ 2001.12. bada-ie.com. All rights reserved.
이 사이트는 리눅스에서 firefox 기준으로 작성되었습니다. 기타 브라우저에서는 다르게 보일 수 있습니다.
[ Ubuntu + GoLang + PostgreSQL + Mariadb ]
서버위치 : 오라클 클라우드 춘천  실행시간 : 0.08061
to webmaster... gogo sea. gogo sea.