잠시만 기다려 주세요

전체검색 :  
HOME   |  여기는?   |  바다물때표   |  알림 (4)  |  여러가지 팁 (916)  |  추천 및 재미 (163)  |  자료실 (20)  |  끄적거림 (555)  |  시나리오 (760)  |  드라마 대본 (248)  |  

    html/css/xml

html/css/xml - robots.txt, 사이트 검색 로봇 설정...
이 름 : 바다아이   |   조회수 : 47         짧은 주소 : https://www.bada-ie.com/su/?621613224433

의무적이지는 않습니다. 다만 서로 업체들끼리 상도덕이라 보시면 됩니다.
원치않는 크롤링을 방지할 수 있습니다.

공백조심하시고 (공백 잘 보세요.. 있는 곳과 없는 곳.. 중요합니다.)
/ 슬래시 주의 하시고요.. 위에부터 순차적 해석입니다.
주석은 # 입니다. // 요거 아닙니다.


예제>

1. 사이트내에 모든 문서를 모든 로봇에게 접근 허용

 User-agent: *    <-모든 봇

 Allow: /           <- 모든 문서 허용

 

2. 사이트내에 모든 문서 모든 봇 차단

 User-agent: *   <--모든 봇

 Disallow: /           <--모든 문서 차단

 

3. 특정봇, 특정 폴더, 파일에 대한 차단

User-agent: *     <--모든 봇
Disallow: /owner/   <--특정폴더 차단
Disallow: /admin/
Disallow: /oldadmin/
Disallow: /search/searh.jsp   <--특정파일 차단
Disallow: /m/search/
Disallow: /m/admin/
Allow: /                  <--위에서 차단한 폴더, 문서를 제외한 모든 문서 허용

User-agent: Mediapartners-Google    <--특정 봇에 대하여
Allow: /                                        <-- 모든 문서 허용



출처: https://devlinker.tistory.com/4 [Devlinker -Software Developer]



아래는 나무위키에서 퍼왔네요...


반드시 폴더명 맨 끝에 / 를 붙여야 한다.
붙이지 않으면 확장자가 없는 파일로 인식하기 때문에 제대로 작동하지 않는다.

특정 디렉토리의 접근을 허가하려면

User-agent: 제어할 로봇의 User-Agent
Allow: /foo/bar/


특정 디렉토리의 접근을 차단하려면

User-agent: 제어할 로봇의 User-Agent
Disallow: /foo/bar/


모든 문서에 대해 접근을 허가하려면 (사실상 의미는 없다.)

User-agent: *
Allow: /


모든 문서에 대해 접근을 차단하려면

User-agent: *
Disallow: /


모든 문서에 대해 접근을 차단하고, 첫 페이지에 대해서만 허가

User-agent: *
Disallow: /
Allow: /$



나무위키 예제..

User-agent: *
Disallow: /
Allow: /$
Allow: /ads.txt
Allow: /w/
Allow: /backlink/
Allow: /OrphanedPages
Allow: /UncategorizedPages
Allow: /ShortestPages
Allow: /LongestPages
Allow: /RecentChanges
Allow: /RecentDiscuss
Allow: /js/
Allow: /img/
Allow: /css/
Allow: /skins/
Allow: /favicon.ico
Allow: /_nuxt/
 
| |


      1 page / 2 page
번 호 카테고리 제 목 이름 조회수
현재글 html/css/xml robots.txt, ... 바다아이 48
44 html/css/xml CSS / letter-spacing, word-spacing / , , 바다아이 816
43 html/css/xml ie , ... 바다아이 810
42 html/css/xml html tab , .... 바다아이 2294
41 html/css/xml css on/off , toggle switch , 바다아이 2580
40 html/css/xml pt, px, em, %, font , , 바다아이 2601
39 html/css/xml (font face) 바다아이 2863
38 html/css/xml .... 바다아이 3067
37 html/css/xml html MIME ... 바다아이 3277
36 html/css/xml ckeditor ajax .... 바다아이 3077
35 html/css/xml [] , 바다아이 3318
34 html/css/xml , , , ico 바다아이 3005
33 html/css/xml input , autocomplete 바다아이 3188
32 html/css/xml [CSS] , border-radius, 바다아이 3645
31 html/css/xml ckeditor 4 ... 바다아이 4436
30 html/css/xml HTTP/2 ? 바다아이 4303
29 html/css/xml HTTP/2 ? 바다아이 3446
28 html/css/xml xml .... sitemap.xml 바다아이 3573
27 html/css/xml ckeditor config.js .... 바다아이 3901
26 html/css/xml 바다아이 3753
25 html/css/xml 바다아이 3509
24 html/css/xml , border 바다아이 3447
23 html/css/xml , 바다아이 3532
22 html/css/xml (= HTML ), entity code 바다아이 4271
21 html/css/xml (Won;) (;Backslash; ) , , 바다아이 4414
20 html/css/xml 바다아이 3671
19 html/css/xml / / 바다아이 3999
18 html/css/xml css3 ... demo . ^^; 바다아이 3433
17 html/css/xml mouse over , Hover Fade Effect using CSS 바다아이 5404
16 html/css/xml [html] TD TR , mouse over 바다아이 3987
| |








Copyright ⓒ 2001.12. bada-ie.com. All rights reserved.
이 사이트는 리눅스에서 firefox 기준으로 작성되었습니다. 기타 브라우저에서는 다르게 보일 수 있습니다.
[ Ubuntu + GoLang + PostgreSQL ]
서버위치 : 오라클 클라우드 춘천  실행시간 : 0.03448
to webmaster... gogo sea. gogo sea.