잠시만 기다려 주세요

     '대한민국이 더이상 발전하지 못하는 것은 부패한 언론들의 쓰레기짓 때문이다.'
전체검색 :  
HOME   |  여기는?   |  바다물때표   |  알림 (11)  |  여러가지 팁 (998)  |  추천 및 재미 (135)  |  자료실 (22)  |  
시사, 이슈, 칼럼, 평론 (196)  |  끄적거림 (82)  |  문예 창작 (602)  |  바람 따라 (64)  |  시나리오 (760)  |  드라마 대본 (248)  |  

    html/css/xml

html/css/xml - robots.txt, 사이트 검색 로봇 설정...
이 름 : 바다아이   |   조회수 : 1604         짧은 주소 : https://www.bada-ie.com/su/?621613224433

의무적이지는 않습니다. 다만 서로 업체들끼리 상도덕이라 보시면 됩니다.
원치않는 크롤링을 방지할 수 있습니다.

공백조심하시고 (공백 잘 보세요.. 있는 곳과 없는 곳.. 중요합니다.)
/ 슬래시 주의 하시고요.. 위에부터 순차적 해석입니다.
주석은 # 입니다. // 요거 아닙니다.


예제>

1. 사이트내에 모든 문서를 모든 로봇에게 접근 허용

 User-agent: *    <-모든 봇

 Allow: /           <- 모든 문서 허용

 

2. 사이트내에 모든 문서 모든 봇 차단

 User-agent: *   <--모든 봇

 Disallow: /           <--모든 문서 차단

 

3. 특정봇, 특정 폴더, 파일에 대한 차단

User-agent: *     <--모든 봇
Disallow: /owner/   <--특정폴더 차단
Disallow: /admin/
Disallow: /oldadmin/
Disallow: /search/searh.jsp   <--특정파일 차단
Disallow: /m/search/
Disallow: /m/admin/
Allow: /                  <--위에서 차단한 폴더, 문서를 제외한 모든 문서 허용

User-agent: Mediapartners-Google    <--특정 봇에 대하여
Allow: /                                        <-- 모든 문서 허용


출처: https://devlinker.tistory.com/4 [Devlinker -Software Developer]



아래는 나무위키에서 퍼왔네요...


반드시 폴더명 맨 끝에 / 를 붙여야 한다.
붙이지 않으면 확장자가 없는 파일로 인식하기 때문에 제대로 작동하지 않는다.

특정 디렉토리의 접근을 허가하려면

User-agent: 제어할 로봇의 User-Agent
Allow: /foo/bar/

특정 디렉토리의 접근을 차단하려면

User-agent: 제어할 로봇의 User-Agent
Disallow: /foo/bar/

모든 문서에 대해 접근을 허가하려면 (사실상 의미는 없다.)

User-agent: *
Allow: /

모든 문서에 대해 접근을 차단하려면

User-agent: *
Disallow: /

모든 문서에 대해 접근을 차단하고, 첫 페이지에 대해서만 허가

User-agent: *
Disallow: /
Allow: /$


나무위키 예제..

User-agent: *
Disallow: /
Allow: /$
Allow: /ads.txt
Allow: /w/
Allow: /backlink/
Allow: /OrphanedPages
Allow: /UncategorizedPages
Allow: /ShortestPages
Allow: /LongestPages
Allow: /RecentChanges
Allow: /RecentDiscuss
Allow: /js/
Allow: /img/
Allow: /css/
Allow: /skins/
Allow: /favicon.ico
Allow: /_nuxt/
 
| |


      1 page / 2 page
번 호 카테고리 제 목 이름 조회수
47 html/css/xml ckeditor 소스보기 누르면 css 날아가는 현상,,, 문제.. ckeditor 소스보기 문제 바다아이 372
46 html/css/xml ckeditor font size 설정하기, ckeditor 기본 폰트 크기 설정, ckeditor 줄바꿈 <br>, width height 설정. 바다아이 1048
현재글 html/css/xml robots.txt, 사이트 검색 로봇 설정... 바다아이 1605
44 html/css/xml CSS / letter-spacing, word-spacing / 글자 사이 간격, 단어 사이 간격, 자간 바다아이 2567
43 html/css/xml ie 인터넷 익스플로러 폰트 적용 문제, 인터넷 익스플로러 나눔폰트 적용... 바다아이 2687
42 html/css/xml html 에서 탭 tab 키 사용하기, 표현하기.... 바다아이 4381
41 html/css/xml css 전원 스위치 on/off 버튼, toggle switch 버튼, 토글스위치 바다아이 4650
40 html/css/xml pt, px, em, %, font 폰트 글꼴의 단위에 따른 크기 사이즈 비교표, 폰트 크기, 글씨 크기 바다아이 4513
39 html/css/xml 폰트 글꼴(font face) 목록 바다아이 4785
38 html/css/xml 고정 레이어 예제.... 바다아이 5009
37 html/css/xml html 문서 MIME 타입 확인... 바다아이 5491
36 html/css/xml ckeditor ajax 통신시 본문값이 빈값으로 들어가는 문제.... 바다아이 5116
35 html/css/xml [정규표현식] 정규표현식 정리, 정규식 바다아이 5883
34 html/css/xml 홈페이지, 사이트 주소 앞에 아이콘, 주소창 작은 아이콘, ico 파일 바다아이 4946
33 html/css/xml 브라우저 input 태그의 자동완성 기능 해제하기, 끄기 autocomplete 바다아이 5246
32 html/css/xml [CSS] 테두리 및 외곽선을 둥글게 표현하기, border-radius, 라운드 바다아이 5814
31 html/css/xml ckeditor 4 메뉴 툴바 도구 선택... 바다아이 6803
30 html/css/xml HTTP/2 왜 지금 적용해야 하는가? 바다아이 7630
29 html/css/xml HTTP/2란 무엇인가? 바다아이 5318
28 html/css/xml 사이트맵 xml 예제.... sitemap.xml 바다아이 5365
27 html/css/xml ckeditor config.js 설정 기본값.... 바다아이 5863
26 html/css/xml 이미지 없을 때 엑스박 대신 다른 이미지 보여주기 바다아이 5562
25 html/css/xml 레이어 팝업 소스 바다아이 5316
24 html/css/xml 테이블, 이미지 테두리관련 border 스타일 바다아이 5240
23 html/css/xml 테이블 깨짐, 깨지는 것 방지 바다아이 5497
22 html/css/xml 특수문자 코드표 (=특수문자 HTML 엔티티 코드), entity code 바다아이 6155
21 html/css/xml 원화(Won;￦) 대신 백슬래시(＼;Backslash; 백슬래쉬)로 나타내기, 역슬래시, 역슬래쉬 바다아이 6909
20 html/css/xml 특수문자 리스트 바다아이 5530
19 html/css/xml 블로그/웹에서 소스코드 하이라이트/구문강조 사용하기 바다아이 5987
18 html/css/xml css3 버튼 모음... demo 입니다. 참고만 하시고 적당히 변경 후 사용 ^^; 바다아이 5187
1
2
| |








Copyright ⓒ 2001.12. bada-ie.com. All rights reserved.
이 사이트는 리눅스에서 firefox 기준으로 작성되었습니다. 기타 브라우저에서는 다르게 보일 수 있습니다.
[ Ubuntu + GoLang + PostgreSQL ]
서버위치 : 오라클 클라우드 춘천  실행시간 : 0.09593 초
to webmaster... gogo sea. gogo sea.