네이버서치어드바이저 티스토리 robots.txt가 존재하지 않습니다. 해결방법

'robots.txt 가 존재하지 않습니다.' 라는 오류가 발견되었을 때 해결 방법에 대해서 알아보겠습니다.

robots.txt 파일은 검색엔진으로 가져가는 로봇에게 사이트의 어떤 부분을 가져갈지와 가져가지 말아야할지 알려주는 파일입니다. 만약 robots.txt 파일이 없을 경우, 로봇은 그 사이트의 모든 정보를 가져가야하기 때문에 검색엔진 입장에서는 리소스가 많이 들기 때문에 좋은 현상은 아니겠죠?

 

네이버 서치어드바이저 웹마스터 도구 사용

아래 사이트는 네이버 서치어드바이저로 내 사이트를 네이버 검색엔진에 노출되도록 등록할 수 있는 페이지입니다.

 

https://searchadvisor.naver.com/

 

웹마스터 도구로 이동해서 검증 > rebots.txt 메뉴로 이동해보시면 내 사이트의 robots.txt 정보 확인이 가능합니다.

 

 

로봇은 내 사이트의 정보를 노출시키는 것에도 중요하지만, 사이트 보안과 개인정보 보호에도 도움이 됩니다.

 

robots.txt를 생성하는 방법도 있습니다. '모든 검색로봇' 으로 두고 '수집을 허용합니다.' 라고 한 뒤 생성된 파일을 다운로드 해줍니다.

 

기본 파일은 위와 같습니다. 모든 페이지를 허용해 두고, 티스토리의 경우 manage와 login 페이지는 Disallow(허용하지 않음) 상태로 만들어 줍니다.

 

이렇게 만들어진 robots.txt 파일을 티스토리에 적용해 보도록 하겠습니다.

티스토리 Manage 메뉴로 이동해서 꾸미기 > 스킨 편집 으로 들어가 줍니다.

 

html 편집 버튼을 클릭해 주세요

 

파일 업로드 탭으로 이동하신 뒤 '추가' 를 클릭해서 robots.txt 파일을 업로드 해줍니다.

 

네이버 서치어드바이저를 티스토리에 등록하기

티스토리에서 스킨 편집을 하시거나 새로운 스킨으로 덮어씌우게 되면 Meta 데이터도 날아가게되어서 네이버, 구글 등의 검색엔진에서 사이트를 식별할 수 있는 코드가 날아갑니다. 이것을 고정시키는 방법이 있어서 알려드리도록 하겠습니다.

 

 

티스토리 관리자에서 플러그인으로 들어갑니다. 항목 중에 '메타 태그 등록' 을 클릭해줍니다.

 

여기에 메타 태그를 추가해 주시면 됩니다. 이름은 자신이 알아보기 쉽게 정의해 주시면 됩니다.

<meta name = "Robots" content="index,follow">
<meta name = "Yeti" content="index,follow">

 

2021.07.08 - [블로그/티스토리] - [티스토리] 2차 도메인 등록하는 방법 - 티스토리 2차 도메인 완벽하게 연결하는 방법

[티스토리] 2차 도메인 등록하는 방법 - 티스토리 2차 도메인 완벽하게 연결하는 방법

2021.11.25 - [블로그/티스토리] - 티스토리 카테고리 URL 제거하는 방법 (feat 광고가 나오지 않아요)

티스토리 카테고리 URL 제거하는 방법 (feat 광고가 나오지 않아요)