헥소(Hexo)에 Robots TXT 추가

Posted on Edited on In Word count in article: 96 Reading time ≈ 1 mins.

Robots

검색엔진의 사이트 크롤링 허용여부를 결정해주는 파일입니다

검색엔진은 사이트에서 제공하는 robots.txt 파일을 읽고 허가하는 경우에 한해서만 크롤링 해갑니다
우리가 만드는 블로그는 검색엔진이 많이 가져갈 수록 좋으니 대부분 허용해주면 됩니다

hexo-generator-robotstxt

hexo-generator-robotstxt는 config 에서 설정한 데로 robots.txt 파일을 생성해주는 plugin 입니다

설치

1
$ npm install hexo-generator-robotstxt --save

설정

헥소(Hexo)의 설정파일 _config.yml 에 정보를 추가합니다

_config.yml
1
2
3
4
5
6
## robots plugin
robotstxt:
  useragent: "*"
  allow:
    - /
  sitemap: /sitemap.xml

배포

1
$ npm run deployall

확인

build 시 public 폴더에 robots.txt 파일이 생성됩니다
해당 파일의 URL 주소를 검색엔진에 등록해주면 됩니다

네이버 검색어드바이저내 robots.txt 검증과 등록