문제 페이지에 접속하면 강아지로봇이 나온다.
[robots.txt]
검색엔진로봇은 링크를 타고 돌아다니면서 정보를 수집해 검색결과로 보여주는데,
우리가 노출을 하기 싫어하는 파일, 폴더 또는 게시판이 있을수도있다. 이러한것들이 검색엔진에 노출되지않기위해
작성하는것이 robots.txt 파일이다. 그렇다면 이 페이지의 robots.txt 파일을 열어보자
robots.txt 파일을 해석해자면
- User-agent : * ( 모든 검색엔진로봇 (ex googlebot, MSNbot, daumos) )
- Disallow : /robot_flag/ ( robot_flag 페이지를 검색엔진로봇이 크롤링하지 못하게한다. )
이렇다. /robot_flag/ 페이지로 접속을해보면 flag를 얻을수있다.
[참고]
robots.txt이란 [robots.txt의 용도와 활용방법] - CONSTANT
검색엔진 로봇은 robot.txt파일을 통해 자료들을 수집해(크롤링) 간다.따라서 robot.txt에 대해 잘 알면, 검색엔진 로봇의 행동을 조절할 수가 있다.오늘은 robot.txt이 무엇인지, 구조는 어떻게 되는지에 대해 집중적으로 소개하겠다.
constant.kr
[알게된점]
검색엔진로봇이 크롤링하지못하게하는 robots.txt 를 알게되었다
