Referer
-
Referer를 이용한 네이버 웹툰 크롤링Portfolio/인증과 크롤링 2018. 12. 18. 23:02
HTTP의 요청 헤더 중 하나인 'Referer'은 현재 페이지의 이전 페이지를 가리킨다.때문에 Referer헤더는 해당 사용자가 어디에서 온지를 알 수 있기 때문에 방문자에 대한 로그를 기록하여 통계를 내는 등에 활용할 수 있다.사실 이 referer은 refferer이 되어야 했다. RFC 문서에서 refferer를 referer로 f를 하나 빼고 적었기 때문에 그대로 referer로 사용되고 있다. (자세한 내용) 본론으로 들어가 이 글에서는 네이버 웹툰 다운로더에서 사용된 Referer 헤더 변경을 통한 웹툰 이미지 다운로드에 대해 알아보겠다.먼저 네이버 웹툰 이미지에 대한 간단한 request를 작성해서 날려보았다.referer이 없는(주석처리 된) 코드는 실행하면 다음과 같은 결과를 보여준다...