웹 크롤링으로 인한 방문자 수 급증... 스크래핑이 인터넷 서핑인가?

지난달 중순에 이 티스토리 블로그에 이상한 트래픽이 감지되었습니다. 일정한 패턴으로 방문이 이루어졌고, 한 번으로 끝나는 것이 아니라 계속 반복되었습니다. 이틀 정도 이상한 공격이 목격되어 다음 고객센터에 문의하여 해킹 시도 같으니 IP 주소를 차단해줄 것을 요청했지만 고객센터로부터 정상적인 방문이라는 답변을 받았습니다. 그러다가 얼마 전에 우연히 어떤 개발자가 크롤러를 만들어 테스트했다는 사실을 알게 되었습니다.

웹 크롤링으로 인한 방문자 수 급증

지난달 15일과 16일, 티스토리 방문자 통계에서는 평소 방문자보다 2~3배 방문자가 급증하는 것으로 표시되었습니다.

하지만 유입 경로를 확인해보니 일정한 패턴으로 지속적인 방문이 이루어지고 있었습니다.

위의 그림과 같이 모든 페이지를 순차적으로 방문한 다음, 조금 쉬었다가 다시 같은 패턴으로 방문이 이루어지기를 반복했습니다.

티스토리에 이 문제를 문의했지만 정상적인 방문이기 때문에 IP 주소를 차단할 수 없다는 답변을 받았습니다.

그러다가 우연히 어떤 티스토리 블로그에 내 포스트 글의 일부가 올라와있는 것을 발견했습니다. 그리고 다음과 같이 크롤링을 시도했음을 암시하는 내용을 발견했습니다.

아마 크몽 같은 사이트에서 크롤링 서비스를 제공하기 위해 웹 크롤러 (스크래퍼)를 테스트했던 것으로 추정됩니다. 블로그 주인 허락 없이 크롤링하는 것을 인터넷 서핑이라고 생각하고 있네요.ㅠ

티스토리 블로그에서는 이런 크롤링 공격을 당해도 트래픽을 티스토리에서 감당하므로 블로거 입장에서는 큰 피해가 안 될 수 있지만, 내 블로그 콘텐츠를 허락 없이 모두 복사해간다고 생각하면 기분이 좋지 않은 것은 사실입니다.

만약 웹호스팅이나 서버에서 운영되는 사이트를 대상으로 크롤러를 돌리면 문제가 될 수 있습니다. 순간적으로 트래픽이 급증하기 때문에 잘못하면 서버 장애가 발생할 가능성도 배제할 수 없습니다. 서버 관리자가 있다면 그런 공격을 차단하기 위해 고생하게 될 것입니다. 제가 이용하고 있는 블루호스트나 사이트그라운드에서는 이런 공격을 효과적으로 감지하여 차단할 수 있을지 궁금하네요.

위의 스크린샷에 언급되어 있듯이, 인터벌을 줄이면 웹호스팅에서 이상한 트래픽을 감지하여 차단될 가능성이 있을 것입니다.

마치며

최근 티스토리 방문자 통계가 이상하게 작동하는 것 같습니다. 일부 (혹은 대부분) 블로그에서 방문자 수가 높게 표시되는 경우가 있고 특정 시간대(예: 새벽 1시부터 5시 사이)의 통계가 잡히지 않기도 합니다.

티스토리에서 제공하는 방문자 통계는 실시간 유입을 통해 어떤 경로를 통해 방문자가 유입되는지 확인할 수 있어 유용하지만, 정확한 통계를 원하는 경우 구글 애널리틱스를 활용할 수 있습니다. Google Analytics를 이용하면 상세한 방문자 통계를 확인할 수 있습니다.

https://avada.tistory.com/1700

구글 애널리틱스 구글, 네이버, 페이스북 방문자 수 확인 방법

https://avada.tistory.com/1892

애드센스 수익이 높은 페이지 제목 확인하기 / 페이지 뷰가 높은 페이지의 수익 확인하기

참고

보안 사고 대응 준비 조치 - 서버 로그 유지