티스토리 광고 크롤러 오류, 호스팅 서버 과부하 크롤러: 호스팅 서버에 연결할 수 없음
티스토리 수익형 블로그를 운영하다 보면
이런 메시지가 나올 때가 많습니다
구글 애드센스의 정책위반은 아니지만
광고 게재가 제한된다는 내용입니다.
구글에 검색하면 이 문제에 관해서
다루는 포스팅이 많습니다.
비슷한 증상을 많이 겪고 있다는
상황으로 이해됩니다.
그런데 대부분 거창하게 써놨지만
내용을 보면 해결책이 없습니다.
결론은 기다리라는 내용이 많습니다.
뭐 그것도 하나의 해결책이긴 합니다.
호스팅 서버를 관리하는 티스토리가
알아서 해결하는 부분이고 서버에
권한이 없는 일반 사용자는 조치가 안되지요.
이런 문제는 직접 호스팅을 받아서
하는 워드프레스같은 경우는 보고된
사례가 있는지 모르겠지만 유독
티스토리에서 많이 발생하고 있습니다.
저 역시 AWS에 워드프레스를 운영한
1년 넘게 한번도 그런 오류가 없었습니다.
그런데 티스토리의 경우 자주 발생합니다.
티스토리에서 딱히 답변이랄게 없는 것은
당연한데 웬만하면 티스토리는
내부 사정을 잘 안알려줍니다.
그래서 경험적으로 촉감을 살려
추측해보면 이것은 호스팅 서비스를
CMS패키지로 제공하는 티스토리의
정책일 가능성이 높습니다.
어떤 분이 블로그에 추측한 내용이
있었는데 구글검색을 많이 해서
출처는 까먹었지만 어쨋든 정리해보면,
- 티스토리는 블로그 마다 등급을 매겨
관리를 하고 있다.
- 평균적으로 방문객과 조회수 데이터가
나오는데 갑자기 평균 이상의 트래픽이
늘어나면 구글 애드센스의 광고 크롤링의
요청을 제한한다. 애드센스 시스템을
100% 이해하는 것은 아니지만
새로운 포스팅에 광고를 게재하기 위해
호스팅 서버에 크롤링을 해야 하는 것으로
이해할 수 있습니다. 안그러면 그런 오류
메시지를 내보낼 필요가 없으니까요.
- 조회수가 많아지만 그만큼 호스팅 서버에
연결을 해야 하는데 티스토리 서버에서
트래픽 등급을 초과하는 요청의 연결을
차단하는 것이 아닌가 추측해봅니다.
- 예를 들어 평소 조회수가 100~200인
블로그에서 갑자기 하나의 포스팅의
200 이상의 조회수를 얻습니다.
이런 경우 크롤러의 연결을 거부하는 식의
스크립트를 걸어놨을 확률이 높습니다.
마냥 거부하면 그것도 문제가 되니까
다음날이 되면 다시 최근 며칠간 평균을
계산하여 그 만큼 크롤링 개수를
늘려주는 방식일 수 있습니다.
그래서 시간이 지나면 해결된다는 말이
할당된 크롤링 회수를 유동적으로
관리하기 때문이 아닌가 뇌피셜이긴 하지만
이런 패턴을 많이 경험했습니다.
이런 방식은 가끔씩 이슈나 트렌드 글을
쓰는 사람들이 광고 수익을 안정적으로
내기 어렵게 만듭니다. 아마 노린게 아닌가
생각이 되는데요. 티스토리 이슈, 트렌드 글에
대해서는 수년간 말이 많았습니다.
네이버가 실검을 포기한 후 지금은
다음이 5% 점유하는 검색시장으로
대략 흘러가고 있기 때문에 여러가지
그 안에 내부 사정이 있을 것 같습니다.
우리같은 일반 블로거들이 어떻게
바꿀 수 있는 것이라기 보다는 그런
정책을 따라가면서 해야하는 부분입니다.
이에 대한 해결책은 꾸준한 포스팅으로
조회수 평균을 올리는 방법이 최선입니다.
또 이슈 글을 많이 쓰면 조회수의 변동이
심한데 구글 SEO의 글은 조회수가
일정하기 때문에 티스토리도 등급을
상향해서 유지할 수 있습니다.
(트래픽 등급이란게 있다면)
참고로 이 블로그는 다음 검색으로
유입하는 수가 하루에 40~50 정도입니다.
이슈나 트렌드 글을 아예 안쓰는 것은
아니지만 포스팅이 이제 1000개가
쌓였는데도 다음에선 유입이 안됩니다;;;
그런 이 블로그도 초기에는
다음 트래픽이 대부분이었습니다
하루에 200-300 다음 검색 유입이었지요.
티스토리의 내부적인 기술의 디테일까지는
모르겠지만 정책적으로 충분히 티스토리가
취할 수 있는 방식이고 이제 예전처럼
무분별하게 이슈 포스팅으로 조회수를
먹는 블로그를 운영하는게 점점 더
불리해지는 것을 의미합니다.
물론 이슈 포스팅은 조회수도 좋고
또 그런 연예계 가십거리나 엔터테인먼트,
사건, 사고, 정치 포스팅을 진짜로
관심으로 쓰는 분들도 많이 있습니다.
하지만 여러모로 블로그의 정책이나
광고주의 선호도 등 민감한 부분에
걸릴 수 있는게 많고 조회수를
빨기 위해서 극단적 선정적으로
포스팅이 흐를 수 있기 때문에
포탈사에서 제한을 두는 것 입니다.
카카오는 다음과 티스토리 등
생태계를 유지하고 있기 때문에
그 안에서의 룰이 있는 것 입니다.
이런 것에서 벗어나려면 워드프레스나
혹은 직접 웹사이트를 구축하는 방법
밖에는 없습니다.
그런데 해보면 알게되는데 개인이
웹사이트를 구축한다는 것이나
워드프레스 하나 세팅해서 쓰는 것도
꽤 많은 지식과 시간이 필요합니다.
또 그것을 키우는 것은 다른 문제이지요.
당장 포탈의 트래픽을 받아야 하는
개인들로써는 쉽지 않습니다.
워드프레스를 1년째 운영중인데 사실
규모를 키우려고 한다면
아직도 뭘 어떻게 해야할지
감이 잘 오지 않습니다.
그만큼 어려운 분야이고 그래서
대부분 사람들은 블로그를 쓰던
커뮤니티 인싸로 활동하건
이미 완성된 플랫폼을 쓰는겁니다.
포탈이나 커뮤니티나 이미 그쪽에서는
대체할 수단이 거의 없는 대기업이지요.
크롤러 오류 같은 건 사실 서버를
조작할 수 있으면 어려운 문제가 아닐텐데
개인들은 거대 기업의 룰과 정책에
따를 필요가 있습니다. 그것이 이해가
어렵고 그런게 있겠지만 원래
IT세계 라는게 이해가 쉽지 않습니다.
*위의 이미지에서 보듯이 광고 요청이
수백개 이상 제한되었습니다.
그리 큰 손실은 아니겠지만
만약 수천개, 수만개의 광고요청이
제한된다면 또 다른 이야기입니다.
특히 트렌드를 타는 포스팅들은
타격을 많이 입습니다.
이 문제는 티스토리에게 달려 있다고
보기 때문에 아직까지 지켜볼 단계입니다.
티스토리가 과도하게 크롤링을 제한하면
그만큼 티스토리 블로거들에 손해가 되고
말이 많이 나오면 결국 집단 항의가
될텐데 그 정도까지 안가게 티스토리 측이
현명하게 운영할 거라 기대합니다.
이런일이 언제고 또 반복해서 일어날 수
있다는 것은 티스토리 블로그들의 숙명입니다.
그래서 예전에 워드프레스를 시작한건데
확실히 장단점은 있습니다.
티스토리는 많은 장점이 있지만
가끔 이런 부분들이 걸리기도 합니다.
무료로 이렇게 좋은 호스팅이 없기 때문에
어느 정도까지는 이해할 수 있지만
쪼금 지켜볼 필요는 있습니다.
