블로터에,,
석인혁 구글 검색 품질 분석가 “한국 웹, 검색 차단 좀 그만”
http://www.bloter.net/archives/230774
이런 글이 떴다..
한마디로 구글 봇들이 한국 사이트를 퍼가는데 애로가 있다는 글로 보인다..
물론 국내 사이트들이 봇들에 관대 하지 않는 경우도 있다. 그러나 이분이 간과한 것이 있어 보인다.
국내 네트워크 환경이 해외 봇들이 글을 퍼가는데 애로가 있다는 점을 간과 한 것으로 보인다.
우리 회사는 국제 회선 종량제 시스템이라 그렇지 않지만 대부분의 데이타 센터가 계약 대역 폭 대비 국제회선 2% 정책을 고수 한다.
만일 1기가의 회선을 계약 하면 20메가 정도의 국제 회선을 열어 준다. 데이타센터의 국제 회선 표준 약관에 2% QOS 관련 규정에 의해 그렇다.
국제 회선 QOS와 관련한 자세한 내용은 http://idchowto.com/?p=1864 이 글을 참고 하시라.
그런데 국제 회선 2% 정책은 정상 적인 인터넷 접속자들의 접속에도 부족 하다.
봇들의 접속을 제외 하고도 대략 4~5% 정도가 되어야 해외에서 그럭저럭 접속할수 있는
정상적인 국제 회선 접속 속도가 나온다. 대략 1기가에 40~50메가 정도는 되어야 정상적인 접속 속도와 봇들이 즐겁게 퍼갈수 잇는 네트워크 환경이 된다.
그러나 국내 데이타 센터의 대부분이- 특히 호스팅 네트,워크를 사용 하는 서버는 해외에서 접속이 피크 시간대에는 무시 무시한 인내를 요구할정도로 재밍 상태인다.
사람들은 인내를 요해서 기다리다 접속을 하지만.. 봇들은 대부분 그걸 참지 못할거다.. 계속 기달리면 봇서버의 부하가 차서 뒤집어 질수 밖에 없으니.,..
바로 다른 검색을 시작할 게 뻔하고. 구글 담당자는 그것이 검색 차단으로 느겨 질수 밖에 없을 걸로 보인다.
실제로 우리 회사의 연길 지사에서 국내 사이트 접속할때 국내 사이트 접속 하다가 계속 기다리다 안드는 사이트는 비일 비재 하다.
인내 심의 한계를 느끼게 된다.. 그래서 중국에서 한국에 접속하는 경우 vpn을 꼭 사용 할수 밖에 없다.
다시 말해 한국의로 별도의 속도 빠른 전용 터널을 뚫어서 접속을 한다.
그러면 그럭 저럭 접속이 가능 하다.
그러나 과연 구글은 봇들에게 한국으로의 전용 터널을 뚫어서 검색을 하는지는 의문 스럽다.. 아니 검색의 효과를 높이려면. 한국에 봇을을 위한 전용 회선을 두기라도 해야 맞을 것이다.
그러나 최소한 내가 검색해 본 한도내에서는 그렇지 않다.
아래는 인터넷으로 검색가능한 구글 봇들이 ip 주소이다.
출처는 http://chceme.info/ips/
whois 검색을 해보면 아직은 위치가 캘리포니아다.
| FROM | TO | WHOIS |
|---|---|---|
| 64.233.160.0 | 64.233.191.255 | WHOIS |
| 66.102.0.0 | 66.102.15.255 | WHOIS |
| 66.249.64.0 | 66.249.95.255 | WHOIS |
| 72.14.192.0 | 72.14.255.255 | WHOIS |
| 74.125.0.0 | 74.125.255.255 | WHOIS |
| 209.85.128.0 | 209.85.255.255 | WHOIS |
| 216.239.32.0 | 216.239.63.255 | WHOIS |
국제회선 정책이 1기가에 20메가 허용이라는 것은 피크 시간에는 엄청난 재밍 상태이다.
재밍된 네트워크를 네트워크를 정상적인 접속자와 그런데 거기에 외산 봇들까지 가세해서 국제 회선들을 점유해가고 있는데
-해외 접속 트래픽의 절반 이상이 봇들에 의한 무단 점유로 보여 진다.- 특히 빅데이터 비즈니스의 연구와 투자가 활성화 되면서 해외봇들에 의한 쓰레기성 접속이 확연히 늘고 있다.
가득히나 부족한 국제망에 절반정도가 봇이다. 구글 봇들도 그 험난한 국제망의 역경을 뚫고 한국에서 퍼가려 하니..어디 쉽겠나.?
그러나 대부분의 서버 운영자들이 국내 회선 요금보다 열배나 비싼 국제 회선 요금을 별도로 부담하는 걸 별로 좋아 하지 않는 경우가 대부분 인지라… 그냥 아쉬운 데로 사는 판국에
검색 봇들읜 커넥션 타임 아웃이 되는 것은 안봐도 눈에 뻔한일이다.
우리 회사는 8년전에 통신사들의 국제망 회선 요금 정책을 시행할 즈음, 전 네트워크에 국제 회선 종량제 서비스를 시작 하면서 ,
구글을 포함한 모든 외산 봇들은 깔금히 drop한 적이 있었다. 그러나 그 결과는 고객의 항의와 육두 문자로 보답받았다. 당장에 안열면 이사 간다는 협박까지..
구글 같은 인터넷 비즈니스의 슈퍼 갑님을 무시하기엔 변방의 작은데이타 센타가 힘이 많이 부족하다는 걸 깨 달을 수 밖에 없는 수간이었다.
SEO(검색엔진 최적화)가 일반화 되지 않은 그 당시에도 구글에 노출해서 비즈니스를 하는 고객들이 있었었다. 지금은 닫으면 사업 못하는 판세 겠지만.
부랴 부랴 고객님 죄송 합니다. 하고 google과 msn(Bing) bot은 열어 줄 수 밖에 없었다. – yahoo 나 biadu등 전세계의 다른 bot들은 아직까지 열어 주지 않는다.
(그것까지 열어 주면 고객의 국제망 요금이 매우 가중 될게 뻔하기 때문이고 고객의 클레임도 없기 때문이다.)
그래서 google과 bing은 우리 데이터 센터에서 쾌적하게 잘 퍼가고 있다.
물론 구글님이 사용하는 국제 회선 비용은 그 비용은 우리 회사가 잘 부담하고 있다.
우리 회사 국제 회선 요금의 3~5%는 슈퍼 갑님이신 구글이 무전 취식 하는 것으로 보인다.
물론 울 회사가 돈 낸 만큼..구글 님께서 쾌적하게 퍼갈꺼는 자명한 일이다.
그런데 말이다 블로터의 글을 보면 …
속도 안나오는 네트워크를 이용하면서 막혀 있네 뭐네 하는 이야기는..
무전 취식 하는 동네 달건엉아가 밥다 먹고나서 맛있네 없네 하며
반찬투정 하는 걸로 보인다 말이다.
구글이 국내에서 그래 많이 돈을 벌어 가면서..
왠만하면 국제 구간 요금은 당신들이 내야지.. 국내 구간도 아니고 왜 국제 구간을 무전 취식한단 말이냐..
국내 회선 비용의 열배나 되는 비용을 무전 취식 하는게 말이냐 되냐고 묻고 싶다.
내가 아는 가모라는 회사나 킹 모라는 회사에서 문서를 보내 구글에 이걸 시정해 달라고 요구 한적도 있는데..
물론 구글 코리아는 본사 일이라고 모르쇠로 일관 했다고 한다.
국제회선 무전 취식 하면서
한국 사이트들 접속안된다고 궁시렁 거리는 게 말이 되냐는 것이다…?
슈퍼갑님이… 동네 식당서 밥먹고.. 이쑤시면서 음식맛 없닥 인상 쓰시는 걸로 보인다 ..
=============================>
이 글은 틀릴수 있다…
내가 검색한 구글 봇의 ip 리스트가 틀렸다면 말이다.. 아니면 공개 되지 않은 구글 봇의 ip가 있다면 말이다
또한 한국에서는 별도의 구글 봇이 운영 될수 있다면..
틀릴수도 잇다..
그렇다면 정정 글을 올릴 것이다.
그러나.. 설령 우리나라에서 않 그렇다고 다른 나라 까지 슈퍼 갑질을 않는 다는 거는 아니라… 여전히 슈퍼 갑이다.
국가별로 각 국가마다 봇 서버를 구글이 두었다는 뉴스는 아직까지 한번도 들은 적이 없다..
인터넷은 미국이 슈퍼 갑이고 거기에 미국 기업들은 슈퍼 갑의 행세를 덤으로 하고 있는 판세다.
그들은 아쉬울께 없다.. 안국 기업들은 늘 역차별 당하더라도..
검색에 관해서는 구글은 슈퍼 갑이고..구글이 우월적인 지위를 놓치는 않을 것이기 때문에.
[polldaddy rating=”7739789″]