메뉴 보기
<세계일보 1월 24일자 ‘中 최대 검색엔진 바이두, 포털을 꿈꾸다’ 기사 참조>
◆일 관리자들 “바이두는 경계대상 1호” = 사태의 발단은 바이두가 지난해 말 첫 해외 진출로 “일본에서 일본어 서비스를 시작하겠다”고 밝히면서다. 바이두는 12월부터 본격적으로 일본어 검색로봇 ‘바이두 스파이더(Baiduspider)’를 가동하며 일본 웹사이트 정보를 무차별 수집(인덱싱)하기 시작했다.
문제는 바이두 검색로봇이 많게는 1초에 수차례 웹서버에 접근하는 등 지나치게 웹사이트를 훑는 경우가 많았던 것이다. 구글이나 야후 재팬 등 주요 검색사이트에서 ‘Baiduspider’라고 검색하면 “바이두 검색로봇 접근을 막겠다” “바이두 검색로봇은 웹서비스 기본 예의가 없다”는 등 비난하는 의견이 다수를 이루기 시작했다. 웹사이트 안정성을 위협할 정도에 이르면서, 웹사이트 관리자 경계대상 1호로 손꼽힐 정도다.
◆바이두 재팬 “정말 죄송합니다” = 사태가 걷잡을 수 없을 정도로 악화되자 바이두 재팬은 17일 서비스 개시 전임에도 불구하고 이례적으로 사과문을 올렸다.
‘일본 웹사이트 관리자에게 보내는 메시지’라는 이 공지에서 바이두는 “해외 첫 진출인 일본 시장에는 지난해 12월부터 본격적으로 진출했다”며 “일본어 검색서비스를 하기 위해 일본어 사이트 정보를 수집하는 검색로봇 리서치를 실시하고 있다”고 말했다. 이러한 과정에서 일부 웹사이트에 과도한 접근(액세스)이 발생, 관리자들에게 막대한 영향을 끼쳤다는 설명이다.
바이두 측은 “바이두 담당자로서 바이두 검색로봇이 사이트에 피해를 끼친 점을 정말 미안하게 생각한다”며 “향후 이 문제에 대해 회사 전반에서 진지하게 받아들이고, 일본 인터넷업계의 규칙에 따라 두번 다시 이런 일이 없도록 노력하겠다”고 덧붙였다.
이에 따라 바이두 측은 ▲바이두 검색로봇의 최대 크롤링 빈도는 초당 9회에서 3초당 1회로 1/27로 낮추고, ▲각 사이트의 규모와 IP 부하에 따라 각각 대응할 수 있는 크롤러 정책을 수립, 중소 규모 사이트에 대해서는 크롤링 빈도를 1회에 20초 이내에서 조절하며, ▲압축 크롤러 기능을 추가해 동일한 부하로 액세스량은 1/3 이하로 줄이고, ▲사이트별 크롤링 총량을 조절해 최대 제한을 넘으면 당일 크롤링을 조절하는 등 긴급 대책을 수립하겠다고 약속했다.
이에 대해 와타나베 타카히로 일본 아이렙 서치엔진마케팅 연구소(http://www.sem-irep.jp) 소장은 자신의 블로그(http://blog.japan.cnet.com/takawata/archives/2007/02/_baiduspider.html)에서 “바이두 검색 로봇을 막는 사이트 운영자가 늘어날수록 일본어 웹페이지 수집에 지장이 생겨, 결과적으로 검색 서비스 제공이 어렵게 된다”며 “검색 서비스는 검색 이용자뿐만 아니라 정보 수집 대상이 되는 웹사이트 운영자에 대해서도 이점을 줄 수 있는 존재일 필요가 있다”고 말했다.
한편, 바이두는 지난해 4분기에 1억2280만위안(한화 약 150억)의 순이익을 기록, 2005년 4분기 2450만위안(한화 약 30억)보다 4배 이상 늘었다. 스톡옵션 등 특별비용을 제외한 순이익은 1억3000만 위안에 달했다. 매출은 136% 늘어난 2억7130만 위안으로 집계됐으며, 온라인 광고매출이 2억6810만 위안으로 대부분을 차지했다.
로빈 리(Robin Li) 바이두 CEO는 지난 15일 중국 베이징에서 애널리스트를 대상으로 한 콘퍼런스 콜을 통해 “올해 1500만달러를 투입, 일본 시장을 공략하겠다”며 “우리는 일본 시장 공략에 강한 자신감을 가지고 있다”고 강조했다.
현재 일본 검색 시장은 소프트뱅크와 손잡은 야후재팬이 부동의 1위를 달리고 있으며, 구글이 2위로 그 뒤를 쫒고 있다.
세계일보 인터넷뉴스부 서명덕기자 mdseo@segye.com
보도자료및 제보 bodo@segye.com, 팀블로그 http://in.segye.com/bodo
