FirstNoon
오늘 화제가 된 김에, 첫눈 검색에 대해 좀 이야기 해 볼까 합니다. 많은 사람들이 첫눈이 크롤링하는 정보의 양이 부족하다는 점을 문제로 삼곤 하였습니다. 그렇습니다만, 그 보다 좀 더 심각한 밑뿌리에 문제가 있다는 느낌을 받았습니다.
첫눈 검색의 치명적인 문제점
첫눈 검색은, 많이 반복된 자료일 수록 좋은 자료로 먼저 보여 준다. 의 아이디어를 바탕으로 두고 있습니다. 얼핏 생각하면 민주주의 스러운 느낌이 꽤 괜찮아 보입니다. 중요한 내용, 좋은 주제 일 수록 이사람 저사람 많이 떠들고 많이들 "펌질"할 테니 중요한 내용을 먼저 제시한다, 좋은 생각입니다.그러나, 이러한 발상은 결국 검색, Search 라는 작업의 본질을 오해한 착각일 수 있습니다.
검색은 말 그대로 쉽게 찾기 어려운 것을 훑어 주는 작업입니다. 그런데, 이런 첫눈의 발상대로라면, 눈에 잘 뜨이는 찾기 쉬운 것을 보여줄 뿐입니다. 어느 웹사이트를 가도 유행하고 있고 눈에 들어오고 신문 방송에서 떠드는 내용만 또 나오고, 정작 궁금하고 진귀한 자료는 뒷전으로 밀려나는 것입니다. 제일 첫 항목이건 두 번째 항목이건 간에, 누구나 가장 쉽게 접할 수 있는 재미거리 내용을 굳이 검색 이라는 행위를 한 사람에게 제시해 주는 것이 무슨 유용한 계산이겠습니까?
즉, 첫눈의 검색은 검색이 아니라, SearchPortal 들이 http://dcinside.com 과 http://humoruniv.com 에 오가는 내용들을 보면서 뒷북 많이 치는 글들을 발견해 요즘 유행하는 내용이라며 첫화면에 등록시키는 과정을 자동화한 것에 불과합니다.
이런 자동화가 신기술입니까? 아닙니다. 실제로 많은 포털들은 이미 이런 스크립트를 돌리고 있습니다. Google 의 뉴스 http://news.google.com 만 해도 이런 방법을 중심에 놓고 사용합니다.
그게 어때서?
보다 심각한 문제점은 이러한 첫눈의 검색이 이 같이 대표성 없는 일시적인 화제거리를 추적하게 되기 때문에 시간이 지나고 나면 정보의 초점이 흐려지게 된다는 것입니다. 황우석에 대해 첫눈에서 검색을 하면, 황우석에 대해 가장 많은 유행과 스캔들을 빚었던 노성일 폭로 전후의 사정만이 강조되어서 나옵니다.앞으로 10년후, 황우석을 검색하면, 황우석이 수의학 교수 - 복제 기술 - 줄기세포의 순으로 발전하다가 몰락한 그 일대기를 일목요연하게 정리한 자료를 보고 싶은 사람이 가장 많을 겁니다. 그렇지만, 첫눈은 그러한 대표성있는 일대기가 아니라 일시적으로 화제가 된 지엽적인 한 사건만 지목할 뿐입니다.
빈센트 반 고흐는 평생 동안 무명이었으니, 그나마 미처 죽었을 때만 소동거리로 잠깐 지역신문에서 화제가 된 일만 나오고 그의 미술 생활에 대해서는 아무 자료도 나오지 않는 것입니다.
이러한 대표성의 문제는 Copyright 와 Link 에 대한 손실로 나타나기도 합니다. 즉, 어떤 사람에 관한 자료를 검색했을 때, 그 사람이 직접 작성하고 그 사람이 관리하고 그 사람을 드러내는 자료보다, 그 사람의 특정 화제에 대해 우연히 다른 사람에 의해 불법 복제되어 이리저리 퍼진 다른 자료가 우선적으로 드러나게 됩니다.
이것은, 검색의 힘이 단순한 포털에 비해 여실히 중요해지는 희귀 전문 자료일 경우 더욱더 문제가 심각해 집니다. 자료 자체가 희귀하므로, 특정 부분을 누가 한 두번만 불법 복제해도 상대적으로 중요 자료로 평가되어 버리는 것입니다. 즉, 한국 토종 살괭이에 대해 집대성해 놓은 한 전문 연구인의 웹사이트가 검색되는 것이 아니라, 이 사이트를 통 에 담아가서 살괭이 사진이 귀엽다고 한 어떤 초등학생과 그것을 서로서로 복제해 돌려본 그 어린이의 친구들이 중요 웹페이지로 나타나게 됩니다.
비교적 Semantics 와 우열관계를 탐구하기 좋은 Google 의 랭킹 방법도 여러가지 부작용과 악용의 소지가 큰 것을 생각한다면, 애초에 언론같은 포털의 속성과 유사할 뿐, 검색 엔진의 가치를 정면으로 거스른 첫눈은 자명한 한계점을 갖고 있는 것입니다.
역시, 많은 검색엔진이 궁리하는 것처럼, 검색 기술에서 보다 중요한 것은, 페이지의 연관관계를 통해 의미론을 유추해내고, 자동계산을 통해 정보의 범주를 결정하는 개념해석, 언어해석 AI 일 것입니다. F-16, A-10, Mig-27 과 연결된 페이지에 나오는 sam 은 지대공미사일이고, 다코타 패닝, 숀 펜과 연결된 페이지에 나오는 sam 은 영화 주인공의 이름임을 판단하는 기술 말입니다.
첫눈 검색이 민주주의적이라는 어렴풋한 Marketing 감각이 있긴합니다만, 우리는 종종 정치 현실에서도 민주주의를 선동적인 망상으로 왜곡하여 대의주의 공화제가 무엇인지 잊곤 합니다.
그럼, NHN은 왜 샀지?
첫눈의 성장과 주식의 매각은 그렇다면 순수한 사채활동일 뿐입니까? 하지만 결코 그렇지는 않습니다. 첫눈의 의미는 네오위즈 장병규 선생 계열의 지식과 인력이 나름대로 경쟁관계에 있는 면이 적지 않은 NHN 으로 옮겨가는 자연스러운 중간 과정으로서 의미가 있습니다.이러한 기술력의 이동이 자칫 잘못했다가는 기술 유출, 자본 조작의 구렁텅이로 빠져들 수 있었건만, 첫눈이라는 중간 단계를 통해서 자연스럽게 진행될 수 있었다 하겠습니다.
공감합니다. 첫눈의 근본적 한계는 사용자에게 어떤 차별적 경험을 제공해주지 못했다는 데 있다고 생각합니다. 다른 검색엔진에 비해 조금씩 다른 면은 있으나 사용 경험의 변화를 야기할만한 것이 없습니다. 또 캐즘이론에서 누구를 대상으로 했는지 분명하지가 않습니다.
검색엔진은 이미 레드오션인데, 첫눈은 의미있는 블루오션을 만들지 못했습니다. - 김창준 http://agile.egloos.com 2006.06.30, 10:17 am
- 조금씩 다른 면이란 것이, 내세우는 검색 서비스 자체보다는 도리어 WebDesign 상의 개성이나, 블로그 운영 같은 면에서 오히려 더 많이 드러나지 않았나 생각합니다. 김창준님의 덧글을 보게 되어 매우 기쁘게 생각합니다. - 게렉터
결국 롱테일에 대한 부분을 간과했다는 것이군요. 이는 대부분의 국내 검색엔진이 놓치고 있는 부분이기도 합니다만 근본적인 문제는 결국 펌 이 난무하는 네티즌 문화가 아닐까 합니다. 좀 쓸모 있다 싶으면 여기저기 퍼나르고...결국 소위말하는 희귀자료는 국내에서 찾기가 힘이 들지요. - swimming elephant 2006.06.30, 10:24 am
- 한국어 자료라는 면에 의미를 많이 부여하면 가끔 희귀 자료 같은 것이 없는 것도 아닌데, 이런 자료의 경우에는 제 경우에는 대부분 구글이나 의외로 http://www.altavista.co.kr 을 통해 찾게 되는 일이 많았습니다. - 게렉터
다른건 잘 모르겠지만,,
말씀하신 스노우랭크,,의 헛점에 대해 공감해요
제 짧은 지식으로는
같은 이유로 해외에선 성공 가능성이 지극히 낮다고 생각되네요
우리나라의 기이한 펌 문화에서는 성공할지 몰라도
해외의 경우엔 그렇지 않으니까요 - astraea http://withstory.net 2006.06.30, 1:20 pm
첫눈에서는 검색 결과를 static한 자료와 dynamic한 자료로 구분하고 있습니다. snowrank의 경우 dynamic 자료에 초점을 맞춘 것이기에 말씀하신 static한 자료에 대해서는 잘 작동하지 않습니다. 그래서 static한 자료를 보여주기 위해서는 다른 랭킹 방법을 사용합니다.
조금 더 방어를 하자면, 포탈 뉴스에서 잘 보여주는 걸 왜 하느냐? 자료가 많아지고 다양해질수록 수동 입력에는 한계가 있으니까 자동으로 공정하게 보여주자는 거지요. 그래서 블로그 등등이 더 커질수록 경쟁력이 높아질 거라 기대하고 있었습니다.
그밖에 펌질 문화가 없더라도 snowrank는 잘 작동합니다. 예를 들어 "프랑스전 오심"이라는 주제에 대해 글을 쓰면 저 두 단어는 거의 동일하게 들어가기 때문에, 완전히 동일한 글이 아니더라도 클러스터링 가능합니다.
구글 뉴스에서 하는 건데 뭐하러 하냐면, 구글에서 한다고 하지 말라면 도대체 뭘 해야합니까. 또한, 구글은 왜 남들이 다 하는 스케쥴러, 동영상, 이미지, Answers 등등을 따라하고 있을까요. - elysian 2006.07.02, 12:05 pm
- 두분다 덧글에 감사드립니다. elysian 님이 말씀하신대로 일반적인 포털에서 돌리는 매크로를 사용자에게 OpenStructure 로 자유롭게 쓸 수 있다는 점에 대해서는 첫눈의 가치가 어느 정도 드러나 있다는데 동의합니다. 일종의 기계생성 뉴스서비스, 메타블로그 서비스에 위력적일 것입니다. 하지만 snowrank 가 이런 서비스가 아닌, Search 전문인, 검색엔진의 핵심기술이라고 내세우기에는, 그 활용방식자체가 문헌정보학이나 정보처리 의미론상의 검색개념에 오히려 반하는 면이 있다는 것입니다.
정말 그런 말이 있습니다. '아는 만큼 보인다...' 좋은 글 잘 읽고 갑니다. - ninthmay 2006.07.05, 5:21 pm
몇가지 기본적인 이야기를 해보겠습니다.
구글은 이미 기존 시장에 선점자가 있는 경우 진입해도 출혈이 적습니다.
몇가지 이유가 있는데 우선 같은 종류의 서비스이면서도 나름대로 사용자 경험에 차별성을 제공합니다 -- 이 차별성은 조금 후에 이야기할 "시너지 효과"와 관련이 있기도 합니다. 둘째 막대한 자본력이 뒷받침되어 있습니다 -- 상대적으로 여유가 있고 조바심낼 필요가 적다는 것이지요. 셋째 이미 브랜드 인지도가 상당히 높습니다 -- 오히려 브랜드 해체가 이루어져서 상품을 보고 "구글스럽다"는 표현을 쓰기도 하죠. 넷째 자기가 갖춘 다른 서비스들과의 연계를 통해 시너지 효과를 낼 수 있습니다. 마지막으로 구글은 프러덕트 이노베이션, 마켓 이노베이션, 프로세스 이노베이션 등 다차원적 이노베이션을 통해 이익을 극대화하려는 노력을 하고 있습니다.
시장 선점자가 있는 상황에서 진입할 경우, 특히 자본력이 넉넉하지 못하고 인지도가 낮으며 시너지 효과를 내기 어렵다면 그런 회사와는 다른 전략을 펼쳐야 합니다. 저는 첫눈이 그걸 못했다고 보는 것입니다. 앞서간 자의 족적을 피해가야만 산다는 말은 아닙니다. - 김창준 http://agile.egloos.com 2006.06.30, 10:17 am
(마지막 변경 UNIX clock : 1154660461 / Common clock 2006.08.04, 12:01 pm
)
다음글 DNS
