GeoCoding, 어떻게 할까요?
요즘은 구글 등에 밀리는 데다가 회심차게 복귀한 제리 양도 별로 힘을 못 쓰고, 게다가 MS로부터 인수합병 제의까지 받으면서 과거의 영광을 잃은 지 오래된 Yahoo. 요즘 뉴스에 보이는 건 '야후, 추가 인원 감축' 같은 기사들 뿐인지라 급변하는 IT 산업 환경이 정말이지 몸서리쳐질 정도다. (지금은 구글이 망하는게 상상도 되지 않겠지만, 불과 십년 전에는 야후가 그랬던 기억이 새록새록.)
아무리 막장이라고는 해도 아직 그 명성이 남아있는지라 MS로부터 거액의 인수 합병 제의도 받는 것이겠지만, (확실히 아직 야후!의 이름값은 절대 무시할 수 없다. 그동안 쌓아 놓은 인프라를 비롯하여...) 여하튼 뉴스에서 보이는 암울한 기사들에도 꿈쩍않고, next.yahoo 에서는 종종 흥미로운 글들이 올라오고 있다.
오늘도 올라온 기사들을 스윽스윽 훑어보고 있는 중에, 특별히 내 눈을 끄는 것이 있었다.
들어가보면, 제목 그대로 지구본 위에서 해당 지역의 뉴스를 보여주는 아주 간단한 서비스이다. Yahoo! Media Innovation Group의 일원이라고 스스로를 소개한
이걸 보다가, 아주 오래전에 만들었던 프로젝트의 프로토타입이 떠올랐다. 이름하여 LocNews. 지도 교수님의 수업을 들으며 만들었던 프로토타입인데, 기본적인 컨셉의 NewsGlobe와 비슷한데, 다만 우리팀은 GoogleMaps를 사용했다는 정도가 차이라면 차이.
LocNews 프로토타입, 아, 참 오랫만이다.
당시에는 Yahoo!의 검색 Web Services를 이용해 News를 검색하고, 결과로부터 지역 정보를 추출해내서 Google Map에 뿌려주는 방식을 사용했었다. 벌써 만 2년도 전에 진행됐던 프로젝트였던지라, 딱 보기에도 허접하기 그지없었으나, 아이디어 구현에 정말 골머리를 썩었었다.
LocNews Process
그럼 도대체 뭐가 그렇게 골머리를 썩였느냐? 는 질문이 나올 법도 한데. 사실 생각하기에는 간단하다. 뉴스를 검색하고 (이건 Yahoo! Search Web Services에서 해주고.), 여기에서 지역 정보를 추출한 다음에 해당 지역의 Geo code를 얻은 후(이건 American Census Bureau에서 제공하는 데이터를 얻어다가 해결. 요즘은 어떤지 모르겠지만 그 때는 google map에서 geo code를 얻을 수는 없었다.), 마지막에는 사용자의 prefer region에 맞는 뉴스를 골라서 지도에 보여주면 된다.
어차피 프로젝트 자체가 mash-up을 이용한 아이디어 구현에 초점이 맞춰 있던 것인지라 속도 그 따위(?)는 크게 신경쓰지 않아도 되었다. 다만, 어찌되었던 결과는 '그럴듯'해야 했는데... 그 '그럴듯'이 장난아니게 어려웠던 것이다. 바로 조, 조, 조거. 빨간색으로 칠한 조거. 뉴스 텍스트에서 '지역 정보'를 추출한다는 게 생각보다 복잡한 문제를 가지고 있었다.
처음 프로젝트를 시작할 때는 이 부분에 대해서 거의 간과하고 있었다. 예를 들어, "뉴스에 New York 어쩌고 나오면 New York 관련 뉴스겠지, 뭐."라고 생각했었다. 그런데 막상 구현을 하면서 ACB의 데이터를 까보니, 오 마이 갓. "New York"으로 시작하는 도시만 4개다. (New York Mills city, New York town, New York city, New York Mills Village.) 도대체 뉴스에서 나온 이 "New York"이 어떤 뉴욕인지 알게 뭐냐! 물론 야후 뉴스에 나올 정도의 New York이라면 우리가 다 아는 big apple을 뜻하는 것이겠지만, 데이터 입장에서는 말 그대로 도대체 뭐라는 겨! 라는 것과 다를 바 없었던 것이다. 우리도 기사에 보면 정식 명칭은 "서울특별시"지만 그냥 "서울"이라고 쓰는 것과 똑같은 문제가 있어서 어차리 full matching은 어렵고 partial matching을 해야 하니, 이것 참 어려운 문제란 말이다. 더 가관인 건 왠지 미국과는 상관 없을 것 같은 이름 - london city - 는 두 개나 되는 것. 얼핏 생각나는 게 우리나라에도 서울에도 "시흥"이 있고 경기도에도 "시흥"이 있는 것처럼. 더군다나 사람 이름이면서 도시 이름인 건 또 왜 이렇게 많은지.
우리 팀은 이 예상도 못했던 복병에 부딪혀 몇 날 며칠을 밤새 고민하다가, 점점 다가오는 듀 데이트의 압박을 견디지 못하고 "어차피 그런 부분까지는 프로젝트의 핵심 사항이 아니니 넘어가자!"로 결론을 내렸었다. 일단은 저런 식으로 Google Maps나 Web Services 등을 이용한 mash-up을 학교 프로젝트에서 선보였다는 것 자체가 그 당시(?)로서는 꽤 신선한 시도였기 때문에 높은 점수를 받았었지만, 여하튼 아직까지도 그 문제를 해결하지 못했다는 점은 화장실에 갔다가 뒤 안 닦고 나온 것 같은 기분이다.
그래서 NewsGlobe를 보면서도 '오오! 혹시 뉴스에서 지역 정보를 어떻게 얻었는지는 안 나오려나.'라고 생각했으나, 그냥 "야후 뉴스의 RSS랑 야후 지도 서비스로 구현했어. 게다가 플래시로 이렇게 멋지게 구현했다구!"라고 쓰여있어서 그대로 좌절. 그러다가 문득 그런 생각이 들었다. 이 아저씨가 이거 만든 것도 어차피 플래시의 가능성을 보여주기 위한 것이었으니... 그 문제는 그냥 얼렁뚱땅 넘어간게 아닐까? 하는, 그런 얄팍하고 괘씸한 생각. 히히히.
댓글
2008/02/20 14:08
혹시 보스턴 글로브의 지역뉴스에 실린 거는 보스턴으로, 뉴욕 타임즈의 지역뉴스에 실린거는 뉴욕으로 해서 대강 찍은건 아닐까나? ㅎㅎ
2008/02/21 00:10
오오, 그러고보니 그런 좋은 정보가 있었네요! ㅋㅋㅋ