My OperaIle rozumie Google?
czwartek, 4 czerwca 2009 23:03:49
Niedawno z dość dużym rozgłosem ruszyły dwie nowe wyszukiwarki internetowe: microsoftowy Bing (zastąpił Live Search) oraz WolframAlpha stworzony przez Stephena Wolframa. Nowe wyszukiwarki pojawiają się dość często i każda obiecuje rewolucję i pokonanie Googla. Najczęściej atutem ma być „wyszukiwanie semantyczne”, czyli z rozumieniem wpisywanego tekstu. Do tej pory wszystkie te obietnice okazały się bez pokrycia, choć kilka wyszukiwarek niemal dorównuje Google, przynajmniej w języku angielskim. Jedynie dzieła Wolframa oferuje naprawdę coś nowego, ale to dlatego, że nie jest tak naprawdę wyszukiwarką, ale „odpowiadajką”, która ma dostarczać gotowe odpowiedzi, a nie linki do stron.
Dlaczego tak się dzieje, pisałem kiedyś obszerniej w ironicznym artykule o nowych wyszukiwarkach, streszczając: Google nie śpi, tylko się po cichu udoskonala, poprawiając algorytmy, wprowadzając nowe funkcje i funkcjonalności (np. ostatnio wyszukiwanie z prezentacją tabelaryczną). A zasoby (finansowe, zaplecze techniczne, zgromadzony zasób informacji, ludzi, zaplecze różnorodnych usług) ma daleko większe niż konkurencja. Pamiętam, jak kiedyś na stronie o demoscenie Atari pojawiła się guglowa kontekstowa reklama alkomatów. Stworzyło to okazję do dowcipów „patrzcie, Google wie, że podczas atarowskich zlotów alkohol leje się strumieniami”. Oczywiście wyjaśnienie jest proste: w słowach kluczowych strony były zwroty „zlot”, „party” itp. które oczywista kojarzone są ze spożyciem. Ale warto czasem przyjrzeć się wynikom wyszukiwania w Google, można co nieco wywnioskować o metodach. Ot, niedawno ktoś wszedł na mojego bloga szukając „dedykacje na obronę magisterki”. Zerknijmy, co wujek G mu pokazał:
Zwróćcie uwagę na podkreślenie, Google „rozumie”, że „magisterka” to „praca magisterska”! Sztuczna inteligencja? Niekoniecznie, efekt jest efektowny, ale można go w miarę prosto osiągnąć. Od dawna Google „zna” odmianę słów, poprawia też błędy ortograficzne i literówki. Wniosek taki, że ma wbudowany słownik odmiany wyrazów oraz słownik ortograficzny. Jak widać z powyższego, posiada też jakiś słownik synonimów. Może powiązania są wprowadzane ręcznie, ale może też tworzy sobie takie automatycznie. Jak? Na przykład analizując „anchory”, czyli tekst w linkach. Jeśli do tej samej strony często powtarzają się linki ze słowem „magisterka” i „praca magisterska”, to automat może to uznać za synonim (tak samo może sobie przecież budować słownik odmiany wyrazów!). Mógłby ktoś się pewnie pokusić o eksperyment, czy udałoby się „wkodować” wyszukiwarce jakiś synonim tą metodą.
Powyższy przykład pokazuje też, dlaczego tak trudno przebić tę wyszukiwarkę. Stworzenie odpowiednich słowników dla wszystkich (lub większości) języków to olbrzymie nakłady i mniejsi konkurenci mogą po prostu nie mieć środków. A dochodzi jeszcze pewnie wiele podobnych sztuczek, sposobów i tajników, które tworzą inżynierowie firmy z Montain View.
• Rozważań część dalsza, czyli Ile rozumie Google? Exemplum drugie.
Jak korzystać z funkcji cytowania: