Dall’idea di un “magazzino di dati” agli scenari disegnati da Google: la storia dei motori di ricerca sul web, dagli albori a oggi.

All’indomani della Seconda Guerra Mondiale, uno dei lasciti più importanti fu l’aggregazione della comunità scientifica per sconfiggere il nemico attraverso la condivisione del sapere. A luglio del 1945 la rivista Atlantic Monthly pubblicò l’articolo “As We May Think” di Vannevar Bush, Director of the Office of Scientific Research and Development per gli Stati Uniti durante gli anni del conflitto bellico. In questa esortazione alla comunità, Bush sottolineava l’importanza della comunicazione e della possibilità di rendere facilmente disponibile il corpo di conoscenze partorito dalle menti illuminate della comunità scientifica.

Sosteneva anche l’urgenza di un sistema extra-umano che permettesse di registrare e condividere dati. Propose un’idea di magazzino di dati virtualmente infinito, veloce, affidabile e interrogabile, che chiamò Memex. Da allora trascorrono 45 anni prima che inizi ufficialmente la storia dei motori di ricerca grazie ad uno studente universitario di Montreal. Questo ampio lasso di tempo è stato colmato e arricchito da importanti sforzi tecnologici e di “grammatica” specifica. George Salton, ad esempio, può essere considerato il creatore della tecnologia di ricerca, dopo aver sviluppato concetti fondamentali quali l’Inverse Document Frequency (IDF) e il Term Frequency (TF). Gli studi di Ted Nelson sono, invece, alla base del moderno world wide web e il suo progetto Xanadu era focalizzato sulla creazione di una rete di computer collegati da un’interfaccia user-friendly per la ricerca e la condivisione. Non ebbe successo.

Gli inizi – Archie, Veronica e gli altri

Nel 1990 Alan Emtage crea Archie, diminutivo di Archive, la prima pietra miliare della storia dei motori di ricerca: aiutava a risolvere il problema della dispersione di dati grazie alla combinazione di un generatore di script based data con le query dell’utente. Una sorta di database interrogabile di file web, anche se i primi siti internet nasceranno solamente tre anni dopo. Si comincia presto a parlare di Archie, tanto che poco dopo l’Università del Nevada System Services Computing rilascia Veronica, che lavora sui file di testo. Con lo stesso scopo spunta Jughead. I due nuovi soggetti lavorano entrambi sul sistema di invio file di Gopher, creato da Mark McCahill alla Minnesota University, sempre nel 1991. Nel breve volgere di pochi anni si affacciano progetti come V-Lib una libreria virtuale, e nel 1993 Aliuweb, che consentiva agli utenti di inserire le loro pagine accompagnate da una descrizione.

Full text search: Web Crawler

Il 1994 è l’anno della svolta nella storia dei motori di ricerca: grazie a Brian Pinkerton dell’Università di Washington, Web Crawler, indicizza le pagine web in modalità full text, ossia esaminando tutte le parole del documento in archivio, cercando riscontro in base ai criteri forniti dall’utente (keyword). Il successo causa il blocco del servizio per sovraccarico e viene in seguito comprato da AOL che, successivamente, fa lo stesso con Excite. Lo stesso anno, David Filo e Jerry Yang danno vita a Yahoo!. Directory che indicizza i siti web con una description e una URL, Yahoo consente di inserire ben presto siti commerciali e attiva un canone annuo da pagare per farne parte.

“Still Alive”: da Lycos ad Ask

Tra la fase pioneristica e il quasi-dominio di Google, c’è nella storia dei motori di ricerca una fase che dura qualche anno in cui diversi attori sono presenti sul mercato con diversi passaggi di proprietà e visibilità: la caratteristica che li accomuna è di essere in qualche modo sopravvissuti al passaggio rastrellante sul mercato di Big G. Lycos alla fine del 1996, ad esempio, aveva indicizzato 60 milioni di documenti, più di tutti i concorrenti, mentre Altavista è il primo motore di ricerca a fornire agli utenti query in linguaggio naturale, senza formattazioni o sintassi speciali. Excite è tra i search engine dominanti negli anni Novanta, salvo poi andare in bancarotta nel 1998 ed essere venduto due volte in un paio di anni. Il sud coreano Daum Co lanciato nel 1997 acquista Lycos. Hotbot viene creato da Wired Magazine e incorporato in Inktomi prima di essere comprati entrambi da Yahoo! nel 2003. Un caso particolare è rappresentato da Yandex: lanciato nel 1997, è tuttora il più diffuso in Russia con oltre 10 miliardi di pagine indicizzate.

L’arrivo di Big G

È il 1998, arriva Google che con la sua tecnologia Page Rank diventa subito un partner ambitissimo, ricercato da AOL e Yahoo!. La serie continua di aggiornamenti durante tutti gli anni 2000 porta già alla fine del primo decennio a una quota di mercato superiore al 75% per la creatura di Larry Page e Sergey Brin. Il grosso della fetta restante se la spartiscono in gran parte Baidu e Bing. Il primo è stato fondato nel 2000 ed è il primo motore di ricerca in lingua cinese con il 7,5% del totale secondo i rilevamenti di novembre 2016. Il secondo con l’8,28% è il più prossimo rivale di Google ed è nato nel 2009 sull’esistente Live Search per mano di Microsoft. Una nuova ventata di novità arriva dall’Europa negli ultimi anni e cambia obiettivo di fondo: essendo impossibile scalfire l’attuale 80,1% di Google e il quasi 97% complessivo dei primi tre motori di ricerca, l’obiettivo è di specializzarsi in ambiti specifici. È, ad esempio, il caso di Qwant che prova a far leva sul valore della privacy, unico tasto dolente della resa collettiva a Google: promette di restituire risultati all’utente totalmente imparziali, non essendo gli utenti stessi tracciati. Pur con il limite di mischiare proprietà privata e interesse pubblico, è un esperimento da seguire per capire se può rappresentare uno scenario percorribile anche da altri.