Motori di ricerca

Il web: un'invenzione di Tim Berners-Lee e colleghi

Il web così come noi lo conosciamo è un'invenzione di Tim Berners-Lee, Robert Caillau e altri scienziati europei e americani. Tra il 1989 e il 1991 al CERN di Ginevra creano i primi browser, il protocollo HTTP e il linguaggio HTML per la composizione e visualizzazione di documenti ipertestuali, ovvero contenenti link.

I primi motori di ricerca

I primi motori di ricerca ovviamente non erano consultabili via web: erano veri e propri programmi da installare. Nel 1994 diventava operativo il primo motore di ricerca basato su web: WebCrawler, un esperimento finanziato dall'università di Washington. Le innovazioni introdotte da questo motore di ricerca consistevano nel funzionare come un sito Internet, dotato di uno strumento per catalogare le pagine automaticamente, lo spider. Questo software memorizza le informazioni contenute sulle pagine web e le rende accessibili agli utenti del servizio di ricerca.

Lycos e l'indicizzazione delle pagine web

Negli ultimi mesi del 1994 il motore di ricerca Lycos riusciva a indicizzare in pochissimi mesi oltre il 90% delle pagine web, analizzando soltanto le prime 20 righe di ogni pagina indicizzata, permetteva di mostrare nei risultati anche una breve descrizione. Con l’avvento di Excite, nel dicembre 1995, i risultati cominciano a essere ordinati in base al criterio dell’importanza delle pagine, abbandonando le liste interminabili di risultati non ordinati. Excite è stato il primo motore di ricerca a dotarsi di strumenti finalizzati esplicitamente all’attività commerciale. Dopo aver acquistato WebCrawler, ha offerto personalizzazioni agli utenti e caselle di posta gratuite, trasformandosi in meno di due anni in uno dei primi portali web (1997).

La nascita di Google

Con la nascita di motori di ricerca sempre più evoluti, Excite mette da parte la propria vocazione originaria, optando per l’utilizzo degli strumenti di ricerca di altre società, tra cui oggi anche Google. Ma il panorama dei precursori di Google non sarebbe completo senza una menzione di quello che nel 1997 era il miglior motore di ricerca esistente, nonché il più popolare: Altavista. Usando cluster di computer collegati fra loro, hardware all’avanguardia e il meglio delle tecnologie allora disponibili, era riuscito in breve tempo a rendere la propria creatura il motore di ricerca più usato e più apprezzato dagli utenti, ancora oggi il maggiore antagonista di Google nel mondo Web.

L'origine del nome Google

La parola Google deriva da “Googol”, termine matematico che indica un 1 seguito da 100 zeri, il numero di pagine web che Larry Page e Sergey Brin sognavano di indicizzare con il loro nuovo strumento di ricerca. Si dedicano al progetto BackRub, chiamato così perché era in grado di analizzare i “back links” che puntavano a un sito e di fornirne una mappatura. In seguito BackRub sarà ribattezzato Google quando verrà dotato di una pagina web, nel 1997.

L'innovazione di Google

L’innovazione fondamentale introdotta da Google è quella di ribaltare il processo di indicizzazione delle pagine: non si elencano più i siti in base alla “prossimità” rispetto alla richiesta effettuata, ma si mostrano i risultati esattamente nell’ordine “corretto”, ovvero rispondenti alle aspettative dell’utente. Il primo link reso disponibile deve essere la risposta “esatta” all’interrogazione; i successivi si allontanano via via dal fulcro della richiesta.

PageRanking e il successo di Google

All’inizio, Google è solo un progetto accademico e scientifico, per il quale il sistema di valutazione dipende in larga misura dai giudizi dei recensori (referees) che operano secondo il meccanismo della “revisione dei pari” (peer-review). Il metodo che teoricamente offre le garanzie maggiori di oggettività è il cosiddetto “doppio cieco” (double-blind). Il numero di link che conduce a una pagina è un modo per valutare il valore della pagina stessa e in un certo senso la sua qualità. Così, secondo Page, i link provenienti da siti con un elevato numero di link, sono di maggiore importanza. Pertanto, un percorso (link) che giunge a una pagina da un sito molto popolare ha maggiore rilevanza rispetto a un percorso proveniente da una pagina poco nota. In questo modo un link da una pagina A a una pagina B viene interpretato come una recensione scientifica, di maggior peso a seconda della popolarità del recensore/votante che fornisce il link.

Il sistema di Google

La valutazione delle pagine web di Google, detta PageRanking, si costruisce dunque in base a un sistema di recensione pubblica esteso a tutti i navigatori della Rete. Nel 1996 Page lancia il suo spider, un programma per esplorare il web, testandolo con l’algoritmo di ranking che aveva sviluppato. Per gli amministratori di rete di Stanford, il consumo di banda del motore di ricerca comincia a rappresentare un problema significativo. Non solo, ma i proprietari dei siti indicizzati si preoccupavano da un lato dei diritti di copyright dei propri materiali e dall’altro del fatto che il ranking di Google non tenesse in alcuna considerazione i premi ufficiali o gli altri sistemi di valutazione consolidati, fatta eccezione per la quantità e qualità (nel senso di popolarità) delle relazioni che una pagina è in grado di muovere attorno a sé.

La crescita e il business di Google

Questa forzatura sarà la chiave dell’efficienza di Google negli anni a venire: i risultati non sono più stabiliti in maniera assoluta una volta per tutte, ma variano dinamicamente a seconda della posizione assunta dalle pagine nel contesto della rete. Page e Brin sviluppano e testano Google per tutto il primo anno e mezzo di vita usando strumenti liberi messi a disposizione delle comunità Free Software e Open Source, a partire dal sistema operativo GNU/Linux. Tale struttura modulare è la base del datacenter odierno di Google, il Googleplex, che permette la sostituzione o l’aggiunta di hardware e software, la sua manutenzione e aggiornamento senza dover mai bloccare il servizio.

Google Inc. e il modello economico

A metà del 1998 Google serve circa diecimila richieste di ricerca al giorno; il sistema casalingo ammassato nella stanza affittata da Page e Brin è ormai sull’orlo del collasso. Bisognava trovare un sistema di finanziamento per il progetto che andasse al di là dei normali fondi per la ricerca. La nascita della società coincide con l’assunzione dei primi dipendenti necessari allo sviluppo e alla manutenzione del datacenter. Il sistema-Google è scalabile perché in grado di “crescere” o “decrescere” in funzione delle necessità e delle disponibilità. Non è necessario riprogettare il sistema quando vengono aggiunte nuove risorse; la struttura altamente modulare consente l’acquisizione di nuovi moduli senza soluzione di continuità. Gli uffici sono stipati nel garage che un amico subaffitta alla società, nel 1999 Google abbandona definitivamente il campus di Stanford.

Google e il panorama attuale

Tra il 1998 e il 1999 Google è l’unico strumento privo di pubblicità e servizi aggiuntivi: solo motore di ricerca, per altro il migliore, il più veloce, e senza legami commerciali o sponsor. Mostrando grande capacità di interlocuzione con le alte sfere della finanza, e ribadendo in continuazione il loro interesse per la ricerca, Brin e Page riescono a mettere d’accordo due delle principali società di finanziamenti della California, che a sorpresa accettano di cofinanziare una singola compagnia: caso più unico che raro, due enormi società di capitale di rischio (venture capitalism) vengono convinte a dividere i rischi, e i profitti, dell’eventuale affare.

Il dominio di Google

I due presidenti cercano un modo per far fruttare in senso economico la mole di dati indicizzata. Il modello di business che si dimostra più adatto alla nuova società è invece la pubblicità diretta all’interno del motore di ricerca, attraverso il conteggio del numero di visitatori che accedono ai siti dai link promozionali a pagamento. Questo modello economico, CPM, è strutturato in modo da essere il meno invasivo possibile.

Il self-service pubblicitario

Un modello economico basato sulla comparsa di semplici link da sponsorizzare a lato dei risultati delle ricerche è poco vantaggioso in termini di profitto. I presidenti si guardano a Goto, società oggi di proprietà di Overture/Yahoo!. Il business di Goto consisteva nel mescolare risultati effettivi e quelli sponsorizzati, fatturando agli inserzionisti soltanto i click compiuti dagli utenti sui loro indirizzi: un modello noto come CPC (Cost Per Click). Google cerca di avviare una partnership con Goto, ma il deciso rifiuto del presidente li obbliga a implementare internamente uno strumento simile. Google si ritrova proprio allora a fare i conti con la necessità di monetizzare le proprie tecnologie di ricerca.

Google e l'espansione dei servizi

Nel 2001 Google lancia “Google immagini”, nell’aprile 2001 Usenet diventa “Google gruppi”, Google Maps per la Terra, Marte o per la Luna (2005 e 2006), un set di software messo a disposizione gratuitamente per visualizzare con immagini satellitari una piantina dettagliata o almeno una ricostruzione fotografica della superficie dei pianeti. “Google Directory” nel 2005 vedono la luce Google News, che mette l’enorme database di informazioni di Google al servizio della produzione giornalistica, e Gmail, che offre 1 Gigabyte di spazio mail per ogni utente. Si arriva poi al progetto di Google Scholar (Accademia), un motore di ricerca ancora sperimentale, in fase beta (la cosiddetta fase di beta-testing), che permette di individuare testi della letteratura accademica come articoli sottoposti a revisione, tesi di laurea, di dottorato, volumi accademici, preprint, sommari, rapporti tecnici, recensioni di tutti i settori della ricerca accademica. Infine Google Library, che ha l’ambizione di mettere a disposizione online tutti i libri del mondo in formato digitale, stringendo accordi con biblioteche di tutto il mondo per la digitalizzazione dei volumi, ma anche con gli editori interessati. Nonostante l’opposizione dei fautori del copyright, non si tratta di un’iniziativa per la libera circolazione dei saperi, ma solo di un cambio di monopolio dell’informazione, che passerebbe da alcuni grandi editori a Google.

AdSense e la rete di Google

Nel 2004 viene lanciato AdSense, cioè la possibilità per chiunque di ospitare sul proprio sito alcuni link commerciali suggeriti da Google in base agli argomenti trattati e ad alcune parole chiave. La “Rete di Google”, una rete che incrocia i dati degli utenti e le relazioni fra di essi per i suggerimenti pubblicitari. Il numero di utenti che compiono ricerche tramite Google e affidano ai suoi server i propri dati deve crescere continuamente, affinché cresca di pari passo il numero di inserzionisti che pubblicizzano nella “Rete di Google” i propri prodotti.

GooglePlex e la cultura aziendale

GooglePlex, la sede operativa per i lavoratori di Google a Mountain View, è una specie di campus universitario in cui le persone sono costantemente coccolate e ai dipendenti viene persino lasciato un giorno alla settimana per lavorare ai propri progetti; questi progetti vengono poi presentati al “Google Duo” che premia con denaro e sostegno aziendale i talenti più promettenti.

Google in borsa

Google, il gigante buono, va in borsa. Di fronte a dimensioni simili, gli investitori cominciano a pretendere maggiore chiarezza e controllo, imponendo una struttura societaria più credibile. Ma ormai, dopo AdSense, nel 2004, per quanto nelle parole di Page “Google non è una compagnia convenzionale. E non abbiamo nessuna intenzione di diventarlo”, per ragioni legali il nuovo colosso diventa esattamente come tutte le altre società americane e si quota in borsa. Google Inc. è ormai un gigante fra i giganti della Borsa mondiale, e se trema, in molti tremano con lui.

Il monopolio della ricerca

Nell’autunno 2004 Page e Brin, in viaggio sul loro charter privato, vengono a sapere che il colosso AOL (America Online, il principale provider statunitense) ha firmato il contratto per il proprio motore di ricerca con Yahoo!. I neotrentenni cambiano rotta, dirigono su Londra e convincono AOL a strappare il contratto già firmato e passare a Google con un’offerta irresistibile da 50 milioni di dollari. Ormai Google è sinonimo di web, si è sempre trincerata dietro la presunta oggettività degli algoritmi di ricerca e l’obiettività delle macchine nel fornire risultati senza manipolare in alcun modo i risultati. Eppure, poco prima del causa con American Blind, Google aveva deciso di rimuovere alcune AdWords acquistate dal gruppo di attivisti Oceana. La “colpa” di Oceana era stata la pubblicazione di denunce ecologiste circa l’attività di un grosso investitore di Google.

Google in Cina

Il caso più recente e noto rimane l’entrata in Cina del colosso della ricerca. Per cercare di conquistare il crescente mercato cinese, Google si è infatti piegato pubblicamente per la prima volta alle richieste di censura, rendendo inaccessibili i siti indicati dall’autorità censoria cinese agli utenti che effettuano le ricerche dal territorio cinese. Sul fatto che la tanto sbandierata trasparenza di Google cominciava a vacillare: bisognava rendere noto agli utenti l’applicazione di una censura che rischiava altrimenti di rimanere “nascosta”.

Il futuro della ricerca e l'indice globale

Secondo Google, presto il mondo sarà un enorme indice in cui le risorse digitali corrisponderanno completamente e perfettamente alla definizione della realtà circostante; ogni indice potrà essere raccolto e offerto nel modo migliore attraverso un algoritmo nei risultati di una ricerca. Google è nella posizione perfetta per essere lo strumento per gestire questo indice. La via di fuga può essere solo una nuova direzione nelle nostre scelte: non si tratta di usare o non usare Google o i suoi servizi, ma di scegliere diversamente il modo di mettere informazioni su Internet e di imparare a collegarle in modo nuovo, con percorsi nuovi e più interessanti per ciascuno di noi.

BeGoogle

La fuga dei cervelli verso Google: la guerra per il controllo del web. “Ucciderò quel fottuto di Google! Eric Schmidt è un fottuto e lo seppellirò, come ho già fatto”: così è esploso nel maggio 2005 Steve Ballmer, amministratore delegato di Microsoft, alla notizia dell’assunzione da parte di Google di Kai-Fu Li, dirigente di punta della casa di Redmond e suo uomo chiave in Cina (Kai-Fu Li aveva infatti realizzato il motore MSN Search per i cento milioni di utenti cinesi: Kai-Fu Li infatti è solo l’ennesimo dirigente passato a Google ovvero “la società che più assomiglia a Microsoft”.

Il confronto con Microsoft

La scelta del management da parte di Brin e Page è un chiaro indice degli obiettivi di Google: diventare la piattaforma del web più completa e maggiormente personalizzabile, promuovendo una personalizzazione dei servizi, sostenuta da un immenso bacino di informazioni. In sostanza, Google spinge sull’acceleratore per catalogare ogni genere di informazione digitale, dai siti web ai forum di discussione, dalle immagini ai video, dalle email ai blog, senza che si intravveda alcun limite all’orizzonte; ciò significa fare la guerra a Microsoft. Microsoft è riuscita a imporre il suo predominio grazie ai sistemi operativi e ai programmi per ufficio, che attualmente sono uno standard nel mondo del lavoro e nell’home computing; da parte sua, Google si pone ormai da tempo come mediatore globale dei servizi web, quali la ricerca di informazioni (che è il suo core business) in tutte le sue declinazioni, ma anche servizi aggiuntivi come la posta elettronica.

Code lunghe nelle reti: Google vs. Microsoft

Schematizzando in un’opposizione netta, Microsoft domina da anni grazie a dei prodotti che portano a dei servizi, Google sta cercando di dominare grazie a dei servizi che necessitano di prodotti di supporto. La scommessa di Google è quella di soddisfare ogni bisogno/desiderio che gli utenti esprimono nelle loro ricerche, fornendo servizi per il nuovo consumismo “a misura d’individuo”. I tantissimi clienti che comprano online volumi non particolarmente popolari rappresentano una miriade di “eventi” che si verificano raramente, o addirittura una sola volta; riuscire a soddisfare queste “ricerche personalizzate” costituisce il punto di forza della distribuzione di Amazon. Questo tipo di mercati viene chiamato in gergo economico a “coda lunga”. La teoria statistica delle “code lunghe” risale almeno alla “distribuzione di Pareto”, in cui “pochi eventi si verificano con estrema frequenza, molti eventi si verificano con scarsità”. Una miriade di “eventi”, singolarmente pressoché irrilevanti, ma nel complesso numericamente assai elevati. La strategia vincente sui mercati a “coda lunga” è quindi non l’abbassamento dei prezzi dei prodotti più popolari, ma l’ampliamento dell’offerta, che permette ricavi maggiori attraverso la vendita in poche copie di tanti prodotti diversi.