|
Cenni sul funzionamento dei motori di ricerca
L'abusatissimo
termine 'motore di ricerca' è spesso utilizzato
impropriamente per descrivere un sito da cui
iniziare la propria navigazione con possibilità di
effettuare una ricerca all'interno di un archivio di
informazioni su siti web.
Bisogna invece fare
un'attenta distinzione tra i siti di ricerca, in
quanto un'errata valutazione del funzionamento di
questi potrebbe indurci verso strategie inefficaci.
Una distinzione
fondamentale va quindi fatta tra motori di ricerca
propriamente detti, Altavista e Google ad esempio, e
le directory come Yahoo!.
2.1 Motori di
Ricerca e Directory
I motori di ricerca
(Hot Bot, Altavista, Google etc.) generano i loro
archivi automaticamente grazie all'azione di un
software generalmente chiamato Spider o Crawler che
scansiona i siti che vengono sottoposti dagli utenti
e ne ritengono il loro contenuto opportunamente
categorizzato ed organizzato secondo le parole
chiave.
Lo spider visita
poi il sito regolarmente ad intervalli di tempo
predeterminati al fine di tenere
aggiornato il contenuto del proprio data-base in
maniera sincronizzata rispetto agli aggiornamenti
del sito.
Nei motori di
ricerca a 'ragno' i tag html del titolo, la
grandezza dei font, i meta-tag giocano un ruolo
fondamentale nel posizionamento del sito.
Nelle directory
invece il ruolo di scansione di un sito viene
affidato ad un operatore il quale valida la breve
descrizione fornita dal webmaster che iscrive il
proprio sito o ne scrive una propria.
Nel data-base in
cui verranno effettuate le ricerche non verrà quindi
indicizzato direttamente il contenuto del sito bensì
la recensione validata che andrà poi inserita in una
gerarchia ad albero per le ricerche categorizzate.
I cambiamenti nelle
pagine web di un sito non sortiranno quindi nessun
effetto sull'aggiornamento del contenuto del
data-base.
L'unica tecnica
veramente efficace per un ottimo posizionamento su
questo tipo di siti dipende dal contenuto di un sito
web, siti web veramente pregnanti rispetto ad un
argomento otterranno sicuramente una recensione
migliore rispetto a siti dai contenuti scarsi.
2.2 le
componenti di un motore di ricerca
Un motore di
ricerca è formato da tre componenti fondamentali lo
spider, l'indice ed il motore vero e proprio.
Lo spider, che potrete anche trovare sotto il nome
di crawler, visita una pagina web, ne scansiona il
contenuto e segue i link presenti al fine di
individuare le altre pagine che formano il sito.
Lo spider ritornerà poi su base regolare, variabile
da motore a motore, al fine di rilevare eventuali
aggiornamenti del sito e di conseguenza aggiornare
il proprio archivio con i nuovi contenuti.
L'indice, che a volte viene anche chiamato catalogo,
è il data-base in cui vengono depositate le
informazioni relative ai siti visitati dallo spider,
l'indice viene regolarmente aggiornato quindi grazie
all'azione dello spider.
Il processo di 'spiderizzazione' viene di norma
effettuato in tempo reale dal motore subito dopo
l'iscrizione di un URL, l'indicizzazione del suo
contenuto avviene però soltanto dopo che un
operatore abbia validato l'operazione.
E' per questo motivo che a volte si aspetta un po'
di tempo prima che il proprio sito risulti
effettivamente registrato in un motore.
L'ultima parte è
quella del motore vero e proprio che consente di
effettuare una query
(interrogazione) all'interno del data-base in cui
sono presenti le informazioni relative a milioni e
milioni di pagine web restituendo in ordine di
rilevanza i siti che potrebbero risultare più
pregnanti rispetto alle parole chiave richiesta.
2.3 Le
caratteristiche dei principali motori di ricerca
Le componenti
fondamentali che abbiamo visto nel paragrafo
precedente sono comuni a tutti i motori di ricerca,
ciò che rende differenti i motori l'uno dall'altro
sono le modalità adoperate, l'architettura dei
software proprietari e l'organizzazione delle varie
fasi.
Nello schema
seguente sono riportate le caratteristiche
fondamentali riferite ai pricipali motori di ricerca
(Altavista, Google, Excite, Northern Light e Inktomi)
ovvero i più utilizzati dai navigatori internet di
tutto il mondo.
Spidering
Altavista Google Excite NLight Inktomi Deep Crawl
I motori di ricerca
che implementano la funzione deep-crawl scansionano
un URL in profondità rilevando anche pagine che non
sono state esplicitamente sottoposte allo spidering.
Instant Indexing
La funzione Instant
Indexing fa sì che un sito venga indicizzato
nell'arco di un paio di giorni.
Frames Support
Il supporto ai frames implica un 'quasi'
corretto riconoscimento da parte del motore di
ricerca della gerarchia dei frames in modo da
indicizzare le pagine dotate di frame.
Image Maps
Alcuni motori non sono dotati del supporto alle
Image Maps, ciò fa sì che un sito dotato di una
homepage esclusivamente grafica non venga
indicizzato correttamente.
robots. txt
Il file robot. txt (da inserire nella root del
proprio URL) indica ai motori eventuali restrizioni
nella scansione di un sito.
Meta Robots Tag
Questo speciale Meta Tag indica ad uno spider
che la pagina non deve essere indicizzata.
Link Popularity
Alcuni motori indicizzano più profondamente le
pagine di un sito se il sito risulta molto popolare
in base al numero di linkaggi da parte di altri
siti.
Learns Frequency
Se le pagine di un sito vengono aggiornate con
una certa frequenza alcuni spider, dotati di questa
funzione, possono rilevarne questa caratteristica e
visitarli molto più spesso che altri.
Indicizzazione
Altavista Google Excite Nlight Inktomi Full Body
Text
La maggior parte dei motori di ricerca indicizza
tutto il testo disponibile in una pagina web sebbene
tralasci quei testi in 'odore' di spamming.
Stop Words
Alcuni motori tralasciano l'indicizzazione di parole
apparentemente inutili in modo da occupare meno
spazio nell'indice.
Meta Description
I motori che supportano i meta-tags in generale
Meta Keywords
I motori che supportano i tag specifici 'keyword'
e 'description'
ALT text
I motori che indicizzano il tag ALT per le
immagini
Ranking Altavista Google Excite Nlight Inktomi
Meta Tags
Boost Ranking
Alcuni motori di ricerca danno automaticamente un
posizionamento migliore alle pagine che
includono i metatags 'description' e 'keywords'
Link Popularity
Boosts Ranking
Alcuni motori accreditano un posizionamento
migliore a quei siti che risultano linkati da altri
siti già indicizzati
Direct Hit Boost
Ranking
Il posizionamento in alcuni motori può derivare
anche dalla tecnologia 'Direct Hit' che accredita un
migliore posizionamento a quei siti che ottengono
più 'click' durante le ricerche degli utenti
Antispam
Altavista Google Excite Nlight Inktomi Meta Refresh
Alcuni motori non
indicizzano completamente pagine che abbiano al loro
interno il meta tag 'refresh molto utilizzato nella
creazione di pagine doorway
Invisible Text
Alcuni webmaster utilizzano la tecnica di
ripetere in maniera smodata le keywords in fondo
alla pagina utilizzando lo stesso colore dello
sfondo per occultarle. Questa tecnica è considerata
spamming da alcuni motori di ricerca che potrebbero,
nei casi più evidenti, anche non indicizzare la
pagina in questione
2.4 Spidering
(Scansione)
Gli spider, che a volte vengono anche
chiamati crawler o robot, visitano le pagine web del
vostro sito come un vero utente (agli 'occhi' del
server, ovviamente) lasciano quindi traccia di sé
nei server-logs.
Potreste quindi
controllare, avendo accesso ai log del vostro
server, se un dato spider vi abbia realmente
visitato subito dopo aver effettuato l'iscrizione,
quante volte e soprattutto quanto frequentemente
torna a visitare il vostro sito in cerca di
aggiornamenti.
Come
identificare uno spider?
La maggior parte
degli spider possono essere identificati per mezzo
dell'host di provenienza (ad es. spidey. metacrawler.
com) oppure grazie al 'nome di battesimo', Mozilla
nel caso di Netscape e Open Directory Project,
Scooter nel caso di Altavista, Slurp nel caso di Hot
Bot.
Motore Nome
Agente Nome Host
AltaVista (normal spider) Scooter/ 2.0 G. R.
A. B. X2.0
Scooter/ 1.0
scooter@ pa. dec. com
scooter. pa-x. dec.
com
scooter*. av. pa-x. dec. com
es: scooter3. av. pa-x. dec. com
AltaVista (instant spider) Scooter/ 1.0
add-url. altavista. digital. com
ww2. altavista. digital. com
Excite (mega spider) ArchitextSpider crawl*.
atext. com
es: crawl2. atext. com
Excite (fresh spider) ArchitextSpider
crimpshrine. atext. com
Google BackRub/ 2.1
backrub@ google. stanford. edu
*. stanford. edu
es: hake. stanford. edu
Inktomi Slurp/ 2.0
slurp@ inktomi. com
*. inktomi. com
es: j2001. inktomi. com
Lycos (regular spider) Lycos_ Spider_(
T-Rex) lycosidae. lycos. com
o *. pgh. lycos. com
es: spider3. srv. pgh. lycos. com
Lycos (Add URL spider) Lycos_ Spider_(
T-Rex) *. sjc. lycos. com
es: sjc-fe4-1. sjc. lycos. com
Northern Light Gulliver/ 1.2 taz. northernlight.
com
Infoseek InfoSeek Sidewinder/ 0.9 *. infoseek. com
es: wilbur-bbn. infoseek. com
Come comunicare
con uno spider?
La quasi totalità
degli spider in circolazione inizia il proprio
processo di scansione da un file
ROBOT. TXT presente nella root dell'URL inserita che
contiene, secondo una certa sintassi, alcune righe
di codice che comunicano allo spider quali pagine
possono essere indicizzate e quali no.
Tutti gli host, che troverete nei vostri log, che
richiedono questo file appartengono ad uno spider,
ciò vi aiuterà ad individuare meglio la
corrispondenza host/ spider.
Molto spesso potrete trovare host che non si
riferiscono a motori di ricerca veri e propri bensì
a programmi di visualizzazione off-line come
teleport PRO o Web Grabber.
Questi software possono inviare i loro spider su
internet al fine di scaricare in locale siti interi
e potrebbero trarvi in inganno facendovi pensare che
siano spider provenienti da un motore di ricerca.
Se avete un
programma di analisi dei log che vi permetta di
elaborare statistiche in base a d una query,
potreste inserire il nome dell'host (ad es. scooter)
ed ottenere delle statistiche sulla frequenza delle
visite del 'ragno' di Altavista.
2.5 Ranking
(Rilevanza)
Provate ad inserire un termine nel vostro
motore di ricerca preferito, in pochi istanti il
motore scansionerà milioni di informazioni presenti
nel suo archivio alla ricerca degli
URL che contengono le informazioni che vi
necessitano.
Le pagine che il
motore vi restituisce sono ordinate per rilevanza
(ranking) in modo da
far apparire per primi i siti che potrebbero essere
più pregnanti rispetto
all'interrogazione.
Naturalmente non sempre i motori restituiscono URL
strettamente inerenti all'argomento
dell'interrogazione (query), ma con una buona
percentuale di scarto il lavoro reso dai motori di
ricerca è sempre eccezionalmente preciso.
Ma come fanno i
motori, dei software quindi, a stabilire la
rilevanza di un sito rispetto alla domanda formulata
dall'utente?
I motori cercano di
simulare il ragionamento di un essere umano ed
effettuano il ranking secondo una serie di processi
che si basano sulla localizzazione e sulla frequenza
di una data keyword (parola chiave) menzionata
all'interno di una pagina web.
Immaginate di avere una biblioteca e di cercare un
testo che parli di un dato argomento, ad esempio 'piante',
sicuramente inizierete la vostra ricerca prendendo
in considerazione tutti i testi che contengono nel
proprio titolo la parola 'pianta' o 'piante'.
Allo stesso modo i
motori di ricerca assumono come traccia il titolo di
una pagina web (ben
identificabile all'interno di una pagina web perché
compreso tra i tag <TITLE> e </ TITLE>).
La ricerca all'interno del titolo potrebbe però
rivelarsi insufficiente ai fini di stabilire la
rilevanza della ricerca rispetto ad una data keyword,
a tal fine quindi la scansione prosegue all'interno
della pagina web prendendo in considerazione la
testata ed alcuni paragrafi di testo, rilevando
l'eventuale ripetizione della keyword in quella
pagina.
La frequenza con cui una keyword è ripetuta, aiuta a
determinare ulteriormente la rilevanza secondo il
principio che se una data parola è ripetuta con
maggiore frequenza la rilevanza sarà maggiore.
Questo principio di
base è comune a tutti i motori di ricerca, i quali
aggiungono a questo modello alcune discriminanti che
permettono di affinare ulteriormente il ranking e
renderlo più efficiente.
Google, ad esempio, attribuisce molta importanza
alla popolarità di un sito basandosi sulla quantità
di altri siti che lo linkano in internet, se un
sito viene linkato da molti altri siti probabilmente
il suo contenuto sarà importante e maggiormente
interessante rispetto ad altri siti che non
ottengono la stessa popolarità.
I motori ibridi,
Lycos ad esempio, attribuiscono invece un ranking
elevato a quei siti che hanno precedentemente
ottenuto una recensione nella directory, se un sito
è stato recensito da un operatore … sicuramente il
suo contenuto sarà stato controllato e giudicato
pregnante rispeto ad un dato argomento.
2.6 La
localizzazione
Nei primi anni
della grande diffusione di internet nel mondo, i
motori di ricerca erano costituiti da una struttura
unica, nella quasi totalità dei casi localizzata
negli Stati Uniti, che provvedeva ad indicizzare su
base mondiale i siti web che disponeva in un immenso
calderone (l'indice) in cui le ricerche su base
regionale (in lingue differenti) venivano condotte
basandosi sulla differenze linguistiche.
Molti di voi
avranno sicuramente sperimentato la ricerca su
Altavista. com di parole chiave in lingua italiana
ottenendo poche pagine di risultati ed invece
migliaia di pagine sullo stesso motore inserendo
termini anglosassoni (seppur utilizzati anche in
Italia) come ad esempio 'computer' o 'monitor'.
Oggi la situazione
si presenta ben diversa e, a parte lo sviluppo nei
vari paesi di motori nazionali, ogni grosso motore
di ricerca internazionale ha aperto una filiale
nelle varie nazioni rendendo disponibili versioni
localizzate dei propri motori (Altavista. it, Excite.
it, Google. it ad esempio).
Ciò ha comportato
l'istituzione di un indice aggiuntivo che contiene
le informazioni relative ai siti web in una data
lingua separato dall'indice internazionale in lingua
inglese.
E' comunque possibile che uno stesso sito sia
presente sia nell'indice regionale che in quello
internazionale.
Alcuni motori hanno
anche una versione regionalizzata dello spider che
permette una maggior accuratezza nella scansione dei
siti in una certa lingua.
2.7 Ulteriori caratteristiche dei motori e
delle directory più importanti
AltaVista
È uno dei motori più grandi e popolari, con
oltre 140 milioni di pagine indicizzate, l'URL
principale è: http:// www. altavista. com/ e fino al
1998 ha fornito il servizio tecnico di ricerca per
Yahoo.
Altavista indicizza tutte le parole presenti in una
pagina Web, le nuove iscrizioni vengono aggiunte al
database abbastanza velocemente, normalmente entro
un paio di giorni lavorativi
È sufficiente sottoporre la pagina principale del
sito, successivamente lo spider esplora il sito
indicizzando un campione rappresentativo di pagine.
Il piazzamento migliore è ottenuto con pagine che
contengono da tre a cinque keyword nel titolo.
Altavista offre diverse opzioni alternative per
accedere ai risultati della ricerca, tra le quali
spiccano il servizio di risposta alle domande in
linguaggio naturale, offerto in collaborazione con:
Ask Jeeves, e RealNames.
È stato anche attivato un nuovo servizio tramite il
quale è possibile piazzarsi in testa ai risultati
pagando il motore, AltaVista fornisce inoltre molte
opzioni di ricerca per utenti interessati in
ricerche molto sofisticate, e per questo è stato
allungo il favorito dagli informatici.
A parte le tradizionali opzioni di ricerca booleane,
AltaVista ha molti campi per restringere la ricerca,
ed ha un'opzione molto interessante per "ricerca
forzata di frasi", in una ricerca di base con
AltaVista due parole inserite insieme, e che
statisticamente fanno parte di frasi, vengono
considerate come una frase anche senza includerle
tra virgolette.
Questo cambia se si utilizzano le opzioni di ricerca
avanzata, nel campo per le ricerche booleane tutti i
termini sono trattati come frasi a meno che con
siano separati da una sbarretta, nel campo "sort by
search" i termini inseriti sono trattati
individualemente, e le frasi devono essere
virgolettate.
AltaVista offre
anche la possibilità di tradurre i risultati in
varie lingue, opzione estremamente utile quando ci
si imbatte in siti di cui si ignora la lingua, la
traduzione non sarà molto accurata ma quanto basta
per afferrare il senso della pagina in questione.
AltaVista fornisce anche un particolare servizio per
trovare foto e file multimediali attraverso
un'utility che ne fornisce un'anteprima grafica.
Come Google,
AltaVista usa il "RealName Internet keyword" per
linkarsi alle home page di società o dei loro
marchi.
Excite
È uno dei motori
più grandi, il suo indice conta 55 milioni di
pagine, L'URL di riferimento è:
http:// www. excite. com/, può risultare lento
nell'indicizzare nuovi siti.
I siti che fanno uso di frames devono avere nel
codice una sezione NOFRAMES per essere
registrati e fino a qualche tempo fa Excite ignorava
il DESCRITION meta tag, mentre ora sembra che quest'ultimo
venga preso in considerazione nella creazione delle
liste di risultati pur continuando a non influire
nel posizionamento (determinato principalmente dal
titolo e dal testo della pagina).
L'uso di: gateway pages e di hidden text è
consentito.
Excite offre anche un servizio per la ricerca di
file audio/ video che fa parte di Realplayer G2
della RealNetworks.
Excite fornisce qualche opzione di ricerca in più
rispetto a Google per ottenere una ricerca più
dettagliata, ma il vero pezzo forte di Excite è il
suo concetto stesso di ricerca, Excite è infatti il
posto migliore da cui fare ricerche di ampio spettro
nella rete.
Se si immette nel campo di ricerca una parola Excite
ricerca sinonimi e altre parole che sono legate
statisticamente a tale termine.
Excite risulta quindi un buon motore di ricerca,
grazie alla sua estrema flessibilità, se non si è in
grado di ricercare con termini precisi.
Go. com
È il risultato dell'acquisto di Infoseek da
parte della Disney, si tratta di un portale con
funzioni di ricerca basate sulla tecnologia di
Infoseek, il servizio è reperibile all'URL: http://
go. com/.
Go. com supporta le ricerche Booleane e permette
ricerche con molti restrizioni di campo, onde
focalizzarle meglio.
Le opzioni di ricerca avanzata offrono inoltre una
varietà di discriminanti per la ricerca di
determinate informazioni.
Una opzione molto comune è la ricerca per società,
opzione che fornisce oltre all'url della
compagnia, il prezzo delle informazioni e un
rassegna stampa.
Le pagine dei risultati delle ricerche effettuate su
Go. com fornisce molteplici opzioni accanto ad una
lista dei risultati rilevanti ottenuti, offrendo una
lista di ricerca collegate come un'opzione che
permette al motore di ricerca di dare avvio ad una
nuova ricerca basata su una specifica pagina.
E' anche presente la possibilità di effettuare una
ricerca su livelli facendo prima una ricerca su
vasto campo e poi ricercando all'interno dei
risultati ottenuti, piuttosto che ricercare nella
Rete di nuovo.
Anche Go. com, infine, fornisce un'opzione per la
traduzione delle pagine ottenute.
Google
Questo è il motore
di ricerca più semplice da usare, Google mette
infatti a disposizione dell'utente pochissime
opzioni di ricerca.
In effetti le sole opzioni disponibili sono il segno
"–" per escludere termini e le parantesi per far si
che determinati termini vengono trattati come frasi,
Google infatti ricerca tutte le parole inserite nel
campo di ricerca come se fossero parole separate,
ciò significa che se cerchiamo le parole "avvocato"
e "penalista" esso ci riporterà tutte le pagine ove
risultano tali parole a dispetto degli altri motori
di ricerca ove è possible usa i valori booleani OR o
AND.
Le pagine con i risultati di Google propone
l'opzione di ricerca per pagine simili ad una pagina
specifica che risulta molto utile se si vuol trovare
una pagina simile ad una buona pagina già trovata.
Una particolarità interessante nel funzionamento di
Google è l'opzione per mettere in evidenza i termini
scelti nella pagina trovate, caratteristica questa
non riscontrabile in altri motori di ricerca.
Infine Google fa uso di "RealName" o "Internet
keywords", ciò significa che i risultati nella lista
corrispondenti ad un nome di dominio o marchio
notevole linkeranno direttamente alla società o
marca richiesta.
Questo può essere estremamente utile quando vogliamo
ricercare la home page ufficiale di una società, ad
esempi la "The Walt Disney Company", semplicemente
inserendo Disney nel campo delle ricerche si avranno
migliaia, possibilmente centinaia di migliaia di
pagine in risposta.
Questo metodo è molto efficiente per effettuare
alcuni tipi di ricerche, su Google i siti
individuati con la tecnologia 'RealName' appaiono
solitamente in cima ai risultati.
HotBot
È uno dei motori
più grandi, ha un indice di 110 milioni di pagine,
utilizza la tecnologia di Inktomi, attualmente le
nuove iscrizioni richiedono almeno due settimane per
apparire, l'URL di riferimento è: http:// www.
hotbot. com/.
L'interfaccia di HotBot fa di questo motore di
ricerca uno dei favoriti degli utenti internet,
permettendo di dare avvio ad una ricerca, piuttosto
accurata, senza dover ricordare sbarrette o
restringimento di campo, visto che appaiono proprio
accanto al campo pronti per essere cliccati.
Il modo migliore per utilizzare questo motore di
ricerca e di saltare la prima pagina ed andare
direttamente sulla pagina di ricerca avanzata, visto
che fornisce molte interessanti opzioni di ricerca.
HotBot impiega una tecnologia chiamata "direct hit"
che fornisce una lista dei top ten link in base alla
popolarità acquisita basandosi sul principio che
l'utenza vada sui siti più rilevanti tra quelli
ottenuti da una ricerca.
Un'altra caratteristica interessante sulla pagina
dei risultati è una lista delle possibili ricerche
da far effettuare in automatico al motore di
ricerca.
Lycos
È uno dei motori più grandi, attualmente
sembra che sia seriamente intenzionato ad evolversi
in una guida gerarchica (directory), le liste dei
risultati vengono integrate con URL provenienti da
Open Directory Project, può risultare lento
nell'indicizzazione di nuovi siti, l'URL è: http://
www. lycos. com/.
Anche Lycos supporta le ricerche booleane, ed ha le
maggior opzioni per le ricerche per prossimità su
tutto il Web.
Lycos, come Go. com, fornisce l'opzione di ricerca
per livelli, dove è possibile effettuare
un'ulteriore ricerca sui risultati forniti da una
ricerca precedente, la pagina dei risultati offre
inoltre un'area separata ove ci sono i link più
popolari per argomento ricercato
Le opzioni per le ricerche avanzate su Lycos sono
molto vaste, forniscono diversi strumenti
specializzati per trovare informazioni specifiche.
Un tracciatore automatico infine fornisce, dietro
una semplice registrazione, un aggiornamento
continuo di una determinata ricerca.
Yahoo
È molto simile ad un motore di ricerca, ma
possiede un database costruito "a mano" da redattori
in carne ed ossa, è la directory di siti Web più
usato al mondo disponibile all'URL:
http:// www. yahoo. com/.
È nota la difficoltà che si incontra nel riuscire ad
inserire il proprio sito nel database di Yahoo, se
volete incrementare le probabilità di successo
provate a registrarvi in una delle versioni locali (
nel nostro caso http:// www. yahoo. it/).
Visto che la selezione avviene grazie a personale
umano e non ad uno spider automatico è
necessario che selezioniate le categorie in cui si
desidera essere inseriti con molta attenzione,
considerate in primo luogo la categoria regionale di
appartenenza, assicuratevi che la categoria scelta
sia coerente con i contenuti del vostro sito, fate
in modo che il vostro sito abbia un buon design e
che sia facilmente navigabile, assicuratevi che il
sito non abbia link che non funzionino (dead link),
assicuratevi che le pagine del sito abbiano dei
tempi rapidi di caricamento e fornite, infine, le
migliori informazioni possibili sul sito segnalando
sempre un referente per eventuali contatti. |
