Realizzazione di web crawler, web spider e bot

Garda Informatica è una software house specializzata nello sviluppo, progettazione e realizzazione di procedure automatiche di estrazione dati da siti web come: web crawler, web spider e bot.

Le soluzioni informatiche di information brokering realizzate da Garda Informatica utilizzando la tecnologia degli headless browser, ovvero dei software automatici che interagiscono con i siti internet nello stesso modo di un utente in carne ed ossa.

I bot realizzati da Garda Informatica possono estrarre dati da qualsiasi tipo di sito web indipendentemente dalla tecnologia utilizzata (PHP, ASP, AJAX, Javascript, ecc.), inoltre sono in grado di replicare tutti i tipi di interazioni come login, navigazione, compilazione di form, ecc.

I dati estratti in modo automatico possono essere salvati su semplici file Excel o inseriti in Database, inoltre è possibile realizzare delle interfacce specifiche per la consultazione rapida dei dati storicizzati.

Vantaggi dei nostri crawler#

I crawler che sviluppiamo hanno le seguenti caratteristiche.

Chiavi in Mano

Realizziamo il crawler che estrae le informazioni dal sito web di interesse del cliente e lo eseguiamo sulla nostra infrastruttura informatica. Il cliente riceve direttamente con una cadenza concordata i dati estratti nel formato che preferisce, in questo modo non deve preoccuparsi della gestione dei server, della schedulazione dei bot e di tutti gli aspetti tecnici.

• tecnologia cloud computing: l'infrastruttura scala in base alla quantità di pagine web da elaborare
• invio dati estratti via email, con upload ftp o scritti direttamente su database. Su richiesta è possibile anche sviluppare dei software gestionali che permettano una consultazione agevole dei dati estratti con possibilità di inserire annotazioni, apportare modifiche, ecc.
• il cliente non deve preoccuparsi della manutenzione dell'infrastruttura informatica
• estrazioni periodiche e schedulabili con cadenza giornaliera, settimanale o mensile
• storicizzazione: è possibile avere sempre l'ultima versione aggiornata dei dati estratti o su richiesta è possibile mantenere la storicità dei dati, ovvero è possibile vedere come sono stati modificati nel tempo.

Affidabili

I crawler realizzati da Garda Informatica sono sviluppati con il preciso scopo di funzionare giorno e notte in modalità automatica.

• programmazione difensiva: nella creazione dei crawler facciamo uso della "programmazione difensiva" ovvero non si fanno assunzioni circa il formato dei dati estratti dai siti web. Tali dati infatti potrebbero essere inseriti manualmente da qualcuno senza rispettare alcun vincolo. Per tale ragione ogni dato estratto viene validato per verificare che vengano estratti solo dati corretti.
• veloci: un crawler in condizioni normali è in grado di elaborare più di 20'000 pagine in meno di 8 ore. La velocità di estrazione dei dati può essere calibrata a piacere tenendo presente che va mantenuto un tradeoff tra la velocità di esecuzione e il numero di richieste che vengono fatte ai siti da elaborare.
• instancabili: a differenza degli umani i crawler o i bot non si stancano, ripetono gli stessi passi all'infinito sempre con lo stesso ritmo.
• supervisionati: i crawler realizzati da Garda Informatica vengono supervisionati da altri software detti watchdog (cani da guardia) che supervisionano il corretto funzionamento dei crawler.

Dotati di Intelligenza Artificiale

I bot e i crawler progettati da Garda Informatica includono semplici logiche di Intelligenza Artificiale come ad esempio il riconoscimento di date scritte in vari modi, pattern per i numeri di telefono, le email, gli indirizzi, gli appellativi Sig. Sig.ra, ecc.

• Headless: grazie alla tecnologia headless vengono realizzati dei bot che sono a tutti gli effetti dei browser programmabili privi di interfaccia utente. Con questa tecnologia un sito web non può sapere se le richieste che riceve arrivano da un browser come Google Chrome utilizzato da un operatore umano, oppure se le richieste vengono inviate da un browser headless comandato da un software di intelligenza artificiale.
• I bot sviluppati possono navigare i siti internet con qualsiasi tipo di interazione. Possono ad esempio effettuare procedure di login, di compilazione form, di navigazione elenchi paginati, ricerche, ecc.
• Le attività di web scraping agiscono su qualsiasi tipo di dato. Ad esempio è possibile estrarre qualunque testo da una pagina web, effettuare il download e il salvataggio di immagini, documenti word, excel e di qualunque altro tipo di file.
• Tutti i tipi di tecnologie web: i web spider di fatto sono dei browser senza interfaccia utente, di conseguenza sono compatibili con tutte le tecnologie web sia client side che server side come ad esempio: Javascript, HTML, CSS, AJAX, PHP, ASP, Java, ecc.