Sviluppiamo Soluzioni di Web Scraping su Misura

Garda Informatica è una software house specializzata nella fornitura di servizi per l'estrazione automatizzata di dati da siti web attraverso lo sviluppo di software noti come crawler o bot.

Tale attività, nota come web scraping , viene implementata attraverso la programmazione di browser speciali in modo che si comportino esattamente come un utente quando visita il sito di interesse. Il bot è quindi in grado di compilare campi, cliccare su bottoni o link, scorrere le pagine, ecc.

Questo implica che i nostri bot possono navigare qualsiasi sito web indipendentemente dalla tecnologia con cui sia stato realizzato.

I dati estratti in modo automatico possono poi essere salvati su semplici file Excel o inseriti all'interno di database e inoltre possiamo realizzare dei software gestionali su misura per la consultazione dei dati storicizzati.

Software + Hardware#

A differenza di quello che ci si potrebbe immaginare, il bot non viene fornito direttamente al cliente poiché il successo di questa attività è dato dalla somma del software che sviluppiamo più l'infrastruttura su cui questo girerà.

In altre parole i nostri bot non sono fatti per girare su un semplice PC, ma hanno bisogno di un'infrastruttura speciale che consenta la navigazione dei siti di interesse in modo anonimo e con la velocità necessaria per poter raggiungere gli obiettivi si scansione richiesti.

Inoltre, maggiore è la richiesta del cliente in termini di pagine scansionate, maggiore sarà la dimensione di tale infrastruttura e maggiore sarà il costo di setup di questa infrastruttura.

Questo è anche l'unico modo per scrappare siti che vengono serviti da CDN (Content Delivery Network ) come CloudFlare , Akamai Technologies , Imperva , ecc.

Limiti#

I limiti delle nostre soluzioni di web scraping sono tre:

  1. Non possono superare controlli CAPTCHA come il reCAPTCHA di Google .
  2. Forniscono dati in modo affidabile solo se questi sono localizzati all'interno delle pagine in modo deterministico cioè sempre nello stesso posto. Se i dati che ti interessano sono all'interno di immagini o di allegati come PDF oppure sono immersi all'interno di un testo scritto da un utente senza vincoli di nessun tipo, allora le nostre soluzioni non vanno bene.
  3. Vengono sviluppate specificamente per singolo sito web e secondo la struttura che ha in quel momento. Questo significa che se il sito oggetto della scansione subisce delle modifiche, bisognerà modificare anche il bot.

Valutazione di fattibilità#

Come avrai intuito, non sempre è percorribile la strada del web scraping. Per questo motivo, prima di fare un preventivo, di solito facciamo uno studio di fattibilità analizzando il sito che vorresti sottoporre a scansione.

Par fare ciò abbiamo bisogno di conoscere tutti i passi che compi quando visiti il sito per raggiungere le informazioni di tuo interesse.

Un esempio di questa attività potrebbe essere: "mi collego al sito www.taldeitali.it, clicco sul bottone "login", inserisco utente e password e clicco sul bottone "invia", compilo la form di ricerca inserendo la descrizione articolo e clicco sul bottone "cerca", scorro i risultati e mi segno i vari prezzi".

Oltre a questa descrizione ci aiuterebbe avere una sequenza di screenshot delle varie pagine visitate.

Infine abbiamo bisogno di sapere quanti sono i dati che ti servono, ogni quanto ti servono e come ti servono (formato e metodo di invio).

Esempio: "ho bisogno di recuperare il prezzo di 10.000 articoli ogni mese e i dati mi servono in un foglio Excel".

Preventivo#

Se la valutazione di fattibilità ha esito positivo ti faremo avere un preventivo che conterrà:

  1. Il costo una tantum per il setup del bot.
  2. Il costo una tantum per il setup dell'infrastruttura necessaria a raggiungere i tuoi obbiettivi.
  3. Il costo mensile per il servizio di estrazione e invio dati.

Settori#

Abbiamo avuto esperienze nei seguenti settori:

  • Assicurazioni
  • Immobiliare
  • Prodotti
  • Eventi
  • Viaggi

Per approfondire

Web Scraping, Crawler, Bot: cosa sono e come si implementano? Crawler per monitorare i prezzi della concorrenza

Portfolio web crawler sviluppati#

Di seguito alcuni crawler web implementati. Per un elenco cronologico dei lavori realizzati consulta i Case History generali

Case History: Gestionale con Web Scraping di Aste Immobiliari

Per cliente operante nel settore delle aste immobiliari abbiamo sviluppato un sistema composto da BOT per l'estrazione e la storicizzazione dei dati presenti sulle banche dati delle aste immobiliari e un gestionale che consente di consultare i dati archiviati, filtrarli in modo puntuale e supportare i flussi operativi del cliente come ad esempio la postalizzazione.

Case History: Crawler Aste Giudiziarie

Per importante azienda del Nord Italia abbiamo sviluppato una soluzione per il recupero automatico di dati da famosi portali online di aste giudiziarie.

Vai all'elenco completo

Calcolatore online preventivo web scraping#

Rispondendo alle domande del calcolatore puoi farti un'idea APPROSSIMATIVA di tempi e costi per lo sviluppo della soluzione di web scraping di tuo interesse.

NON è richiesta nessuna email: il calcolatore ti dà subito il risultato.

Quanti siti/portali vanno scansionati?
Quante pagine vanno scansionate?
Con che frequenza vanno scansionate le pagine?
Vanno scaricati degli allegati?
Come verranno consegnati i dati estratti?

Sto calcolando...

Tecnologie solide e collaudate#

Non seguiamo le mode del momento, ma preferiamo soluzioni solide e collaudate. Per questo motivo tutti i progetti che sviluppiamo sono basati su poche tecnologie tra le più usate nel settore:

Esperienza#

In media ogni cliente ci affida lo sviluppo di 2 progetti a dimostrazione della nostra serietà, competenza e della sua soddisfazione.

Anni di attività
10
Progetti realizzati
156
Clienti soddisfatti
73

Testimonianze#

Di seguito troverai il parere delle persone che ci hanno dato fiducia e con cui abbiamo avuto il piacere di lavorare. Le testimonianze sono certificate da Google .

Mi sono rivolto a Garda Informatica su suggerimento di un amico Ing. Qualche anno fa decisi di aprire una società che si occupasse della progettazione, costruzione ed installazione di opere in ferro. Ai tempi, quello che avevo era solo una profonda conoscenza tecnica, mancava quello che si può definire un vero e proprio "portfolio clienti". Conobbi così Giovanni e Lorenzo e, con loro, si studiò un piano marketing che puntasse sulla promozione in rete di specifici prodotti. I primi contatti ed una buona porzione delle ns. attuali prestazioni e forniture li dobbiamo al loro lavoro.
Professionalmente posso dire di aver collaborato con tecnici competenti e preparati, i quali hanno saputo innanzitutto ascoltare quelle che fossero le ns. esigenze ed i ns. obiettivi, per poi contribuire alla loro realizzazione.
Proprio per questi motivi raccomando Garda Informativa a professionisti e/o società come la ns.

Ho contattato Garda Informatica poiché desideravo realizzare un programma personalizzato, che rispondesse alla precise necessità della mia azienda. Ho incontrato i titolari, gli Ing. Giovanni e Lorenzo Chiodi, che si sono dimostrati molto disponibili e preparati ad aiutarci per la realizzazione del prodotto di cui avevamo bisogno.
Hanno esaminato con attenzione e pazienza le nostre richieste e ci hanno formulato la loro proposta, chiara e funzionale. Ci è stato offerto un adeguato tempo per valutare il prodotto e per sollevare eventuali richieste ed abbiamo avuto la possibilità di richiedere integrazioni e modifiche, sia in corso d’opera che successivamente.
Raccomanderei di certo l’azienda Garda Informatica, per la preparazione, la cortesia, la precisione e la puntualità con la quale assistono i clienti e potenziali tali.

La perplessità iniziale è stata quella di trovare un'azienda che fosse affidabile, competente e rispondesse esattamente alle nostre esigenze.
Avevamo la necessità di creare un software, che stavamo pagando in abbonamento, che fosse personalizzato secondo le nostre necessità.
L’esperienza professionale con Garda Informatica è stata ottima: risposte sempre celeri e precise, molta disponibilità nell'esaudire le richieste, alto livello di competenza.
Personalmente ho molto apprezzato l’approccio di collaborazione instaurato, che si staccava un po' dal classico rapporto fornitore/cliente; la trasparenza riguardo la creazione del software e la consegna dei codici sorgente con tutte le informazioni necessarie per poter eventualmente proseguire anche da soli senza lasciare aloni di mistero in merito.
Software house che consiglio e promuovo a pieni voti, con la quale spero ci possa essere nuovamente occasione per collaborare.

Abbiamo contattato Garda Informatica per lo sviluppo di un'applicazione utile ad ampliare l'integrazione e l'utilizzo dei nostri prodotti con piattaforme di terze parti.
Ci hanno supportato e consigliato in tutte le fasi, dalla definizione dei requisiti fino al rilascio, ascoltando le nostre richieste e arrivando a realizzare proprio quello di cui avevamo bisogno.

Ho contattato la Garda Informatica per un progetto che richiedeva competenze sia nella gestione di interfacce utenti, sia di programmazione vera e propria. Ho trovato due professionisti estremamente competenti, che hanno realizzato il progetto come lo avevo visualizzato in maniera esemplare, in meno tempo del previsto, introducendo alcuni miglioramenti che lo hanno reso sia più efficiente che più attraente esteticamente, completandolo dove io non ero arrivato a progettare, estendendone l'uso anche alle piattaforme smartphones sebbene questo non fosse stato loro richiesto! Hanno accolto di buon grado anche le ulteriori richieste che ho fatto loro in corso di progetto, hanno collaborato sempre con pazienza e consigli preziosi, hanno presentato un prodotto finale il cui debugging si è rivelato molto più agevole di quanto temessi per un progetto relativamente complesso. In poche parole, non posso che elogiare la competenza e la sensibilità alle richieste del cliente da parte della Garda Informatica, e raccomandare le loro capacità nei termini più entusiastici.

Mario Vietri
Professore
Scuola Normale Superiore (Pisa)

Quando lavori nel reparto IT di un'azienda, e quando riesci a rispondere alle richieste della proprietà con le soluzioni di Garda Informatica, allora capisci che non hai trovato un fornitore...ma il partner ideale. Parlando personalmente, è un rapporto consolidato da anni di grandi progetti e soddisfazioni.

A differenza delle aziende di produzione, per le aziende di servizi, come NRG, non sono disponibili soluzioni chiavi in mano e quindi è stato necessario commissionare lo sviluppo di un gestionale su misura. Grazie al lavoro di Garda Informatica, NRG è in grado di assicurare un servizio d'avanguardia ai propri Clienti i quali possono così effettuare in autonomia spedizioni in tutto il Mondo e a prezzi competitivi.

Software House fatta da ragazzi preparati gentili e cosa importante capaci di interpretare e trovare soluzioni facili alle problematiche aziendali proposte. 2 anni e più di collaborazione veramente consigliati.

Altissima professionalità e competenza unita a cortesia e grande disponibilità. In Garda Informatica ho trovato un'azienda seria e molto competente. L'unica che sia riuscita senza problemi a realizzare in modo ottimale ed in tempi stretti quello che cercavo. Confido in una lunga e soddisfacente collaborazione. Aggiungo, oltre alle preziose competenze, l'attenzione al cliente e la disponibilità dei titolari. Un grazie a Giovanni e Lorenzo. Rivolgetevi a loro con fiducia.

Azienda seria e competente che soddisfa con professionalità e tempestività le esigenze del cliente. Alta competenza e ottimi risultati. Pienamente soddisfatto.

Antonio Ghigliotti
Titolare
AG TEK LTD (Genova)

Garda Informatica ha fatto un lavoro impeccabile nello sviluppo dell'applicazione Sportfai. Il plus di questa azienda è sicuramente la capacità di comprendere le necessità del cliente, supportarlo nelle scelte tecniche e consigliarlo con soluzioni rapide ed efficaci.

Chi siamo#

Siamo due ingegneri informatici nonché fratelli, con la passione per lo sviluppo software. Sviluppare software è quello che amiamo fare da quando ci regalarono il nostro primo personal computer: un Commodore 64 che nostro padre, anch'egli ingegnere, acquistò nel lontano 1984 e con cui abbiamo cominciato a fare i nostri primi esperimenti. In più di 30 anni ne è passata di acqua sotto i ponti dell'informatica, ma la nostra passione e la nostra curiosità per questo "paese delle meraviglie" resta immutata.

Ing. Lorenzo Chiodi

Posizione: Senior developer
Campi di interesse: Database, gestionali verticali, sviluppo backend.

Ing. Giovanni Chiodi

Posizione: Senior developer
Campi di interesse: Linux/Cloud hosting, web app Android/iOS, sviluppo frontend.

Storia#

Di seguito i principali avanzamenti tecnologici raggiunti da quando siamo partiti.

Contattaci#

Ti risponderemo il prima possibile. I campi marcati con * sono obbligatori. Inviando i dati della form accetti le condizioni sulla privacy riportate in calce a questo sito.

(Vuoi un preventivo? Prova il nostro calcolatore online!)

Attendere prego...

Dove siamo#

Indirizzo: Via Padana Superiore 82/i - 25080 Mazzano (Brescia)

👉 Indicazioni stradali

Telefono: 030 68 98 477 (Vuoi un preventivo? Prova il nostro calcolatore online!)

Ultime dal Blog#

Vai all'elenco completo
closeIcona closesearchIcona searchmore vertIcona more vertmenuIcona menushareIcona sharelinkIcona linkgradeIcona gradeplaceIcona placephoneIcona phonearrow upwardIcona arrow upward