Case History: Web Scraping Prezzi E-commerce Concorrenza
Per cliente operante nel settore della produzione di componenti per macchine da caffè espresso abbiamo sviluppato una soluzione capace di estrarre i prezzi dagli e-commerce della concorrenza.
Garda Informatica è una software house specializzata nella fornitura di servizi per l'estrazione automatizzata di dati da siti web attraverso lo sviluppo di software noti come crawler o bot.
Tale attività, nota come web scraping , viene implementata attraverso la programmazione di browser speciali in modo che si comportino esattamente come un utente quando visita il sito di interesse. Il bot è quindi in grado di compilare campi, cliccare su bottoni o link, scorrere le pagine, ecc.
Questo implica che i nostri bot possono navigare qualsiasi sito web indipendentemente dalla tecnologia con cui sia stato realizzato.
I dati estratti in modo automatico possono poi essere salvati su semplici file Excel o inseriti all'interno di database e inoltre possiamo realizzare dei software gestionali su misura per la consultazione dei dati storicizzati.
A differenza di quello che ci si potrebbe immaginare, il bot non viene fornito direttamente al cliente poiché il successo di questa attività è dato dalla somma del software che sviluppiamo più l'infrastruttura su cui questo girerà.
In altre parole i nostri bot non sono fatti per girare su un semplice PC, ma hanno bisogno di un'infrastruttura speciale che consenta la navigazione dei siti di interesse in modo anonimo e con la velocità necessaria per poter raggiungere gli obiettivi di scansione richiesti.
Inoltre, maggiore è la richiesta del cliente in termini di pagine scansionate, maggiore sarà la dimensione di tale infrastruttura e maggiore sarà il costo di setup di questa infrastruttura.
Questo è anche l'unico modo per scrappare siti che vengono serviti da CDN (Content Delivery Network ) come CloudFlare , Akamai Technologies , Imperva , ecc.
I limiti delle nostre soluzioni di web scraping sono tre:
Come avrai intuito, non sempre è percorribile la strada del web scraping. Per questo motivo, prima di fare un preventivo, di solito facciamo uno studio di fattibilità analizzando il sito che vorresti sottoporre a scansione.
Par fare ciò abbiamo bisogno di conoscere tutti i passi che compi quando visiti il sito per raggiungere le informazioni di tuo interesse.
Un esempio di questa attività potrebbe essere: "mi collego al sito www.taldeitali.it, clicco sul bottone "login", inserisco utente e password e clicco sul bottone "invia", compilo la form di ricerca inserendo la descrizione articolo e clicco sul bottone "cerca", scorro i risultati e mi segno i vari prezzi".
Oltre a questa descrizione ci aiuterebbe avere una sequenza di screenshot delle varie pagine visitate.
Infine abbiamo bisogno di sapere quanti sono i dati che ti servono, ogni quanto ti servono e come ti servono (formato e metodo di invio).
Esempio: "ho bisogno di recuperare il prezzo di 10.000 articoli ogni mese e i dati mi servono in un foglio Excel".
Se la valutazione di fattibilità ha esito positivo ti faremo avere un preventivo che conterrà:
Abbiamo avuto esperienze nei seguenti settori:
Di seguito alcuni crawler web implementati. Per un elenco cronologico dei lavori realizzati consulta i Case History generali
Per cliente operante nel settore della produzione di componenti per macchine da caffè espresso abbiamo sviluppato una soluzione capace di estrarre i prezzi dagli e-commerce della concorrenza.
Per cliente operante nel settore delle assicurazioni online abbiamo sviluppato un crawler per automatizzare il monitoraggio dei prezzi della concorrenza.
Per cliente operante nel settore delle aste immobiliari abbiamo sviluppato un sistema composto da BOT per l'estrazione e la storicizzazione dei dati presenti sulle banche dati delle aste immobiliari e un gestionale che consente di consultare i dati archiviati, filtrarli in modo puntuale e supportare i flussi operativi del cliente come ad esempio la postalizzazione.
Per un progetto di ricerca dell'Università di Padova abbiamo sviluppato un crawler per l'estrazione dei dati pubblicamente disponibili dal sito Airbnb.
Rispondendo alle domande del calcolatore puoi farti un'idea APPROSSIMATIVA di tempi e costi per lo sviluppo della soluzione di web scraping di tuo interesse.
NON è richiesta nessuna email: il calcolatore ti dà subito il risultato.
Non seguiamo le mode del momento, ma preferiamo soluzioni solide e collaudate. Per questo motivo tutti i progetti che sviluppiamo sono basati su poche tecnologie tra le più usate nel settore:
In media ogni cliente ci affida lo sviluppo di 2 progetti a dimostrazione della nostra serietà, competenza e della sua soddisfazione.
Di seguito troverai il parere delle persone che ci hanno dato fiducia e con cui abbiamo avuto il piacere di lavorare. Le testimonianze sono certificate da Google .
Mi sono rivolto a Garda Informatica su suggerimento di un amico Ing. Qualche anno fa decisi di aprire una società che si occupasse della progettazione, costruzione ed installazione di opere in ferro. Ai tempi, quello che avevo era solo una profonda conoscenza tecnica, mancava quello che si può definire un vero e proprio "portfolio clienti". Conobbi così Giovanni e Lorenzo e, con loro, si studiò un piano marketing che puntasse sulla promozione in rete di specifici prodotti. I primi contatti ed una buona porzione delle ns. attuali prestazioni e forniture li dobbiamo al loro lavoro.
Professionalmente posso dire di aver collaborato con tecnici competenti e preparati, i quali hanno saputo innanzitutto ascoltare quelle che fossero le ns. esigenze ed i ns. obiettivi, per poi contribuire alla loro realizzazione.
Proprio per questi motivi raccomando Garda Informativa a professionisti e/o società come la ns.
Ho contattato Garda Informatica poiché desideravo realizzare un programma personalizzato, che rispondesse alla precise necessità della mia azienda. Ho incontrato i titolari, gli Ing. Giovanni e Lorenzo Chiodi, che si sono dimostrati molto disponibili e preparati ad aiutarci per la realizzazione del prodotto di cui avevamo bisogno.
Hanno esaminato con attenzione e pazienza le nostre richieste e ci hanno formulato la loro proposta, chiara e funzionale. Ci è stato offerto un adeguato tempo per valutare il prodotto e per sollevare eventuali richieste ed abbiamo avuto la possibilità di richiedere integrazioni e modifiche, sia in corso d’opera che successivamente.
Raccomanderei di certo l’azienda Garda Informatica, per la preparazione, la cortesia, la precisione e la puntualità con la quale assistono i clienti e potenziali tali.
La perplessità iniziale è stata quella di trovare un'azienda che fosse affidabile, competente e rispondesse esattamente alle nostre esigenze.
Avevamo la necessità di creare un software, che stavamo pagando in abbonamento, che fosse personalizzato secondo le nostre necessità.
L’esperienza professionale con Garda Informatica è stata ottima: risposte sempre celeri e precise, molta disponibilità nell'esaudire le richieste, alto livello di competenza.
Personalmente ho molto apprezzato l’approccio di collaborazione instaurato, che si staccava un po' dal classico rapporto fornitore/cliente; la trasparenza riguardo la creazione del software e la consegna dei codici sorgente con tutte le informazioni necessarie per poter eventualmente proseguire anche da soli senza lasciare aloni di mistero in merito.
Software house che consiglio e promuovo a pieni voti, con la quale spero ci possa essere nuovamente occasione per collaborare.
Abbiamo contattato Garda Informatica per lo sviluppo di un'applicazione utile ad ampliare l'integrazione e l'utilizzo dei nostri prodotti con piattaforme di terze parti.
Ci hanno supportato e consigliato in tutte le fasi, dalla definizione dei requisiti fino al rilascio, ascoltando le nostre richieste e arrivando a realizzare proprio quello di cui avevamo bisogno.
Ho contattato la Garda Informatica per un progetto che richiedeva competenze sia nella gestione di interfacce utenti, sia di programmazione vera e propria. Ho trovato due professionisti estremamente competenti, che hanno realizzato il progetto come lo avevo visualizzato in maniera esemplare, in meno tempo del previsto, introducendo alcuni miglioramenti che lo hanno reso sia più efficiente che più attraente esteticamente, completandolo dove io non ero arrivato a progettare, estendendone l'uso anche alle piattaforme smartphones sebbene questo non fosse stato loro richiesto! Hanno accolto di buon grado anche le ulteriori richieste che ho fatto loro in corso di progetto, hanno collaborato sempre con pazienza e consigli preziosi, hanno presentato un prodotto finale il cui debugging si è rivelato molto più agevole di quanto temessi per un progetto relativamente complesso. In poche parole, non posso che elogiare la competenza e la sensibilità alle richieste del cliente da parte della Garda Informatica, e raccomandare le loro capacità nei termini più entusiastici.
Quando lavori nel reparto IT di un'azienda, e quando riesci a rispondere alle richieste della proprietà con le soluzioni di Garda Informatica, allora capisci che non hai trovato un fornitore...ma il partner ideale. Parlando personalmente, è un rapporto consolidato da anni di grandi progetti e soddisfazioni.
A differenza delle aziende di produzione, per le aziende di servizi, come NRG, non sono disponibili soluzioni chiavi in mano e quindi è stato necessario commissionare lo sviluppo di un gestionale su misura. Grazie al lavoro di Garda Informatica, NRG è in grado di assicurare un servizio d'avanguardia ai propri Clienti i quali possono così effettuare in autonomia spedizioni in tutto il Mondo e a prezzi competitivi.
Software House fatta da ragazzi preparati gentili e cosa importante capaci di interpretare e trovare soluzioni facili alle problematiche aziendali proposte. 2 anni e più di collaborazione veramente consigliati.
Altissima professionalità e competenza unita a cortesia e grande disponibilità. In Garda Informatica ho trovato un'azienda seria e molto competente. L'unica che sia riuscita senza problemi a realizzare in modo ottimale ed in tempi stretti quello che cercavo. Confido in una lunga e soddisfacente collaborazione. Aggiungo, oltre alle preziose competenze, l'attenzione al cliente e la disponibilità dei titolari. Un grazie a Giovanni e Lorenzo. Rivolgetevi a loro con fiducia.
Azienda seria e competente che soddisfa con professionalità e tempestività le esigenze del cliente. Alta competenza e ottimi risultati. Pienamente soddisfatto.
Garda Informatica ha fatto un lavoro impeccabile nello sviluppo dell'applicazione Sportfai. Il plus di questa azienda è sicuramente la capacità di comprendere le necessità del cliente, supportarlo nelle scelte tecniche e consigliarlo con soluzioni rapide ed efficaci.
Siamo due ingegneri informatici nonché fratelli, con la passione per lo sviluppo software. Sviluppare software è quello che amiamo fare da quando ci regalarono il nostro primo personal computer: un Commodore 64 che nostro padre, anch'egli ingegnere, acquistò nel lontano 1984 e con cui abbiamo cominciato a fare i nostri primi esperimenti. In più di 30 anni ne è passata di acqua sotto i ponti dell'informatica, ma la nostra passione e la nostra curiosità per questo "paese delle meraviglie" resta immutata. Nel 2011 abbiamo fondato Garda Informatica e da oltre 12 anni sviluppiamo applicativi web con l'aiuto del nostro team.
Ruolo: UI/UX Designer
Zona: Roma e da remoto tutta Italia
Di seguito i principali avanzamenti tecnologici raggiunti da quando siamo partiti.
Ti risponderemo il prima possibile. I campi marcati con * sono obbligatori. Inviando i dati della form accetti le condizioni sulla privacy riportate in calce a questo sito.
Telefono: 030 68 98 477 (Vuoi farti un'idea di tempi e costi? Prova il nostro calcolatore online!)
Indirizzo: Via Padana Superiore 82/i - 25080 Mazzano (Brescia)
Come integrare il proprio software gestionale con i maggiori flussi bancari disponibili per Corporate Banking Online: servizi e standard del consorzio CBI.
26 settembre 2023
Come implementare il pagamento tramite carta di credito sul proprio e-commerce attraverso i gateway bancari: Banca Sella, Intesa San Paolo, PayPal.
21 settembre 2023
Strategie per eseguire l'alfa testing e il beta testing di gestionali web e applicazioni web sviluppate su misura.
16 settembre 2023
Cloud hosting e cloud server per le web application e i gestionali web personalizzati che scalano nel tempo.
11 settembre 2023