Come monitorare automaticamente i prezzi della concorrenza?

[Voti: 26    Media Voto: 4.5/5]

Monitorare automaticamente i prezzi della concorrenza

Una richiesta ricorrente che riceviamo è quella di sviluppare un sistema che tenga monitorati i prezzi della concorrenza.

Il motivo è chiaro: conoscere i prezzi dei nostri concorrenti è un vantaggio sia per chi vende online sia per chi vende “offline” ovvero di persona in un negozio o attraverso dei commerciali che visitano i potenziali clienti proponendo i propri prodotti o servizi.

Vediamo ora in cosa consiste e quanto può costare un sistema per raggiungere questo scopo.


 

Innanzitutto vediamo come funziona un sistema di monitoring automatico dei prezzi della concorrenza.

La prima cosa da sapere per poter sviluppare un sistema del genere è il sito web o i siti web, se più d’uno, da cui reperire i prezzi: tipicamente i siti web e gli e-commerce dei nostri concorrenti.

Per ognugno di questi siti va sviluppato un bot o crawler ovvero un software che si comporti come un utente che naviga sui suddetti siti e reperisca automaticamente i dati di interesse, in questo caso i prezzi.

Per fare ciò, per ogni sito, bisogna capire quanti e quali passaggi deve compiere il bot per raggiungere il dato di interesse.

In base alla nostra esperienza possiamo dire che tipicamente i passi da fare sono almeno 3:

  • Primo passo: il bot carica la pagina principale del sito in cui è presente una form di ricerca, inserisce i parametri di filtro degli articoli e lancia la ricerca.
  • Secondo passo: il bot colleziona i link ai singoli prodotti da un elenco paginato prodotto dalla ricerca.
  • Terzo passo: il bot carica le pagine dei singoli prodotti e reperisce il prezzo o i dati di interesse.

Questo tipo di attività viene chiamata in gergo Web Scraping.

Come si può intuire da quanto detto fin’ora non è possibile sviluppare un bot che vada bene per qualsiasi sito. Questo dipende dal fatto che ogni sito ha una struttura diversa e quindi il bot va programmato specificamente per un certo sito. Inoltre, se nel tempo la struttura del sito varia, bisogna modificare anche il codice del bot per adattarsi al cambiamento.

Una condizione necessaria per avere un sistema affidabile è che i dati di interesse siano quanto più strutturati possibile. Se per esempio il dato va estratto da un testo descrittivo inserito da utenti diversi è molto più difficile identificare ed estrarre il dato. Questo dipende dal fatto che qualcuno scriverà “€ 10,00”, qualcun altro scriverà “10 euro”, qualcun altro ancora scriverà “dieci euro” e così via. La situazione migliore è che il prezzo sia presente in una “casella” dedicata e il formato in cui viene presentato sia fisso o comunque in un numero fisso di versioni es. “€ 10,00”.

Quindi se la formattazione del dato è imprevedibile non si riuscirà a sviluppare un sistema affidabile.

Un altro limite del bot è che non può reperire dati protetti da captcha come il Google reCaptcha. Fortunatamente in tutti i casi che abbiamo affrontato non era presente questo ostacolo anche perché, di solito, chi ha un e-commerce vuole rendere i suoi prodotti indicizzabili da Google e quindi pubblici.

Una volta reperito il dato di interesse (il prezzo in questo caso), il bot lo deve salvare in un database per una successiva elaborazione in base alle richieste del cliente.

Di seguito elenco le modalità che ci è capitato di sviluppare:

  • Estrazione dei dati in un file XML proprietario e upload dello stesso su uno spazio FTP del cliente.
  • Estrazione dei dati in un file Excel/CSV e invio dello stesso via email a un indirizzo del cliente.
  • Sviluppo di una web application per la consultazione in linea dei dati estratti tramite filtri di ricerca personalizzati.

Da questo elenco appare chiaro che, oltre al costo di sviluppo del bot, esiste anche il costo del servizio di estrazione dati che offriamo. Tale servizio può essere programmato e periodico (es. ogni settimana) richiedendo da parte nostra solo un intervento di schedulazione iniziale oppure può essere su richiesta del cliente. In entrambi i casi esiste almeno il costo dell’infrastruttura necessaria (hosting) per erogare questo tipo di servizio.

Riassumendo quindi, i costi di realizzazione di un servizio di estrazione prezzi da un sito concorrente sono:

  • Sviluppo del bot (3 passaggi): € 1000 + IVA una tantum.
  • Estrazione dati: € 0,01 per ogni dato inviato.

Se vuoi approfondire gli aspetti tecnici legati allo sviluppo di web crawler puoi leggere il nostro articolo Web Scraping, Crawler, Bot: cosa sono e come si implementano?.

Se invece vuoi avere un preventivo per una soluzione personalizzata contattaci attraverso il nostro sito dedicato.

Garda Informatica

Garda Informatica

Garda Informatica sviluppa software su misura nella forma di Web Application, App Ibride per iOS/Android/Windows Phone, Crawler Web, Gestionali Web o semplici Connettori per l'integrazione tra software di terze parti.
Garda Informatica