Cerca nel sito per parola chiave

rapporti - Deliverable

Strumenti di analisi FPCA e studio per la gestione di dati in tempo reale in ambiente Big Data

rapporti - Deliverable

Strumenti di analisi FPCA e studio per la gestione di dati in tempo reale in ambiente Big Data

Il documento descrive l’attività di porting su un’unica piattaforma Big Data della metodologia di analisi e previsione basata su Functional Principal Components Analysis (FPCA) sviluppata e validata nelle precedenti attività. Il rapporto introduce il concetto di Big Data tempo reale (streaming) attraverso un esempio concreto quale la ricarica di auto elettriche.

La digitalizzazione del sistema elettrico sta comportando una trasformazione importante a vari livelli del sistema stesso. Il proliferare di sensori genera grandi quantità di dati che possono fornire molte informazioni utili se interpretati ed analizzati in maniera corretta. Questa mole di dati presenta le caratteristiche tipiche dei Big Data e si caratterizza per contenere sia dati strutturati che non strutturati. Per queste ragioni è necessario cambiare il paradigma con cui si analizzano tali dati, utilizzando architetture informatiche basate su cluster e strumenti software che permettono di effettuare non solo analisi statistiche ma anche utilizzare tecniche di machine learning. Questo passaggio spinge le utility a doversi confrontare con metodologie non utilizzate in precedenza e a dover disporre di nuove professionalità, che solitamente non hanno al proprio interno, adeguate a gestire questo passaggio.

In questo rapporto sono presentate e applicate alcune tecniche e strumenti necessari per affrontare le sfide di analisi ed elaborazione di Big Data. Un primo esempio descritto è l’analisi e previsione dei consumi di energia elettrica basata su Functional Principal Components Analysis (FPCA). A partire da un processo di elaborazione dei dati costituito dalla concatenazione di azioni per la maggioranza manuale, eseguite su piattaforme differenti, per lo più non scalabili e non adatte a gestire Big Data, la presente attività ha riportato l’intero processo su un’unica piattaforma Databricks, più adatta a gestire elaborazioni Big Data, con un’elevata automazione dell’intera pipeline ETL (Extract, Transform, Load). L’intero processo, inoltre, è stato implementato in modo da poter essere applicato a insiemi di dati diversi da quello per cui è stato originariamente creato, dimostrando la potenzialità degli strumenti utilizzati. Nel rapporto viene dimostrata l’applicazione della pipeline ETL in un caso reale come il sistema di monitoraggio LANPRIS.

Le analisi dei Big Data cosiddette batch si dimostrano molto utili in differenti ambiti ma non sempre sono sufficienti. Per questa ragione in questo rapporto viene introdotto il concetto di Big Data in tempo reale (streaming), con la descrizione di alcuni strumenti open source oggi utilizzati per analisi in tempo reale di flussi di Big Data. Come esempio pratico viene descritta la progettazione del sistema di monitoraggio di un sistema distribuito per la ricarica dell’auto elettrica basato su punti di ricarica domestici e/o colonnine di ricarica collettive.

I risultati presentati in questo rapporto costituiscono un contributo alle utility per attuare la digitalizzazione del sistema elettrico, con particolare attenzione alla gestione dei Big Data sia tramite analisi storiche che in tempo reale, al fine di fornire agli utenti una rete più resiliente e servizi migliori.

Progetti

Commenti