Scarica Le Slides Di Brunello Bonanni Di Ibm

Transcript

Big Data I Big Data Brunello Bonanni Certified Senior Architect Cuneo 13 Giugno 2013 IM Technical Team Leader © 2013 IBM Corporation Big Data Evolvere nel modo di trattare le informazioni Ieri il Valore era Visibile Oggi il Valore è Invisibile Produrre i dati oggi è molto più facile che dargli un senso 2 © 2013 IBM Corporation Big Data Una costante dinamica presenza Abilità nel gestire ed analizzare la miriade di dati disponibili nella loro forma nativa: Strutturati, Semistrutturati, Destrutturati, in Continuo Movimento Ci si sta muovendo nella nuova era del “Cognitive Computing” 3 © 2013 IBM Corporation Big Data I computer hanno affiancato i Data Center per entrare nel mondo reale – La trasformazione nella Pubblica Amministrazione 50 Numero di dispositivi connessi 50 Miliardi La PA oggi 40 Back Office 30 15 Miliardi 20 i Cittadini Per processi, fondamentalmente asincrona, e ognuno con un suo ruolo distinto 7 Miliardi 10 2010 Front Office 2015 2020 La PA domani Sistema di Persone I processi perdono l’accentramento nella fase di Back Office per estendersi verso i cittadini 4 © 2013 IBM Corporation Big Data Le Quattro Dimensioni da Fronteggiare Accumulo di documenti in una logica parte daiviene registri e si La moleche di dati che muove negli archivi costantemente generata Dati generati sempre più rapidamente, impongono una accelerazione dei processi di ricezione, gestione e comprensione dei contenuti deve essere acquisita, analizzata, e gestita per comprenderne il significato ed operare di conseguenza Necessità di interrogazioni di carattere generale in tempi rapidi Volume Varietà La diversità delle tipologie di informazioni da sorgenti interne esterne crea esigenze di integrazione, gestione, governance, ed Presenza di dati adeguamento architetturale. strutturati e non strutturati 5 Velocità Veridicità Dato non strutturato con interpretazione diverse in base alle sfumature del linguaggio I livelli di qualità sono differenti da sorgente a sorgente, in alcuni casi anche indefiniti, ambigui o incompleti, che possono procurare un degrado complessivo di tutto il patrimonio informativo trattato © 2013 IBM Corporation Big Data Un esempio di BIG DATA: velocity, variety, volume. I vettori di conoscenza del consumer DATI NON STRUTT. DATI STRUTTURATI PROFITABILITY RECENCY, FREQUENCY, MONETARY PROFILO SOCIO-DEMO FIDELITY CARD, PUNTI PREMIO STRUMENTI DI PAGAMENTO BASKET E MIX DI ACQUISTO DATI IN STREA MING DATI STRUTTURATI SOCIAL WEB DATA (RT e non RT) consumer GEO-POSITIONING VIDEO-INTELLIGENCE (riconoscimento volti e Comportamento fisico) DATI IN STREA MING FEEDBACK E-SURVEY DATI STRUTTURATI GARANZIE PRODOTTI INFORMAZIONI E RECLAMI AL CONTACT CENTER DATI NON STRUTT. Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 6 © 2013 IBM Corporation Big Data I risultati della ricerca condotta in collaborazione con SDA Bocconi  Target: CIO e IT Executive di medio-grandi imprese italiane  202 imprese partecipanti  Manifatturiero: 31%; Distribuzione e Logistica: 18%; Finance: 11%; PAL-Sanità: 18%, Servizi-Utilities: 22%  Medie Imprese (< 1000 dip.) 51%; Medio-grandi Imprese (10005000 dip.) 26%, Grandi imprese (> 5000 dip.) 23%  Aziende domestiche 49%; Multinazionali italiane 25%; Consociate di multinazionali estere 26% Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 7 © 2013 IBM Corporation Big Data FONTI DATI maggiormente associate ai Big Data Social networks e social media (es. Facebook, Twitter, blogs, forum, …) 54% Documenti cartacei digitalizzati Email Transazioni Immagini Registrazioni video Dati di geo-posizionamento (GPS) 52% 46% 40% 34% 32% 25% Dati generati da sensori o misuratori digitali (es. RFID, NFC, meters) 25% Automazione processi produttivi Clickstream – Web Log M2M (Machine to Machine) data - Internet of Things Digitalizzazione dei processi di R&D (es. nella bioinformatica e biogenetica, chimica, climatologia, ecc.) Registrazioni audio Altro (specificare) 24% 18% 17% 15% 12% 3% Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 8 © 2013 IBM Corporation Big Data Principali aree di impatto e di beneficio di business dei Big Data 1. accuratezza delle analisi del comportamento del mercato e nelle maggiori informazioni sui Clienti (più dimensioni di analisi) al fine di servirlo meglio (con piattaforme digitali di Customer Experience multicanale) 2. costruzione di una nuova piattaforma IT (che superi i limiti del DW, che permetta analisi di milioni di transazioni, che permetta di analizzare grandi quantità di dati strutturati e non, ecc.) 3. velocità delle insight a supporto delle decisioni strategiche (predizioni, scenari e previsioni di medio-lungo termine) 4. analizzare e gestire Point-of-interest aziendali (PdV, magazzini, concessionari e dealer, turbine, cantieri, ecc.) e infrastrutture sul territorio (reti elettriche, canalizzazioni, strade, ecc.) 5. analisi di dati strutturati e non che convergono in documenti aziendali core dematerializzati (fascicoli sanitari, gestione sinistri, …) 6. ottimizzazione dei processi aziendali (supply chain complesse, campagne promozionali ripetitive, …) Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 9 © 2013 IBM Corporation Big Data Quale Executive è, o potrebbe essere, maggiormente interessato ai Big Data nella sua azienda? CIO 37% Un team o un comitato interfunzionale di executive 21% Chief Marketing Officer 20% CEO 18% CFO 15% Nessun executive 13% Chief Sales Officer 12% DG 11% Risk manager 8% Altro (specificare) 1% Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 10 © 2013 IBM Corporation Big Data Quale Executive … il Cio ma non da solo! CEO % sempre rispetto al campione complessivo 18% Nessun executive 13% DG 11% 1% 3% 2% 5% 2% 1% 3% 1% 4% Un team o un comitato interfunzionale di executive 21% 1% 5% 1% CIO 1% 37% 2% 2% 5% 2% 5% 1% Chief Sales Officer 13% CFO 1% 2% 5% 15% 1% 2% Chief Marketing Officer 20% 2% Risk manager 8% Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 11 © 2013 IBM Corporation Big Data Cosa pensano i Manager Sorgente: (IBM Institute for Business Value in collaboration with Said Business School, University of Oxford, “Analytics: The real-world use of big data, 2012) 12 © 2013 IBM Corporation Big Data Fase del ciclo di adozione/maturity/esperienza 1. La maggioranza delle aziende si presenta nella Fase di comprensione dei BD e dei loro possibili benefici (57%). 2. Un’altra porzione di rilievo (25%) è consapevole del valore dei BD ma ha “priorità” immediate nella gestione della privacy e della sicurezza dei dati. 3. Il 25% non sente il bisogno dei BD (con un 7% che ha però avviato una fase di comprensione), 4. il 18% ha definito una strategia di BD o sta svolgendo studi di fattibilità o ha avviato progetti in ambito (ricerca a livello Global: 28 % in Execution; 48% in Planning) Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 13 © 2013 IBM Corporation Big Data Abilitatori organizzativi per i Big Data 1. il funding, il budget delle iniziative (22%) 2. la corretta valutazione dei ritorni dell’investimento (14%) 3. il committment direzionale (13%) 4. le competenze interne (tecnologiche, analitiche, interpretative) (12%) Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 14 © 2013 IBM Corporation Big Data Abilitatori tecnologici per i Big Data ICT Outsourcing 3,84 Streaming processing 4,05 Hadoop/MapReduce 4,13 Cloud computing/ICT as-a-service 4,23 Sistemi di database management relazionali 4,31 Sistemi di database management non relazionali (es. inmemory,… 4,49 Content Analytics 4,56 Strumenti per l’Integrazione di dati (es. ETL, etc.) 4,57 Business Analytics 4,85 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00 Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi 15 © 2013 IBM Corporation Big Data Cosa pensano i Manager di Business Sorgente: (IBM Institute for Business Value in collaboration with Said Business School, University of Oxford, “Analytics: The real-world use of big data, 2012) 16 © 2013 IBM Corporation Big Data Cambiare il paradigma dei modelli di analisi Data Ingest 17 17 Adaptive Analytics Model Forecast Nowcast Opportunity Cost Starts Here 01011001100011101001001001001 0110100101010011100101001111001000100100010010001000100101 11000100101001001011001001010 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 01100100101001001010100010010 Bootstrap 01100100101001001010100010010 Enrich 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 01100100101001001010100010010 01100100101001001010100010010 01100100101001001010100010010 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 01100100101001001010100010010 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 © 2013 IBM Corporation Big Data Analisi dei Dati in Movimento e dei Dati Persistenti 18 © 2013 IBM Corporation Big Data I Patterns ad oggi più diffusi Big Data Exploration Trovare, visualizzare e comprendere i Big Data per migliorare la conoscenza del proprio Business 19 Enhanced 360o View of the Persone Security/Intelligence Extension Ottenere una vista unificata delle persone incorporando alle sorgenti interne le informazioni provenienti dalle fonti esterne Contenimento dei rischi, analisi delle frodi e monitoraggio della sicurezza in tempo reale Operations Analysis Data Warehouse Augmentation Analisi di tutte le segnalazioni prodotte dai propri sistemi per individuare l’insieme delle azioni composite operate in uno specifico contesto Integrare big data e data warehouse per migliorare l’efficienza operativa © 2013 IBM Corporation Big Data Per IBM Big Data vuol dire un insieme di tecnologie  Perseguire chiari obiettivi Solutions Analytics & Decision Management IBM Big Data Platform Visualization & Discovery Application Development Systems Management Accelerators Hadoop System Stream Computing Data Warehouse Information Integration & Governance – Integrare e gestire il volume, la varietà, la velocità e la veridicità dei dati – Applicare modelli di analisi specifici per il trattamento nelle loro forme native – Visualizzare tutti i dati disponibili per un’analisi per contesto – Disporre di un ambiente di sviluppo per costruire nuove applicazioni analitiche – Monitoraggio, ottimizzazione del Workload e gestione dello scheduling – Sicurezza e Governance – Integrazione con gli ambienti di Datawarehouse – Capacità di operare con open source per condividire esperienze, algoritmi e modelli con la comunità mondiale Big Data Infrastructure 20 © 2013 IBM Corporation Big Data Tecnologia integrata out-of the box Soluzione con Workload Ottimizzato specifico per gli Analytics PureData System for Analytics Solutions Analytics & Decision Management IBM Big Data Platform Visualization & Discovery Application Development Systems Management Accelerators Hadoop System Stream Computing Data Warehouse Information Integration & Governance Big Data Infrastructure 21 21 © 2013 IBM Corporation Big Data Funzionalità ottimizzate pre-costruite già disponibili Statistics  Descriptive Statistics+  Distance Measures*  Hypothesis Testing*  Chi-Square & Contingency Tables*  Univariate & Multivariate Distributions+ Transformations  Data Profiling / Descriptive Statistics+  General Diagnostics Time Series  Autoregressive+  Forecasting*  Statistics+  Sampling  Data prep  Monte Carlo Simulation* Data Mining Predictive Mathematical  Basic Math*  Permutation and Combination*  Greatest Common Divisor and Least Common Multiple*  Conversion of Values*  Exponential and Logarithm*  Gamma and Beta Functions  Matrix Algebra+  Area Under Curve*  Interpolation Methods* Geospatial  Association Rules+  Linear Regression+  Geospatial Data Type  Clustering+  Logistic Regression+  Geometric Functions  Feature Extraction+  Classification  Geometric Analysis  Discriminant Analysis*  Bayesian  Sampling * Fuzzy Logix DB Lytix capabilities + Netezza Analytics and Fuzzy Logix DB Lytix capabilities  Model Testing 22 22 © 2013 IBM Corporation Big Data Grazie Brunello Bonanni Certified Senior Architect IM Technical Team Leader [email protected] © 2013 IBM Corporation