martedì 23 giugno 2009

...Il pensiero...

Grande sarebbe il paragone con "Il pensatore" di Rodin. Tuttavia mi piace immagiare me stessa e i miei colleghi come intenti in una profonda meditazione tra gli angusti ma affascinanti cunicoli dei tecnicismi informatico-statistici.
Appunto come un pensatore, abbiamo iniziato il nostro percorso interrogandoci su temi generali per poi iniziare una riflessione più attenta su argomenti specifici.
Le prime domande che hanno affollato le nostre menti hanno sollecitato un pensiero più libero e forse anche più creativo: quale fosse il ruolo dei moderni software rispetto all'intelligenza umana? Quali le nuove soluzioni adottate dalla Web 2.0 per supporare la maggiore interazione ricercata dagli utenti, veri e propri "sovrani della rete"? Quali i nuovi tipi di socialità che riesconoa sdoganare le antiche barriere spazio-temporali?
La nostra attenzione si è così spostata sul percorso che conduce alla conoscenza, partendo dagli elementi che ci circondano: dati grezzi in attesa di essere scovati e trasformati in informazioni. Gli strumenti consacrati alla raccolta e alla gestione dei dati sono i DataBase, dei quali abbiamo studiato in maniera approfondita tipologie e strutture. Particolare attenzione è stata dedicata ad uno dei linguaggi più diffusi di interrogazione dei DB: SQL.
Poi ci siamo inoltrati nei sentieri della Business Intellgence. Abbiamo approfondito il discorso sui DBMS, avanzatissimi software per la gestione delle basi di dati, e sui report, documenti azendali che costituiscono fondamentali leve strategiche. Siamo così passati allo studio die software di Query reporting che servono per interrogare in maniera diretta e mirata i dabase, attraverso l'utilizzo del già citato linguaggio SQL.
Il mio percorso è stato in realtà parrallelo a quello svolto dai miei colleghi.
Sull'asse Roma-Madrid sono riuscita a ricostruire il pensiero sviluppato nel corso dell'insegnamento di "Software per la gestione dell'informazione statistica".
Il mio ultimo pensiero si rivolge a Voi: i vostri blog sono stati per me fonte di stimolo.


Flessibilità di un DataTime





La flessibilità di DataTime riguarda la possibilità di usufruire di due architetture:
A. Updatable: i report sono destinati alla sola consultazione. Tale architettura non pone vincoli di piattaforma per il server web.
B. Interactive: caso in cui si vuole consentire all'utente di interagire con i report.
Ma si rferisce anche agli elementi stilistici e grafici con cui arricchire il report, attraverso l'inserimento di testi, immagini grafici e gauge cn un elevato livello di personalizzazione:


  • Title text. I titoli possono essere creati attraverso la finestra “tex box proprieties”, che
    permette di personalizzarne elementi quali: dimensioni testo, colore, carattere,align, border
    style etc.

  • Stile tabella. La nostra tabella può essere modificata semplicemente cliccando sul tasto
    destro del mouse e poi selezionando nel menù a tendina: “grid styles”. Si aprirà a questo
    punto una schermata (bulk style changes) che permette di modificarne il layout, o tramite il
    ricorso a stili preselezionati, oppure sviluppandone di nuovi (tramite il tasto Bulk changes to
    styles).

  • Immagini. Data Time consente di inserire nel nostro report una serie di immagini, con la
    possibilità anche in questo caso di scegliere tra immagini preselezionate o tra quelle caricate
    sul proprio pc. Anche in questo caso si tratta di una operazione semplicissima, sarà infatti
    sufficiente cliccare sul tasto destro del mouse e selezionare nel menù a tendina “new image”.

  • Grafici. È possibile come detto, migliorare la comprensibilità del nostro report tramite il
    ricorso ai grafici. La schermata “Multichart designer” garantisce anche in questo caso una
    ampia personalizzazione dei grafici, con la possibilità di scegliere tra una serie di grafici bi/
    tridimensionali e modificarne le proprietà e i colori.

  • Gauge. Tra gli altri elementi stilistici offerti da Data Time ci sono i gauge (cruscotti). Si
    tratta di un oggetto molto simile ad un grafico, ma che si differenzia da quest’ ultimo per il
    fatto di rappresentare i valori delle singole celle (anche appartenenti a diversi ReportGrids).
    Anche qui abbiamo una ampia scelta e la possibilità di apportare molte modifiche operando
    sul menù “Multigauge Designer”.


Dal punto di vista della rappresentazione grafica il charting di Data Time utilizza un motore di rendering 3D per consentire massima flessibilità di posizionamento dei grafici e anche avanzate forme di interattività degli stessi. Tutti i grafici infatti hanno grande adattabilità e possono essere sezionati o ricolorati a piacimento. I chart sono direttamente linkati ai dati e li riflettono costantemente, attraverso le rigenerazione e i drill dell’utente.



Data Time Reporting Solution


Data Time Reporting Solution è la soluzione reportistica più moderna e potente attualmente disponibile sul mercato. La sua piattaforma di riferimento è Framework Net, cioè per esempio tutti i sistemi opertativi Windows.

Il punto di maggior forza è la connettività universale verso i Database, basata sul protocollo OleDb, parliamo dunque di Oracle, SQL server, Access, MySQL o anche semplici fogli EXCEL.

Per questo si può sostenere che Data Time Reporting Solution p il sistema di reportistica più flessibile: consente la creazione di qualsiasi tipo di Layout con possibilità quasi illimitare di Slice and Dice del cubo multidimensionale dei dati. Per queto crea un alto impatto visivo, dove tutti gli elementi grafici e stilistici possono essere controllati dall'utente.


I principali tool software di Query reporting: B.O., Microstrategy, Cognos e DataTime

i tool di query reporting sono software finalizzati ad elaborazioni, anche personalizzabili, e alla presentazione, generalmente secondo forme tabellari.

Tra i principali produttori di sistemi di REPORTISTICA troviamo:


- Business Object, è il principale fornitore mondiale di soluzioni per la BI, conta 3.000 aziende partner e 46.000 clienti in più di 80 paesi.
Gli strumenti che utilizza la Business Object sono: reporting, gestione di dashboard e scorecard, applicazioni per la costumer intelligence, reporting finanziario e extranet rivolte ai clienti.
Queste soluzion hanno l'obiettivo di ottenere una visione completa del proprio business, migliorare i processi decisionali e ottimizzare le prestazioni.


- Microstrategy, nata nel 1898 si fonda sull'utilizzo di funzionalità di monitoraggio, reporting e analisi unite in un'unica architettura. La mission della società si riassume in tre parole: Controllo, Report, Analisi.


Attraverso Microstrategy è possibile:
1. Un controllo delle prestazioni in tempo reale, fornendo agli utenti aziendali una tecnologia che permette un monitoraggio costante delle metriche per informare e allertare i responsabili di business circa le attività in corso e le decisioni da prendere sulla base di parametri prestabiliti;
2. Informazioni dettagliate per le decisioni operative, permettendo di ricavare informazioni preziose sulle performance passate e presenti, in modo da rilevare cosa accade nell'impresa e come procede il business. E tutto ciò attraverso una tecnologia avanzata di reporting, che consente un utilizzo davvero intuitivo da parte dell'utente, la possibilità di operare via Web e una grande scalabilità.
3. Anali dei dati per scoprire trend significativi nelle performance aziendali, consentendo di vedere le informazioni aziendali da molte angolazioni differenti. In questo modo i manager potranno evidenziare con maggiore facilità le cause di problemi nelle performance, scoprire nuove opportunità di business e prevedere i risultati dell'azienda.




- Cognos,è una società canadese nata nel 1969, nel novembre 2007 è stata acquistata da IBM.Caratteristica essenziale di questi tool è la facilità d’uso, Cognos8.4 come le versioni precedenti sfrutta l’interfaccia Excel per una maggiore facilità d’uso.





- Data Time Reporting Solution, La società DataTime produce DataTime Reporting Solution, si tratta di una società italiana. Questo strumento è estremamente versatile grazie al protocollo oleDB.




I software sopraelencati consentono tre livelli operativi fondamentali:
1. connettività universale verso i database, ossia la possibilità di creare report a partire da qualsiasi DBMS utilizzato,
2. regole di estrazione, cioè la possibilità di creare con semplici movimenti del mouse le proprie regole generali di ETL per l'estrazione dei dati.
3. Layout del report, overo la possibilità di impostare delle regole generali di organizzazione del layout che rimangono memorizzate facendo sì che il report possa ripristinarsi automaticamente con l'immissione dei dati più aggiornati.

lunedì 15 giugno 2009

Esempi di ETL

Alcuni esempi di ETL software:

•IBM InfoSphere DataStage
: supporta la raccolta, l'integrazione e la trasformazione di volumi elevati di dati, con strutture di dati semplici e complesse. Questo strumento consente di integrare tutte le informazioni dell’azienda, provenienti da fonti diverse e con notevoli risparmi di tempo. IBM InfoSphere DataStage infatti, è in grado di gestire sia l'ingresso dei dati entro pochi secondi dall'acquisizione, sia quantità elevate di dati di sistema, in intervalli di elaborazione giornalieri, settimanali o mensili.

•SQL Server Integration Services: questa piattaforma consente di integrare e trasformare i dati a livello aziendale. Integration Services offre la possibilità di risolvere problemi aziendali complessi, tramite operazioni di copia o download di file, invio di messaggi di posta elettronica in risposta a determinati eventi, aggiornamento di data warehouse, pulizia dei dati e data mining e gestione di oggetti e dati di SQL Server. Tra le varie funzioni, Integration Services possiede una serie di strumenti grafici che consentono di creare soluzioni senza scrivere una sola riga di codice.

•Oracle Data Integration Suite: è una piattaforma per l'integrazione dati in grado di collegare applicazioni e sorgenti dati eterogenee fornendo informazioni precise, a tutti i livelli aziendali. I componenti di Oracle Data Integration Suite danno vita a un framework aperto e omogeneo per l'integrazione dati che abbraccia applicazioni eterogenee come IBM DB2, MySQL, Microsoft SQL Server, Oracle Database, ecc.

•Altri esempi di ETL software: SmartDB Workbench, DataStudio, Informatica, PowerCenter, Integrator, ecc.

venerdì 12 giugno 2009

ETL



Da qualche anno si sente sempre più spesso parlare di ETL, tipicamente parlando di progetti di Business Intelligence. Molte aziende li stanno adottando, generalmente spinte dall’ufficio IT.
ETL è l'acronimo di Extraction Transformation and Loading (Estrazione, Trasformazione e Caricamento). In pratica è lo strumento per caricare i dati in un sistema di sintesi estraendoli da fonti eterogenee, che possono essere basi di dati transazionali, stringhe di testo o altre fonti.
In origine nascono come strumento a supporto dei sistemi di Business Intelligence e/o di DataWarehouse:

* Extract: estrazione dai sistemi sorgente dei dati necessari per supportare i processi decisionali
* Transform: trasformazione dei dati in informazione, tramite processi di verifica, pulizia ed arricchimento
* Load: salvataggio delle informazioni in formati eterogenei

Oltre ad estrarli, questo strumento espleta funzioni di:
  • pulizia,

  • ordinamento,

  • raggruppamento,

  • selezione,

  • normalizzazione,

  • traduzione,

  • raggruppamento.




Il problema che si incontra nel trasferire dati è che questi si trovano sparsi su sistemi eterogenei, quindi è necessario leggere i dati dalla loro fonte, ripulirli e formattarli in modo uniforme (processo detto di consolidamento dei dati), e poi caricarli nel repository di destinazione per l'uso.

Difficoltà per ottenere un´implementazione efficiente ed affidabile dei processi ETL.

* I volumi di dati crescono in maniera esponenziale, e i processi ETL devono elaborare grandi quantità di dati (prodotti venduti, chiamate telefoniche, transazioni bancarie.).
Alcuni sistemi BI raramente vengono aggiornati incrementalmente mentre altri richiedono un caricamento completo ad ogni iterazione.
* Con l´aumento della complessità dei sistemi informatici, anche la disparità delle sorgenti aumenta. I processi ETL richiedono una connettività di vasta portata per i pacchetti di applicazioni (ERP, CRM, ecc.), database, mainframe, file, Servizi Web, ecc.
* Le strutture e le applicazioni di Business Intelligence comprendono data warehouse, data mart, applicazioni OLAP per l´analisi, il reporting, il dashboarding, lo scorecarding, ecc. Tutte queste strutture target hanno diversi requisiti di trasformazione dei dati e diverse latenze.
* Le trasformazioni coinvolte nei processi ETL possono essere altamente complesse. I dati devono essere aggregati, sottoposti a parsing, calcolati, elaborati statisticamente, ecc. Le trasformazioni specifiche BI sono anch´esse necessarie, come lo Slowly Changing Dimensions.
* Mentre la BI tende alla simultaneità real-time, i data warehouse e data mart devono essere aggiornati più spesso e le finestre di tempo del caricamento diventano sempre più brevi.

Di seguito vengono riportati alcuno tool ETL:

  • SmartDB Workbench
  • DataStudio
  • Integrator
  • Informatica PowerCenter
  • Datastage IBM
  • SSIS Microsoft
  • I-service IngeniumTechnology
  • Scriptella ETL
  • Benetl
  • Oracle Data Integration Suite
  • Kettle Pentaho Data Integration

Architettura per i sistemi informativi aziendali

Con lo sviluppo informatico, oggi, è piú facile poter produrre, archiviare, analizzare e gestire l'informazione.
Dati, informazione e conoscenza diventano valore aggiuntivo e fonte di vantaggio solo se opportunamente utilizzati e trasmessi.


I sistemi informativi aziendali svolgono la funzione di veicolare in maniera veloce ed efficiente le informazioni.

Sono costituiti da un complesso di strumenti, risorse e attività che rileva in modo sistematico, elabora, scambia e archivia dati con lo scopo di produrre e distribuire le informazioni nel momento e nel luogo adatto e per persone che in azienda ne hanno bisogno.
In altre parole, rappresentano il sistema nervoso dell'azienda, attraverso il quale si veicolano i segnali percepiti sia dall'interno dell'azienda sia dal contesto ambientale esterno.



L'immagine rappresenta un sistema informativo aziendale. Esso è costituito non solo da componenti software e hardware, ma anche da altri elementi quali, ad esempio, procedure, strumenti, persone e competenze tra le quali avvengono interazioni che portano alla produzione ed elaborazione delle informazioni.


Indipendentemente dalla loro composizione specifica, i sistemi informativi aziendali svolgono, secondo combinazioni differenti, tre funzioni principali:

· Acquisizione di dati e comunicazione

· Registrazione (storage) e ricerca dei dati

· Trattamento e reporting





In particolare, é costituito da due categorie di strumenti per la gestione dei dati:
- Database per l'elaborazione delle transizioni, cioé quei sistemi operazionali que identificano l'insieme delle applicazioni che supportano in tempo reale le attivitá business giornaliere dell'azienda;
- Database per il supporto delle decisioni, cioé i sistemi di supporto alle scelte strategiche di management, per esempio le applicazioni di reportistica e quelle di datawarehousing.
Esempi di sistemi informativi sono il basi di dati, datawarehouse e data mart.


DBMS transazionali:

I dbms transazionali sono dbms ad alta diffusione che sono basati generalmente sul linguaggio SQL, e devono la loro diffusione alla semplicità del concetto di transazione cioè quell'operazione che si deve concludere sempre con un successo o un insuccesso (sono DBMS in cui le operazioni di scrittura sul database sono in grado di essere ripristinati se non sono compilati nel modo giusto).

DW

I datawarehouse sono dbms orientati all'analisi che non hanno bisogno di sistemi di sicurezza, di dinamicità e di normalizzazione che invece sono caratterizzanti dei sistemi transazionali. Possiamo definirli come tipi di sistemi decisionali, orientati all'analisi utente interattiva, intuitiva e veloce di dati corretti e consolidati.

DM
Un data mart è un sottoinsieme di un DW, è più piccolo, semplificato e funziona indipendentemente da esso. Un data mart contiene meno informazioni e quindi è più facile navigare in essi, non contiene dati operativi e si focalizza solo sui requisiti di un particolare dipartimento. Solitamente nelle grandi aziende c'e' l'esigenza di dividere il datawarehouse in diversi data mart.