ETL voor Oracle BI, veel werk?

De BI wereld verandert in een razendsnel tempo. Dit komt voornamelijk doordat organisaties sneller veranderen. Hierdoor verandert ook de informatiebehoefte voor het management die deze veranderingen moeten doorvoeren. Op dit moment zien we een aantal trends in de BI wereld.

In de eerste plaats een toenemende roep om sneller aan deze informatiebehoefte te voldoen tegen lagere kosten. Ten tweede vraagt de beheerorganisatie in toenemende mate om onderhoudbare software, die volgens vaste richtlijnen is opgezet en uitgewerkt. Binnen de markt van Business Intelligence zijn er 2 onderdelen die hierbij van belang zijn.

In de eerste plaats een gebruikersvriendelijke omgeving, waarmee snel mooie rapportages gemaakt kunnen worden.
Ten tweede een consistente en up-todate bijgewerkte set met data. Met name dit tweede deel (ETL-proces) is vaak de bottleneck in de totale doorlooptijd van een BI-project, en levert vaak moeilijk onderhoudbare en infl exibele software op.

Om dit ETL-proces sneller, consistenter en fl exibeler te maken zijn op de markt metadata-driven softwarehulpmiddelen beschikbaar die aan deze behoefte voldoen.

Voor IT medewerkers betekenen deze trends een verschuiving van bouw naar ontwerp werkzaamheden, waardoor er meer tijd voor analyse mogelijk is. Voor IT managers vragen deze trends continue aandacht of de gekozen hulpmiddelen nog steeds voldoen, zonder hierbij met iedere hype te willen meedoen en niet afhankelijk te worden van de producenten van deze hulpmiddelen.

Vanuit algemeen management is de roep om goedkoper en sneller BI informatiesystemen te realiseren groot, waardoor uitbesteding naar de zogenaamde lage-lonenlanden als optie bij veel bedrijven meespeelt.

Keuze voor Oracle BI

Standaardisatie van ETL-proces BI ontwikkeltraject

Hoe kunt u, tijdens ontwerp en bouw van een BI informatiesysteem, effi ciënter werken met behoud van uw kwaliteitseisen?

• Voornamelijk kan dit door het inzetten op standaardisatie en de inzet van productivitytools.
• Wanneer u uw werkwijze mbt het ETL-proces standaardiseert, kunt u een groot deel van de activiteiten automatiseren. Daardoor bereikt u de volgende voordelen:
• Consistente kwaliteit;
• Alle ETL-programma?s die u automatisch maakt, voldoen aan dezelfde kwaliteitseisen.
• Hogere productiviteit; Programmageneratoren werken altijd sneller dan mensen.
• Minder fouten; Doordat programma's zijn gegenereerd, hebt u minder kans op menselijke fouten, die in het bouwtraject sluipen. Daardoor hebt u ook minder tijd nodig om de gemaakte software te testen.
• Toepassing van best practices; Door opgedane kennis en ervaring worden alleen die zaken gemaakt, zoals u dat wenst. Dit betekent ook, dat minder ervaren mensen gemakkelijker kunnen profi teren van deze kennis en sneller up-to-speed zijn.
• Eenduidiger beheer; Alle ETL-processen tbv Business Intelligence systemen worden op soortgelijke wijze opgezet en uitgewerkt, waardoor er minder kennisoverdracht hoeft plaats te vinden richting beheer.

Zelf doen of uitbesteden?

Wat zijn de zaken die u daarvan weerhouden? Mogelijk hebt u ook al ervaren dat het realiseren van Business Intelli-gence informatiesystemen vragen om interactie, minder formele specifi caties en daardoor meer flexibiliteit.

Dus hoe kunt u dan toch effi ciënter werken met behoud van uw kwaliteitseisen? Wij denken dat dit kan, door het inzetten op standaardisatie en de inzet van metadata-driven productivitytools.

Powerpack for Oracle BI

Uw investeringen, die u hebt gedaan in de licenties en kennisopbouw van Oracle software blijven daarbij behouden. Voor ontwikkelaars en beheerders is dit een uitkomst. Maar ook voor de informatievragers zitten er voordelen aan. Wat denkt u bijvoorbeeld van het inzichtelijk maken, welke data, op welke momenten, is geladen? Of, wat is de kwaliteit van de data?

Klopt de referentiële integriteit van de data wel? Al met al zaken die voordelen bieden voor eindgebruikers, want zij zien alleen maar het eindresultaat. Als daarbij duidelijk wordt, welke data vanuit welke bron komt en hoe de kwaliteit daarvan kan worden verbeterd, dan zal de betrouwbaarheid, en daarmee acceptatiegraad, van uw BI informatiesysteem toenemen.

Klantvoorbeeld

Binnen Powerpack is het mogelijk om op eenvoudige manier een nieuw bronsysteem te defi niëren en hiervoor de ETL metadata volledig te genereren, waarbij er geen enkele wijziging in het ODS noodzakelijk is. Met deze en andere 'Best Pratices' oplossingen, die in Powerpack zitten is er een goed beheersbaar Data Warehouse ontstaan, dat aan de eisen van de klant voldoet. Met deze flexibele oplossing van Powerpack kunnen de consultants zich meer concentreren op de organisatorische aspecten, en niet op de technische, om een fl exibel Data Warehouse op te zetten.

Inzichtelijk Data Warehouse, dat gemakkelijk beheerd kan worden en eenvoudig uitbreidbaar is

Met behulp van de generatie vanuit Powerpack, hebben we direct een implementatie op een uniforme gestandaardiseerde manier in OWB. Door de jarenlange ervaring van de auteurs met OWB zijn in Powerpack vele uitstekend werkende 'best practices'' geïmplementeerd, die ook werkelijk werken. Voorbeelden hiervan zijn:

• Auditing mechanisme per ETL-job;
• Auditing op record niveau (record tracing);
• Volledige histore van gegevens bewaren in ODS en/of dimensies;
• Undangling references oplossen;
• Unattended ETL-job;
• Geparametriseerde volgorde ETL process fl ows;
• Mail faciliteiten vanuit de ETL-job;
• Partitionering per periode;
• Automatisch statistieken verzamelen gedurende de ETL-job.

Vele 'best practices'' worden standaard gegenereerd door Powerpack en werken ook echt.

De data wordt aangeboden aan eindgebruikers met behulp van bv grafi sche rapportages die de data ophalen uit de dimensionele laag (data marts). Cognos, als frontend tool gekozen, maakt hierbij gebruik van de kracht van de Oracle database. De basis hiervoor zijn sterschema's waarbij dmv Powerpack allerlei optimalisatie is toegepast. Indexering, partitionering en materialized views worden door Powerpack gegenereerd. Hiermee wordt een volledig dimensioneel model gegenereerd, wat ervoor zorgt dat de rapportages een goede performance verkrijgen. Verder wordt door Powerpack aan iedere dimensie een total level toegevoegd, waardoor de raportages fl exibeler kunnen worden gebruikt door de eindgebruikers.

Een goede performance van je rapportages is gebaseerd op een goed datamodel in de data marts.

Meer informatie