Recent blogs

Business intelligence & crypto currencies
By user: Laurens | On date: November 24, 2013

De afgelopen maanden hebben we bitcoin omhoog zien gaan van een paar euro naar enkele honderden euro's met de prognose van +/- 1000 euro .

Het is interessant om te zien wat voor goederen en diensten al worden aangeboden tegen bitcoin.  Kan business intelligence om deze gigantische groei heen? Onderzoekers die deze kans niet zien of niet willen zien zouden hun organisatie wel eens van veel potentieel kunnen onthouden.

De crytpo currencie markt is nog volop in ontwikkeling en het is interessant om deze ontwikkelingen te volgen. 

 

Data cleansing, data enrichment and data deduplication
By user: Laurens | On date: June 16, 2013

Met deze technieken kan je makkelijker externe data koppelen aan interne data zodat het mogelijk wordt om waardevollere data te krijgen tbv analyses.

Elk van deze sleutelwoorden lijkt echter een vak apart maar ze bevatten wel gemeenschappelijke elementen. Deze elementen zijn “Pattern recognition” en “golden record”.

Pattern recognition wordt gebruikt voor het matchen van data; denk hierbij aan `fuzzy` logarithmes om klantnamen te ontdubbelen/ koppelen etc.

Hieronder een aantal veelgebruikte methoden:

  •     Levensteihn
  •     Reg_exp
  •     Soundex

Golden record is een uniforme manier waarbij er een bron wordt gecreerd waar alleen 'correcte' data in staat. Data kan hier alleen in worden toegevoegd wanneer het aan een aantal voorwaarden voldoet (data cleansing).

Het bijwerken en onderhouden van een golden record is een stuk lastiger omdat er per bron, per tabel, per kolom andere regels kunnen gelden. Waarom een bepaalde waarde als waarheid wordt getoond is hierbij belangrijk (auditing trail).

Microstrategy consolidation vs custom group
By user: Laurens | On date: May 16, 2013

Microstrategy is een rapportage tool met een eigen sql-engine.
Een van de makkelijkste methodes om meetwaardes te groeperen is op basis van custom groups.

.Custom groups zijn erg gemakkelijk om snel met behulp van filters snel een groepering te maken.
Denk hierbij aan Productgroep x en productgroep y. Met consolidations kan je 1 element per attribuut selecteren en hier meetwaardes op te groeperen waarbij het wel mogelijk is om meerdere attributen te gebruiken.


  Custom group Consolidation
Group by Flexibele filtering filtering op een element per attribuut
Type Per group minimaal een pass probeert te werken met case when statements

 

 

Wat ik met de tabel hierbvoen duidelijk probeert te maken is dat consolidations voor standaard rapporten een betere snelheid hebben dan custom groups doordat er minder passes (aparte sql statements) worden afgevuurd op de database.

In een extreem rapport heb ik de hoeveelheid passes van 60 naar 12 zien afnemen en dit merkt een eindgebruiker (qua performance). Om consolidations effectief te gebruiken dient het datamodel vaak wel aangepast te worden (de custom groups dienen elementen te worden).

Succes met tweaken.

SPSS & Datawarehousing
By user: Laurens | On date: April 26, 2013

Datawarehousing maakt het mogelijk om grote hoeveelheden data 'gestructureerd' klaar te zetten in de vorm van een ster schema. Complexere analyses (regressie/ chaid) hebben liever 0/1 velden. 
Dit betekend dat de data op een andere manier verwerkt moet worden.
De uitgangspunten hierbij zijn:

  • Er zijn meetwaardes die niet al berekend zijn op een bepaald niveau en hoeven dus niet te worden `omgeklapt`. 
  • Er zijn meetwaardes die omgezet moeten worden naar 0/1 velden.
  • Er zijn meetwaardes waarbij de rijen naar kolommen moeten worden omgezet waarbij de meetwaarde moet worden overgenomen
  • Eindgebruikers moeten zelf nieuwe meetwaardes kunnen introduceren.
  • Nieuwe producten/ groeperingen e.d. moet automatisch nieuwe kolommen tot gevolg hebben. 

Om het bovenstaande mogelijk te maken dient de etl een stuurtabel te hebben. 
Waarbij per stap de sql bepaalde statements uitgevoerd worden.
Hierna kunnen de rijen naar kolommen worden omgeklapt voor zover van toepassing.

De stuurtabel bevat dan de volgende kolommen:

  1. Id
  2. Sql naam
  3. Sql text
  4. Sql actief
  5. Sql key col
  6. Sql omklappen ja/nee

Excel based reporting
By user: Admin | On date: April 15, 2013

Niemand in de Business Intelligence gemeenschap kan om excel heen.
Veelal vervloekt door de bi specialisten en geprezen door de ontvangers.

Leuk zo'n rapport in die nieuwe rapportage tool; maar kan ik het ook exporteren naar excel?

Wanneer de organisatie niet beschikt over een sql-server met powerpivot ondersteuning is er alsnog een simpele manier om de data alsnog beschikbaar te maken aan de eindgebruikers; zeg maar een compromis tussen de excel gebruikers en de business intelligence specialisten.
 

De meest simpele methode is dit:
  1. Schrijf een correcte sql.
  2. Gebruik Php om de output van de sql weg te schrijven in een csv format met " om de text velden (voor de zekerheid alle velden maar).
  3. Link Excel / Open office naar deze databron.
  4. Maak het rapport verder op in excel/ open office en sla deze op.
  5. Upload de Excel / Open office file naar een plek waar de gebruiker bij kan.
    Op het moment dat het bestand wordt ge-opend wordt de data opgehaald vanuit de database dmv php en excel/ open office zorgt voor de verdere opmaak.

Klinkt simpel en dat is het ook.
Het vereist wel dat de data redelijk is voorgekauwd (ETL ivm performance issues) en dat er niet teveel data opgevraagd wordt (het blijft een webserver); qua methode is dit gelijkwaardig aan de powerpivot methode.
Binnenkort zal op bietl hier een demo te bewonderen zijn.

ps.
Natuurlijk kan het ook geavanceerder er kan er in combinatie met php gebruik gemaakt worden van prompts (reportdata.php?input1="waarde").