Gegevens ophalen uit Dynamics 365 Business Central

Microsoft Dynamics 365 Business Central is een krachtig ERP-systeem, maar de ingebouwde rapportagemogelijkheden hebben duidelijke beperkingen. Financiële teams grijpen terug op Excel-exporten, BI-teams worstelen met verouderde gegevens en IT-teams krijgen de vraag om weer een nieuw Power BI-rapport te bouwen op basis van een Business Central OData-feed die elke ochtend een time-out geeft.

Waarom Business Central geen datawarehouse is

Het kernprobleem is dat Business Central is ontworpen om je bedrijf te runnen, niet om als datawarehouse te dienen. Als je snelle, flexibele analyses wilt – of als je Business Central-gegevens met andere bronnen moet combineren – heb je een speciale integratielaag nodig.

Deze reeks brengt alle zinvolle integratiemethoden in kaart voor het bouwen van een datawarehouse bovenop Business Central, met eerlijke beoordelingen van waar elke methode uitblinkt en waar deze tekortschiet.

Opmerking: Houd er rekening mee dat tools zoals Power Automate – hoewel nuttig voor het automatiseren van bedrijfsprocessen en gebeurtenisgestuurde meldingen – hier buiten beschouwing blijven. Het zijn geen ETL-tools en ze missen de mogelijkheden voor bulkloading, idempotentie en het aanvullen van historische gegevens die een datawarehouse vereist.

De belangrijkste uitdaging: incrementeel laden

Voordat we ingaan op de methoden, is het nuttig om het fundamentele technische probleem te begrijpen. Business Central beschikt niet over een ingebouwd mechanisme voor het vastleggen van wijzigingen (Change Data Capture, CDC) waarop externe tools zich kunnen abonneren. Dit betekent dat de meeste integratiebenaderingen steunen op een van de volgende twee strategieën:

• Polling: Business Central wordt periodiek opgevraagd en alle records worden opgehaald die sinds een watermark-tijdstempel (SystemModifiedAt) zijn gewijzigd. Eenvoudig maar onvolledig — verwijderde records zijn onzichtbaar en wijzigingen met een hoge frequentie kunnen tussen de polling-intervallen door gemist worden.
• Gebeurtenisgestuurde push: Business Central zendt een signaal uit wanneer gegevens veranderen, en een downstream-systeem reageert hierop. Betrouwbaarder, maar vereist infrastructuur om die signalen te ontvangen en te bufferen.

Eén methode — BC2ADLS — is de enige open-sourcebenadering die in de buurt komt van echte CDC-semantiek. Houd dat in gedachten terwijl we de opties doornemen.

1. OData / REST API

Business Central stelt zijn gegevens beschikbaar via OData v4-eindpunten, die toegankelijk zijn via de ingebouwde webservices of API-pagina’s van Business Central. Elke tool die HTTP-verzoeken kan verzenden – zoals Power Query, Python, Azure Data Factory of Postman – kan op deze manier gegevens ophalen.

Hoe het werkt: Configureer een pagina of query als webservice in Business Central. Tools pollen het eindpunt volgens een schema en filteren optioneel op SystemModifiedAt voor incrementele ladingen.

Sterke punten: Geen extra implementatie, werkt met bijna elke ETL-tool, goed gedocumenteerd.

Zwakke punten: OData-paginering is traag bij grote datasets, geen inzicht in verwijderde records, pollen verhoogt de belasting van de Business Central-server, geen native handhaving van watermerken.

Meest geschikt voor: MKB-klanten met bescheiden datavolumes (< 500.000 rijen per entiteit), onregelmatige verversingscycli, of teams die een snelle proof-of-concept nodig hebben.

Wanneer standaard-API’s niet voldoende zijn — Aangepaste AL API-pagina’s

De standaard API-pagina’s van Business Central dekken veelvoorkomende entiteiten (klanten, leveranciers, verkooporders, grootboekposten), maar ze stellen geen aangepaste tabellen of complexe berekende velden beschikbaar. In die gevallen kan een Business Central-ontwikkelaar aangepaste AL-objecten van het type API bouwen, die elke tabel of bedrijfslogica blootstellen als een extra OData-eindpunt dat door dezelfde tooling wordt gebruikt. Dit is geen afzonderlijke integratiemethode — het is een uitbreiding van de OData-laag, en dezelfde sterke en zwakke punten zijn van toepassing. De extra kosten zijn de AL-ontwikkelingsinspanning en de noodzaak van implementatierechten voor Per-Tenant Extension in Business Central SaaS.

2. Dataverse Native Sync

Business Central beschikt over een ingebouwde integratie met Microsoft Dataverse (voorheen Common Data Service). Zodra deze is ingeschakeld, worden de belangrijkste CRM-gerelateerde entiteiten — klanten, leveranciers, contactpersonen, valuta’s — in beide richtingen gesynchroniseerd.

Hoe het werkt: Configureer de Dataverse-verbinding in de Business Central-instellingen. Veldtoewijzingen bepalen wat er wordt gesynchroniseerd. Gegevens worden opgeslagen in Dataverse-tabellen en zijn toegankelijk voor Power Apps en Power Automate.

Sterke punten: Native, codevrije installatie. Maakt Power Apps en Power Automate beschikbaar voor Business Central-gegevens zonder API-aanroepen.

Zwakke punten: De dekking is beperkt tot CRM-achtige entiteiten. Tabellen met financiële details (journaalboekingen, voorraadtransacties) vallen buiten het bereik. Dataverse-opslag is duur op schaal, waardoor het ongeschikt is als datawarehouse. Vooral nuttig wanneer D365 Sales ook in beeld is.

Meest geschikt voor: Organisaties die zowel Business Central als D365 Sales gebruiken en die een uniform klanten- en leveranciersbestand willen hebben voor beide systemen.

3. Dataflow Gen2 (Microsoft Fabric)

Dataflow Gen2 is de op Power Query gebaseerde ETL-service binnen Microsoft Fabric. Deze maakt verbinding met Business Central via dezelfde OData-laag, transformeert gegevens met behulp van de M-taal en schrijft de resultaten als Delta-tabellen naar een Fabric Lakehouse.

Hoe het werkt: Bouw een dataflow in Fabric, maak verbinding met Business Central OData-eindpunten, pas M-transformaties toe en exporteer naar Lakehouse. Plan het in met een timer. Implementeer incrementele logica handmatig met SystemModifiedAt als watermerk.

Sterke punten: Diepe Fabric-integratie, uitstekende flexibiliteit van M/Power Query, ondersteunt consolidatie van meerdere bedrijven, Delta-formaat is geoptimaliseerd voor analyse, relatief lage kosten binnen de Fabric-capaciteit.

Zwakke punten: Geen native Change Data Capture (CDC) — incrementele logica moet handmatig worden gecodeerd. Verwijderde records vereisen een soft-delete-conventie of periodieke volledige verversing. Dataflow Gen2 kan kwetsbaar zijn bij grote payloads en heeft een leercurve voor complexe transformaties.

Meest geschikt voor: Organisaties die al hebben geïnvesteerd in het Microsoft Fabric-ecosysteem. Ideaal voor het bouwen van een gestructureerde Medallion-architectuur (bronze/zilver/goud) bovenop Business Central-data. Dit is momenteel ons aanbevolen standaardtraject voor Business Central-klanten in het middensegment.

4. Azure Data Factory

Azure Data Factory (ADF) is het ETL- en orchestrationplatform van Microsoft voor de zakelijke markt. Het ondersteunt Business Central als bron via de OData-connector en kan naar vrijwel elke Azure-bestemming schrijven.

Hoe het werkt: Definieer gekoppelde services voor Business Central en het doel (Synapse, ADLS, Fabric). Bouw pijplijnen met Copy Activity voor gegevensverplaatsing en Data Flow voor transformatie. Plan met triggers.

Sterke punten: Betrouwbaarheid op productieniveau, ingebouwde monitoring en waarschuwingen, ondersteunt incrementele watermerkpatronen, integreert met Azure DevOps voor CI/CD, schaalbaar naar zeer grote datasets.

Zwakke punten: Hoge overhead voor installatie en onderhoud. Vereist Azure DevOps-discipline om pijplijnen veilig te beheren. De kosten stijgen met de frequentie van de pijplijnexecutie. Overkill voor de meeste MKB-scenario’s.

Meest geschikt voor: Grote ondernemingen of complexe omgevingen met meerdere bronnen, waarbij Business Central een van de vele bronsystemen is die een centraal gegevensplatform voeden. Ook geschikt wanneer de organisatie ADF al in productie heeft voor andere workloads.

5. BC2ADLS

BC2ADLS is een open-source AL-extensie (GitHub: Bertverbeek4PS/bc2adls) die wordt geïnstalleerd binnen Business Central en stapsgewijze gegevenswijzigingen rechtstreeks exporteert naar een Microsoft Fabric Lakehouse. Het is de enige methode in deze lijst die echte CDC-semantiek realiseert: het vastleggen van invoegingen, updates en verwijderingen zonder te vertrouwen op OData-polling. Er zijn geen Azure Event Hubs, Azure Functions of een ADLS Gen2-account vereist, want alle opslag vindt native plaats binnen Fabric.

De Business Central-kant is identiek, ongeacht de modus: installeer de AL-extensie, stel in welke tabellen en velden worden geëxporteerd, en plan de export via Business Central’s Job Queue. Het verschil zit volledig in de manier waarop Fabric de inkomende delta-bestanden verwerkt, en wordt bepaald door één instelling in Business Central — het veld Opslagtype. Er zijn twee opties:

Modus A — Fabric Notebooks: Business Central schrijft incrementele CSV-deltabestanden naar de Lakehouse. Een kant-en-klaar Fabric-notebook (CopyBusinessCentral.ipynb, opgenomen in de repository) moet vervolgens apart worden ingepland om die delta’s samen te voegen tot Delta Parquet-tabellen. Dit voegt een operationele stap toe — twee schema’s die op elkaar afgestemd moeten worden — maar biedt volledige flexibiliteit om aangepaste transformatielogica toe te voegen.

Modus B — Open Mirroring: Business Central schrijft dezelfde deltabestanden naar het Lakehouse, maar de ingebouwde CDC-engine van Fabric detecteert deze automatisch en consolideert ze in deltatafels — er hoeft geen notebook te worden uitgevoerd. Hierdoor vervalt de tweede planningsstap en worden de operationele kosten verlaagd. Het nadeel is dat er geen aangepaste transformatielogica in het consolidatieproces kan worden geïntegreerd.

Gedeelde sterke punten: Legt elke invoeging, update en verwijdering vast zonder OData te pollen. Geen belasting van de OData-eindpunten van Business Central. Geen extra Azure-infrastructuur buiten Fabric. Delta Parquet-uitvoer ondersteunt ACID-transacties, schema-evolutie en tijdreizen. Gedetailleerde selectie op veldniveau. Gratis te gebruiken; actief onderhouden door de community.

Gedeelde zwakke punten: Vereist AL-uitbreidingsimplementatierechten in Business Central (Per-Tenant Extension voor SaaS). Onderhouden door de community, niet officieel ondersteund door Microsoft. De initiële volledige lading van grote tabellen vereist aparte afhandeling voordat de incrementele modus wordt geactiveerd.

Meest geschikt voor: Middelgrote tot grote Business Central-klanten op Microsoft Fabric die behoefte hebben aan zeer frequente gegevensvernieuwing of volledige verwijderingsregistratie. Kies de Notebooks-modus wanneer aangepaste transformatielogica nodig is tijdens consolidatie; kies Open Mirroring wanneer eenvoud van bewerkingen de prioriteit is. Bijzonder sterk voor sectoren met veel transacties, zoals distributie, productie en detailhandel.

Vergelijking

Zo kies je de juiste integratiemethode

De juiste methode hangt af van drie factoren: de omvang van uw organisatie en het transactievolume, uw bestaande Microsoft-infrastructuur en uw tolerantie voor operationele complexiteit.

Je bent een kleine Business Central-klant (< 50 gebruikers, bescheiden transactievolume):

begin met OData via Dataflow Gen2 als je op Fabric draait. Vermijd BC2ADLS en ADF — de infrastructuurkosten zijn op deze schaal niet gerechtvaardigd.

Je bent een middelgrote Business Central-klantdie al op Microsoft Fabric draait:

Dataflow Gen2 is uw standaardkeuze. Implementeer een goed incrementeel laadpatroon met behulp van SystemModifiedAt-watermerken. Als verwijderde records van belang zijn voor uw use case, overweeg dan BC2ADLS als aanvulling voor tabellen met veel wijzigingen.

Je bent een middelgrote tot grote klant met hoge transactievolumes of strikte latentie-eisen:

BC2ADLS is de investering waard. Het lost het CDC-probleem op dat geen enkele andere methode netjes aanpakt. Combineer het met Fabric OneLake-snelkoppelingen voor analyses.

Je bent een grote onderneming met een bestaande Azure Data Factory:

breid ADF uit om Business Central te ondersteunen. Gebruik de OData-connector met incrementele ladingen op basis van watermerken. Overweeg voor verwijderde records om dit te combineren met BC2ADLS voor entiteiten die vaak veranderen.

Je datamodel bevat aangepaste Business Central-tabellen of complexe bedrijfslogica: bouw eerst aangepaste AL API-pagina’s. Deze vormen de basis die elke extractiemethode betrouwbaarder en vollediger maakt.

Methoden sluiten elkaar niet uit

In de praktijk combineren de beste architecturen methoden. Een typische mid-market-opstelling zou er als volgt uit kunnen zien:

• Dataflow Gen2 verwerkt de dagelijkse batchlading van stamgegevens en transactiegeschiedenis, met behulp van standaard Business Central OData-eindpunten — uitgebreid met aangepaste AL API-pagina’s waar de standaard API tekortschiet.
• BC2ADLS verwerkt entiteiten met een hoge frequentie (voorraadboek, grootboekposten) waarbij nauwkeurigheid in bijna realtime van belang is.

Power Automate staat volledig buiten deze stack — het is de juiste tool voor gebeurtenisgestuurde zakelijke meldingen (bijv. een geboekte factuur activeert een Teams-waarschuwing), maar het maakt geen deel uit van de datawarehouse-pijplijn.

Van tools naar architectuur

Business Central is als gegevensbron aanzienlijk volwassener geworden, en dat geldt ook voor het Microsoft-ecosysteem eromheen. Dankzij de combinatie van Fabric, Power Query en het open-sourceproject BC2ADLS kunnen zelfs middelgrote organisaties nu gegevensplatforms bouwen waarvoor een paar jaar geleden nog investeringen op enterprise-niveau nodig waren.

De sleutel is om de methode af te stemmen op de realiteit van uw organisatie — niet automatisch te kiezen voor de technisch meest indrukwekkende optie, en niet vast te houden aan een snel-en-slordige OData-feed waarvan je weet dat deze onder belasting zal bezwijken.