Fabric Community Conference Europe: recap

Microsoft Fabric is big business, en wordt alleen maar groter als het aan Microsoft ligt. Zoveel was duidelijk op FabConEurope! De updates, aankondigingen en insights vlogen ons om de oren - daarom zetten we ze hier nog eens netjes op een rij:

Core

• Microsoft Fabric SKU Calculator (Private Preview): 
  

  Deze tool helpt gebruikers bij het plannen en beheren van hun capaciteit in Microsoft Fabric door inzicht te geven in de benodigde resources en kosten. Het biedt een overzichtelijke manier om de capaciteit af te stemmen op specifieke gebruiksscenario's.

• Service Principal Support voor Fabric API's: 
  Hierdoor is het mogelijk om veilig te authenticeren en te autoriseren met API's in Microsoft Fabric, wat de integratie en automatisering vergemakkelijkt.
• Terraform Provider (Public Preview): 
  

  Dit stelt gebruikers in staat om infrastructuur in Microsoft Fabric te automatiseren en te beheren met behulp van Terraform, een populair tool voor Infrastructure-as-Code. Met deze integratie kunnen organisaties hun Fabric-omgevingen efficiënter beheren en opschalen door middel van geautomatiseerde scripts en configuraties.

• Data tagging voor verbeterde item curatie:
  

  Door data te voorzien van tags, kunnen gebruikers sneller relevante gegevens vinden en beheren. Dit maakt databeheer eenvoudiger en efficiënter, vooral bij grote datasets, en helpt teams om georganiseerde en goed toegankelijke datalandschappen te creëren.

OneLake

• Unity Catalog-tabellen van Databricks: 
  

  Integreer en beheer Databricks-tabellen binnen het Fabric-ecosysteem, waardoor gegevensbeheer eenvoudiger wordt. Deze integratie biedt meer flexibiliteit voor databeheer en samenwerking tussen verschillende platforms.

• Google Cloud en S3-shortcuts: 
  Deze shortcuts bieden gebruikers directe toegang tot externe opslagbronnen zoals Google Cloud en S3 vanuit OneLake. Dit maakt het eenvoudiger om data op een gestroomlijnde manier te integreren en te beheren zonder de data fysiek te verplaatsen.
• Shared Access Signatures (SAS): In publieke preview voor OneLake:
  

  Met SAS kunnen gebruikers tijdelijk beveiligde toegang verlenen tot data in OneLake, zonder volledige toegangsrechten te delen. Dit biedt meer flexibiliteit en veiligheid bij het delen van gegevens, vooral in samenwerkingsomgevingen.

Data Warehouse

• T-SQL Notebook (Public Preview): 
  

  Deze functie stelt gebruikers in staat om interactieve notities en SQL-query's samen te gebruiken binnen één interface, wat de productiviteit en samenwerking bevordert. T-SQL Notebooks bieden een nieuwe manier om analyses te documenteren, inzichten te delen en complexe query's te beheren in een georganiseerde omgeving.

• Copilot voor Data Warehouse (Public Preview update): 
  AI-gestuurde ondersteuning bij het uitvoeren van complexe data-analyses en query's in Data Warehouse-omgevingen. Gebruikers kunnen sneller inzichten genereren door middel van natuurlijke taalinteracties, wat de efficiëntie en nauwkeurigheid van dataverwerking verhoogt.
• JSON-ondersteuning: 
  Het wordt gemakkelijker om met JSON-gegevens te werken in Fabric Data Warehouse, inclusief betere prestaties bij het verwerken van grote datasets en verbeterde query-ervaringen. Dit biedt meer flexibiliteit voor gebruikers die JSON-gebaseerde gegevensstructuren willen integreren en analyseren binnen het Microsoft Fabric-ecosysteem.
• Editor-verbeteringen voor SQL Analytics Endpoint:
  Deze updates bieden een verbeterde gebruikerservaring, met meer gebruiksvriendelijke functies zoals betere navigatie, verbeterde querybewerking en meer opties voor het uitvoeren van analyses. Deze verbeteringen maken het eenvoudiger om efficiënter te werken met data in Microsoft Fabric.

Data Engineering

• Spark Diagnostic Emitter: 
  Voor het verzamelen van logs en metrics in Microsoft Fabric. Dit helpt gebruikers om diepgaand inzicht te krijgen in hun Spark-pipelines door diagnostische gegevens te genereren, die kunnen worden gebruikt voor monitoring, probleemoplossing en optimalisatie van prestaties in Spark-omgevingen.
• High Concurrency Mode voor Notebooks: 
  In pipelines voor Spark. Deze nieuwe modus stelt meerdere gebruikers in staat om tegelijkertijd notebooks uit te voeren zonder prestatieverlies, wat de efficiëntie verhoogt in dataverwerkingsomgevingen met zware workloads. Dit biedt betere schaalbaarheid en flexibiliteit voor organisaties die werken met gedeelde resources in Spark.
• Python User Data Functions voor data transformatie, validatie en verrijking:
  Dit stelt gebruikers in staat om Python-scripts te integreren in hun dataverwerkingsworkflows, wat meer flexibiliteit biedt bij het aanpassen van gegevensstromen. Hierdoor kunnen complexe dataverwerkingen worden uitgevoerd die verder gaan dan standaardfunctionaliteiten in Fabric.
• Data Loss Prevention (DLP)-beleid uitgebreid naar Fabric Lakehouses:
  

  Dit betekent dat gevoelige gegevens in Lakehouses nu beter beschermd zijn tegen datalekken, door gebruik te maken van DLP-beleid. Deze uitbreiding stelt organisaties in staat om gevoelige data te detecteren, te bewaken en te beschermen binnen het Microsoft Fabric-ecosysteem, wat helpt om naleving van regelgeving en gegevensveiligheid te verbeteren.

Data Science

• Copilot conversational mode (Public Preview): 
  Copilot in Real-Time Intelligence ondersteunt conversatie-interacties voor het vertalen van natuurlijke taal naar Kusto Query Language (KQL). Gebruikers kunnen queries dynamisch verfijnen, vervolgvraagstellingen doen en data iteratief verkennen, terwijl de context behouden blijft. Dit wordt mogelijk gemaakt door contextrijke interacties die eerdere inputs en database-informatie meenemen om nauwkeurigere queries te genereren.
• Microsoft Fabric AI Skill: 
  Unlock context-rijke inzichten met AI. Met Microsoft Fabric AI Skill kunnen gebruikers hun data beter begrijpen en waardevolle informatie blootleggen, zonder diepgaande technische kennis. Zo wordt het eenvoudiger om complexe data te analyseren en datagedreven beslissingen te nemen.
• Facturering updates voor Copilot en AI in Fabric.
  Vanaf 1 november 2024 zullen de kosten voor het gebruik van Copilot in Microsoft Fabric met 50% worden verlaagd, tot 200 Capaciteitseenheden per 1.000 invoertokens en 600 per 1.000 uitvoertokens. Prebuilt AI-services, zoals Azure Open AI en Azure AI Translator, zullen dan ook worden gefactureerd. Daarnaast zullen AI Skills, die gebruikers in staat stellen natuurlijke taalvragen te stellen over hun data, worden afgerekend volgens de nieuwe Copilot-tarieven. Verdere details over de prijsstructuur volgen in november.

Real-Time Intelligence

• Data Activator Updates: 
  De verbeteringen richten zich op het instellen van triggers en meldingen voor real-time gegevensbewaking en -analyse, waardoor gebruikers sneller kunnen reageren op belangrijke datagebeurtenissen. Deze nieuwe functies verhogen de efficiëntie van data-activatie binnen Microsoft Fabric, wat helpt om sneller inzichten te verkrijgen en actie te ondernemen op basis van real-time data.
• KQL-queryset alerts: 
  Het is nu mogelijk om automatische waarschuwingen in te stellen voor KQL-querysets met Data Activator-triggers in Microsoft Fabric. Dit helpt teams sneller te reageren op belangrijke data-insights en maakt real-time monitoring en actie eenvoudiger.

Data Factory

• Copilot voor Data Factory: 
  Automatiseer en optimaliseer dataverwerkingsprocessen met AI-gestuurde assistentie. Copilot kan automatisch dataflows en pipelines aanmaken, wat tijd bespaart en de efficiëntie van data-integratieprocessen verhoogt. Dit maakt het eenvoudiger voor gebruikers om complexe workflows te beheren zonder diepgaande technische kennis.
• Incremental Refresh in Dataflows Gen2 (Public Preview):
  Deze functie maakt het mogelijk om alleen nieuwe of gewijzigde gegevens bij te werken in plaats van volledige datasets, wat zorgt voor snellere en efficiëntere verwerkingsprocessen. Dit is vooral handig voor het werken met grote hoeveelheden data en kan de prestaties van dataflows aanzienlijk verbeteren.
• SAP-integratie: 
  Integreer je SAP-systemen met Microsoft Fabric voor analyse, rapportage en dataverwerking. Deze integratie maakt het eenvoudiger om data uit verschillende bronnen samen te brengen in één omgeving en biedt daarmee een verbeterde workflow en meer mogelijkheden voor inzichten in SAP-data.
• Copy Job (Public Preview)
  Kopieer eenvoudig gegevens van verschillende bronnen binnen Microsoft Fabric. Dit zorgt voor snellere data-overdracht en betere efficiëntie bij het werken met grote hoeveelheden gegevens in data-pipelines. De update is gericht op het optimaliseren van data-operaties en biedt verbeterde prestaties voor gegevenskopieën
• Mirroring voor Snowflake:
  Vanaf nu is het mogelijk om eenvoudig data van Snowflake naar Microsoft Fabric te spiegelen, waardoor bedrijven profiteren van verbeterde prestaties en toegang tot real-time gegevens. Dit vergemakkelijkt integraties en maakt datamanagement efficiënter voor organisaties die werken met zowel Snowflake als Microsoft Fabric.
• Azure SQL Database Mirroring: 
  Nieuwe functies in publieke preview. Deze updates bieden verbeterde prestaties en nieuwe mogelijkheden voor gegevensreplicatie en synchronisatie, waardoor gebruikers eenvoudig data kunnen spiegelen tussen Azure SQL Database en Microsoft Fabric. Dit is een belangrijke stap voor bedrijven die hun gegevensbeheer willen optimaliseren.
• Pipeline-integratie in On-premises Data Gateway:
  Deze functie maakt het mogelijk om gegevens sneller en efficiënter te kopiëren binnen Dataflows, wat leidt tot betere prestaties, vooral bij het verwerken van grote datasets. Fast Copy optimaliseert de dataoverdracht en verbetert de verwerkingstijden aanzienlijk.
• Fast Copy in Dataflows Gen2: 
  Deze update maakt het mogelijk om gegevens veel sneller te kopiëren binnen Dataflows, wat zorgt voor verbeterde prestaties en efficiëntie bij het verwerken van grote datasets.

Power BI

• Fase-out Power BI Premium capacity ten voordele van Fabric capacity
  Power BI Premium Per Capacity SKUs (P-SKUs) worden uitgefaseerd ten voordele van Microsoft Fabric. Bestaande Power BI klanten zullen moeten overstappen naar Fabric capacity bij hun volgende vernieuwing. End of Life voor P-SKUs: 1 januari 2026. Het ideale moment om te zorgen voor een logische opbouw voor je capacity set-up, en om meteen ook data mee te migreren van legacy en/of on-prem platformen.
  
• Direct Lake: rechtstreeks query'en in Power BI
  Vroeger had je twee types semantische modellen: Import en DirectQuery. Bij Import wordt je data vanuit je bron ingeladen op vaste tijdstippen. Dat werkt snel, maar je krijgt een kopie van je data en hebt geen toegang tot realtime data. DirectQuery werkt wel met rechtstreekse toegang tot je databron en realtime data, maar werkt daardoor ook (veel) trager. DirectLake combineert het beste van beiden: iedere wijziging van je data in je databron wordt onmiddellijk in het semantische model ingeladen, near realtime. Bijkomend wordt in een DirectLake het nodige in geheugen geladen, waardoor je snel kan werken. Voortaan kan je dus rechtstreeks vanuit Power BI query'en op je data lakehouse.
• NFC-integratie in Power BI Mobile: 
  

  De update introduceert NFC-ondersteuning in de Power BI mobiele apps, waarmee gebruikers fysieke objecten in de echte wereld kunnen koppelen aan Power BI-rapporten. Door een NFC-tag te scannen, kunnen ze snel relevante data en inzichten ophalen en weergeven. Dit maakt het mogelijk om gegevens naadloos te verbinden met de fysieke omgeving, wat handig kan zijn voor toepassingen zoals voorraadbeheer of kwaliteitscontrole.

• Copilot voor rapportcreatie (Public Preview): 
  Gebruikers kunnen natuurlijke taal gebruiken om rapporten en visualisaties sneller te genereren, wat het proces vereenvoudigt. Copilot kan datasets automatisch analyseren en voorstellen doen voor inzichten, waardoor gebruikers zonder diepgaande technische kennis hoogwaardige rapporten kunnen maken.
• Power BI Dark Mode: 
  Je kan nu kiezen uit verschillende thema's Power BI Desktop, waaronder - eindelijk - Dark Mode!