Voor de meeste data-engineeringteams betekent het beheren van de betrouwbaarheid van pijplijnen vaak het wachten op een waarschuwing, het handmatig traceren van fouten in gedistribueerde taken en clusters, en het oplossen van problemen nadat ze al in het bedrijf zijn terechtgekomen. Agentic AI heeft de gegevens nodig om aanwezig, schoon en op tijd te zijn. Een pijplijn die stilletjes faalt of verouderde gegevens levert, maakt niet alleen een dashboard kapot, maar ook het AI-systeem dat daarvan afhankelijk is.
Die kloof is wat Definitieeen in Chicago gevestigde startup voor datapijplijnoperaties, bouwt aan: het inbedden van agenten rechtstreeks in de Spark- of DBT-driver om te handelen tijdens een pijplijnrun, en niet erna. Eén zakelijke klant identificeerde 33% van zijn optimalisatiemogelijkheden in de eerste week van de implementatie en verminderde de probleemoplossing en optimalisatie-inspanningen met 70%, aldus Definity. Het bedrijf beweert ook dat klanten complexe Spark-problemen tot 10x sneller oplossen.
“Je hebt drie grote dingen nodig voor agentische databewerkingen: volledige stackcontext die realtime is en productiebewust. Controle over de pijplijn. En de mogelijkheid om te valideren in een feedbacklus. Zonder dat kun je naar buiten kijken en alleen lezen”, vertelde Roy Daniel, CEO en mede-oprichter van Definity, aan VentureBeat in een exclusief interview.
Het bedrijf maakte woensdag bekend dat het $12 miljoen heeft opgehaald aan Series A-financiering onder leiding van GreatPoint Ventures, met deelname van Dynatrace en bestaande investeerders StageOne Ventures en Hyde Park Venture Partners.
Waarom bestaande pijplijnmonitoring op grote schaal kapot gaat
Bestaande tools benaderen het probleem van buiten de uitvoeringslaag: Datadog, dat vorig jaar de datakwaliteitsmonitor Metaplane heeft overgenomen, Databricks-systeemtabellen en platforms als Unravel Data en Acceldata lezen allemaal statistieken nadat een taak is voltooid. Dynatrace heeft monitoringmogelijkheden; het nam ook deel aan Definity’s Series A.
De Definity-aanpak onderscheidt zich van andere opties door de manier waarop de oplossing wordt ontworpen. Volgens Daniel betekent dit dat tegen de tijd dat een platformmonitoringtool een probleem aan het licht brengt, de pijplijn al loopt en dat de storing, de verspilde rekenkracht of de slechte data zich al stroomafwaarts bevinden.
‘Het komt altijd achteraf’, zei Daniel. “Tegen de tijd dat je weet dat er iets is gebeurd, is het al gebeurd.”
Hoe de uitvoerende agenten van Definity werken
Het belangrijkste architectonische verschil is waar de agent zit: binnen de pijpleiding in plaats van van buitenaf te kijken.
Inline-instrumentatie. Het Definity-systeem installeert een JVM-agent rechtstreeks in de pijplijnuitvoeringslaag via een enkele regel code, die onder de platformlaag loopt en uitvoeringsgegevens rechtstreeks uit Spark haalt.
Uitvoeringscontext tijdens de uitvoering. De agent legt het gedrag van de uitvoering van query’s, de geheugendruk, scheeftrekking van gegevens, shuffle-patronen en het gebruik van de infrastructuur vast terwijl de pijplijn loopt. Het leidt ook dynamisch de afstamming tussen pijplijnen en tabellen af; er is geen vooraf gedefinieerde gegevenscatalogus vereist.
Interventie, niet alleen observatie. De agent kan de toewijzing van middelen halverwege de uitvoering wijzigen, een taak stopzetten voordat slechte gegevens zich verspreiden of een pijplijn voorrang geven op basis van upstream-gegevensomstandigheden. Daniel beschreef een productie-implementatie waarbij de agent ontdekte dat er voorrang was gegeven aan een upstream-taak en dat de invoertabel die hij moest schrijven verouderd was – en de downstream-pijplijn stopte voordat deze begon, voordat slechte gegevens een afhankelijk systeem bereikten.
Wat is en is niet realtime. Detectie en preventie zijn realtime. Analyse van de hoofdoorzaak en aanbevelingen voor optimalisatie worden op aanvraag uitgevoerd wanneer een ingenieur de assistent ondervraagt, waarbij de volledige uitvoeringscontext al is samengesteld.
Overhead en dataresidentie. De agent voegt ongeveer één seconde rekenkracht toe tijdens een run van een uur. Alleen metadata wordt extern verzonden; volledige implementatie op locatie is beschikbaar voor omgevingen waar geen metagegevens de perimeter kunnen verlaten.
Hoe intelligentie tijdens de uitvoering eruit ziet in een productieomgeving
Een vroege gebruiker van het Definity-platform is Nexxen, een advertentietechnologieplatform met grootschalige Spark-pijplijnen voor bedrijfskritische advertentieworkloads, die op locatie worden uitgevoerd.
Dennis Meyer, directeur Data Engineering bij Nexxen, vertelde VentureBeat dat het kernprobleem waarmee hij werd geconfronteerd niet het falen van pijpleidingen was, maar de oplopende kosten van inefficiëntie in een omgeving zonder elastische cloudcapaciteit om afval te absorberen.
“De grootste uitdaging was niet het breken van pijpleidingen, maar het beheren van een steeds complexer en grootschaliger wordende omgeving”, aldus Meyer. “Omdat we op locatie werken, hebben we niet de flexibiliteit van onmiddellijke elasticiteit, dus inefficiënties hebben een directe impact op de kosten.”
De bestaande monitoringinstrumenten gaven Nexxen een gedeeltelijke zichtbaarheid, maar niet genoeg om systematisch actie te ondernemen. “We beschikten over bestaande monitoringtools, maar hadden full-stack inzicht nodig om het werklastgedrag holistisch te begrijpen en systematisch prioriteit te geven aan optimalisaties”, aldus Meyer.
Nexxen heeft Definity geïmplementeerd zonder wijzigingen in de pijplijncode. Volgens Meyer heeft het team binnen de eerste week 33% van de optimalisatiemogelijkheden geïdentificeerd en zijn de technische inspanningen op het gebied van probleemoplossing en optimalisatie met 70% gedaald. Het platform maakte infrastructuurcapaciteit vrij, waardoor het team de groei van de werklast kon ondersteunen zonder extra hardware-investeringen.
“De belangrijkste verschuiving was de overgang van reactieve probleemoplossing naar proactieve, continue optimalisatie”, aldus Meyer. “Op schaal is de grootste kloof vaak niet de tooling, maar de bruikbare zichtbaarheid.”
Wat dit betekent voor bedrijfsdatateams
Voor data-engineeringteams die productie-Spark-omgevingen beheren, heeft de verschuiving van reactieve monitoring naar in-execution intelligence architecturale en organisatorische implicaties die de moeite waard zijn om over na te denken.
Pipeline-operaties worden een AI-infrastructuurprobleem. Datapijplijnen die voorheen analyses ondersteunden, dragen nu AI-workloads met directe zakelijke afhankelijkheden. Storingen die ooit voor ongemak zorgden, blokkeren nu de levering van productie-AI.
De tijd voor het oplossen van problemen is een terugverdienbare kostenpost. Volgens Meyer heeft Nexxen de technische inspanningen op het gebied van probleemoplossing en optimalisatie met 70% verminderd na de implementatie van Definity. Voor teams die lean werken, is het teruggaan naar de roadmap het meest directe geval voor de evaluatie van deze categorie op de korte termijn.
