Terwijl het Amerikaanse bedrijfsleven zich haast om te meten hoe werknemers AI gebruiken, slaat Goldman Sachs een andere weg in.
Veel bedrijven zijn begonnen met het volgen van individuen. Bij JPMorganmonitort het bedrijf dashboards die de AI-gerelateerde activiteiten van tienduizenden gebruikers weergeven, waardoor werknemers zichzelf kunnen vergelijken met hun collega’s. Bij Metade socialemediagigant is software installeren op de computers van Amerikaanse werknemers om toetsaanslagen en muisbewegingen te volgen train zijn AI, Dat meldde Business Insider vorige maand.
Bij Goldman Sachs, Hoofd Informatiefunctionaris Marco Argenti richt zich op het evalueren van de snelheid van teams AI-hulpmiddelen in plaats van zich te concentreren op de statistieken van individuele gebruikers, wat volgens hem kan resulteren in “door de bomen het bos missen”.
Argenti, die leiding geeft aan ongeveer 12.000 ingenieurs, loodst het bedrijf door een snelle verandering terwijl AI de manier verandert waarop ontwikkelaars software maken. Hij concentreert zich op hoe snel van Goldman ingenieurs gaan van idee naar productie, en of hun output daadwerkelijk verbetert, hoe lang het duurt om van een innovatief idee naar een product te gaan dat klaar is voor uitrol.
Hoewel Goldman toegang heeft tot gegevens over het gebruik van tools door individuen, waaronder zijn AI-producten, is het bedrijf meer gericht op het nemen van een teamoverschrijdende visie om de projecttijdlijnen te versnellen, kwaliteitscontrolebeoordelingen uit te voeren en het verbruik van AI-tokens voor budgettering bij te houden. De bank heeft geen trackingdashboards gebouwd om AI-gebruik af te dwingen zodat ontwikkelaars hun adoptiepercentages actief kunnen vergelijken met die van hun collega’s.
Ik ging met Argenti om de tafel zitten om te bespreken hoe Goudman is bepalend voor het succes van ontwikkelaars in het AI-tijdperk, en waarom volgens hem individuele monitoring van de activiteiten van ontwikkelaars het punt dreigt te missen.
Hier is ons gesprek, bewerkt voor lengte en duidelijkheid.
Er is een discussie over het al dan niet volgen. Wat is jouw mening als manager? Is er één weg die effectiever is dan de andere bij het bevorderen van de adoptie van AI?
Aangezien het werk over het algemeen door teams wordt gedaan – en nu door teams die hybride agenten en mensen zijn – hebben we de neiging om naar teamstatistieken te kijken. Meestal gaat het om de snelheid waarmee ze een functie ontwikkelen.
We kijken naar flow: hoe lang het duurt om van idee naar productie te gaan. Je weet het omdat je ziet dat een team een bepaalde achterstand heeft, en ineens begint die achterstand weg te branden.
Vertel me de reden waarom u zegt dat het effectiever is om de zaken op teamniveau te bekijken dan op persoonlijke basis.
Als je naar het individu kijkt, mis je door de bomen echt het bos. Het zou hetzelfde zijn als kijken naar slechts één speler op het veld.
Prima, deze speler maakt meer bewegingen, maar waarom maak ik niet meer doelpunten? Omdat ze de bal moeten doorgeven.
Wat is de juiste manier om te analyseren hoe productief AI uw ingenieurs maakt?
Het meten van de productiviteit van ontwikkelaars is, zoals u weet, iets waar bedrijven altijd naar hebben gestreefd. En er is niet één magische maatstaf, omdat sommige bedrijven zeggen: “Hoeveel regels code?” maar dat is niet echt een geweldige manier om het te doen. Uiteindelijk is wat nuttige output is niet noodzakelijkerwijs het aantal regels code.
Stel dat u een fitnesstrainingsprogramma volgt. Het is waarschijnlijk effectiever om de verandering in sommige van uw vitale functies te zien dan naar de cijfers afzonderlijk te kijken. Als u merkt dat uw cholesterol daalt of uw suikerwaarden naar een beter niveau gaan dan waar u was, dan is dat misschien een indicatie dat u op de goede weg bent.
Een ander groot onderwerp waar iedereen aan denkt zijn de stijgende kosten van tokens. Hoe meet u of uw uitgaven aantoonbare resultaten opleveren?
Als u veel tokens gebruikt en de uitvoer niet beweegt, betekent dit waarschijnlijk dat u zich nog in de experimenteerfase bevindt. We hebben een drempel vastgesteld. Daaronder was er geen verandering in de outputcijfers, maar zodra we die drempel overschreden, begon de productiviteit te bewegen.
Uit onderzoek bleek dat mensen heen en weer gingen met de AI over de planning zelf – waarbij ze tokens gebruikten om implementatieplannen en zakelijke vereistendocumenten te maken voordat ze aan de slag gingen met coderen. Dat voorbereidende werk levert niet meteen code-output op, omdat het gebeurt voordat ontwikkelaars code gaan schrijven.
Je ziet dus een versnelling in het tokengebruik, maar geen onmiddellijke verandering in de output. Zodra het plan is gemaakt, begint de agent code te bouwen, en dan zie je zowel een verdere toename van het tokenverbruik als de resultaten in de vorm van codeeruitvoer.
Hoe denken uw ingenieurs over het nut van AI bij het versnellen van de snelheid waarmee ze taken voltooien?
We zijn een kritische massa gepasseerd waarin opwinding de angst heeft ingehaald.
Ik kwam eigenlijk net uit een soort showcase – een soort innovatiebijeenkomst die we houden. Het dominante sentiment is eigenlijk een gevoel van empowerment. Mensen voelen zich bijna bevrijd. Een paar weken of maanden geleden was er natuurlijk een beetje scepsis en angst, maar ik breng dat in verband met mensen die er niet echt gebruik van maakten.
Hoe verandert die snelheid de manier waarop zij werk aan u presenteren? Zie je een verschuiving van de ‘PowerPoint-cultuur’ naar iets meer praktijkgericht?
Ze komen met een heel concreet probleem dat ze hebben opgelost. Ze gaan vrijwel onmiddellijk aan de slag met prototypes van nieuwe producten – soms voordat het idee volledig is geformaliseerd. Tegenwoordig kun je bijna in realtime prototypen maken. Zelfs tijdens een vergadering praat je met ze en ze kunnen het voor je ogen veranderen.
Vroeger kwamen ze binnen met een PowerPoint of een sixpager en dan moest ik het me voorstellen. Vandaag zag ik een echt product. Ik kan letterlijk zeggen: “Hoe zit dit?” en tijdens de vergadering kunnen ze wijzigingen aanbrengen. Er zit geen tijd tussen idee en prototype. Jij bent een soort “3D-print”-software.
