Een plan van een Italiaanse AI om de 100 miljoen dollar kostende wetenschappers uit Silicon Valley te verslaan

In Rome graven we opnieuw, maar dit keer in de dieptes van neurale netwerken. Translated , een Italiaans bedrijf dat tot de meest geavanceerde ter wereld behoort op het gebied van AI-gestuurde machinevertaling, leidt een ambitieus Europees project om de beperkingen te overwinnen van de huidige grootschalige linguïstische modellen (LLM), die de basis vormen voor tools zoals ChatGpt , Gemini en Claude.

Computerwetenschapper Marco Trombetti , die in 1999 samen met taalkundige Isabelle Andrieu Translated oprichtte, ontving op het hoofdkantoor van zijn bedrijf 70 Europese onderzoekers die zullen werken aan DVPS , een nieuw initiatief van het Horizon Europe -programma dat jaarlijks ongeveer 1 miljard euro toekent aan AI, met de nadruk op fundamenteel onderzoek, industriële innovatie en praktische toepassingen.

Het Europese hart van het DVPS-project

Translated zal het project coördineren, dat wordt ondersteund door een investering van 29 miljoen euro. Twintig toonaangevende organisaties nemen deel – bedrijven maar ook universiteiten – uit negen Europese landen. De naam DVPS – een Latijns acroniem voor Diversibus Vilis Plurima Solvo , oftewel “via verschillende wegen los ik meerdere problemen op” – knipoogt naar de passie van Silicon Valley voor de Romeinse wereld, maar de ziel van dit onderzoek is volledig Europees.

Het project startte in Rome, op de Pi Campus ten zuiden van de hoofdstad, een klein ecosysteem van villa's waar startups en durfkapitalisten regelmatig samenkomen.

Het DVPS-team is van plan een nieuw AI-model te bouwen dat kan ‘leren van interacties in de echte wereld door linguïstische, visuele en sensordata te combineren’.

Verder dan LLM's: een nieuw paradigma

"Grote taalmodellen hebben de spelregels veranderd, maar we beginnen hun beperkingen te zien, zowel qua architectuur als qua manier waarop ze leren van statische content, die door mensen wordt gecreëerd en alleen beschikbaar is in de digitale wereld. Om te evolueren, moet AI in realtime met de echte wereld interacteren. Met DVPS stellen we machines in staat te groeien door met de realiteit te interacteren en direct kennis met elkaar uit te wisselen", aldus Trombetti, een van de Italiaanse ondernemers die – qua mentaliteit, houding en persoonlijke relaties – het dichtst bij Silicon Valley staat.

De afgelopen jaren zijn enkele symbolische namen van wereldwijde AI de revue gepasseerd op Pi Campus: van Lukasz Kaiser , een van de auteurs van het artikel Attention Is All You Need , dat bijdroeg aan de geboorte van ChatGpt, tot - nog maar een paar dagen geleden - Jonathan Cohen , hoofd van AI-software bij Nvidia , het bedrijf dat met zijn grafische kaarten de revolutie van generatieve kunstmatige intelligentie mogelijk maakte.

De fundamenten van DVPS

Translated boekte in 2024 een omzet van 69,2 miljoen euro. In 2021 rondde het een investeringsronde van 30 miljoen euro af onder leiding van investeringsmaatschappij Ardian. Het bedrijf, gevestigd in Rome, heeft 250 medewerkers. Trombetti is de CEO.

Met de winst van het bedrijf richtten de oprichters van Translated Pi Campus op, dat zij omschrijven als ‘een durfkapitaalbedrijf dat investeert in toegepaste AI’.

De Romeinse campus is een plek om talent te ontwikkelen : er is een school voor kunstmatige intelligentie, de Pi School, opgericht, die elk jaar de beste profielen selecteert om hen uit te nodigen echte problemen op te lossen die worden voorgesteld door "leidende bedrijven of groeiende startups".

Het DVPS-project, dat wordt omschreven als "een van de belangrijkste Europese investeringen in AI-onderzoek", is dan ook gebouwd op een solide basis. De droom is om geavanceerde AI-systemen te creëren die context beter begrijpen dan LLM's.

Het idee is om een ​​algemeen model te ontwikkelen dat vervolgens ‘verticaal’ kan worden toegepast in ten minste drie sectoren: geneeskunde, milieu en taalkundige vertalingen .

In de taalsector, waar Translated een sterke positie heeft, zal DVPS visuele input, ruimtelijke audio en contextuele informatie integreren om de spreker correct te identificeren en nauwkeurigere vertalingen te leveren.

Hoe win je het AI-kampioenschap?

Het project gaat van start met een eerste experimentele fase, ondersteund door een Europese financiering van 29 miljoen euro, waarvan 4 miljoen bestemd is voor rekencapaciteit .

Als het in deze fase ontwikkelde model veelbelovende resultaten oplevert, is het doel om binnen een jaar 100 miljoen euro op te halen voor de bouw van modellen op middelgrote schaal. Als het project dan tot de beste in deze nieuwe categorie behoort, kan een investering van een miljard euro worden nagestreefd en kan het deelnemen aan de wereldwijde competitie voor kunstmatige intelligentie.

Maar hoe win je AI-kampioenschappen?

"Je begint met onderzoek, dan bouw je een klein model met 5-7 miljard parameters", legt Trombetti uit. "Deze modellen kosten ongeveer een miljoen. Degenen die in deze categorie uitkomen, doen dat met weinig tijd en middelen. Welke van de kleine modellen is de beste? Zelfs als het inferieur is aan een model van 100 miljard, wint het in zijn klasse. Het is net als het winnen van de 'provinciale' kampioenschappen: dan ga je verder naar de 'regionale' kampioenschappen, verzamel je 100 miljoen en ontwikkel je een veel groter model. Als je ook in die categorie wint, kun je miljarden investeren en mikken op de 'Olympische Spelen'. We zijn gemotiveerd om daar te komen, maar we weten dat we alle stappen moeten doorlopen. En wij zijn zeker niet degenen die om een ​​miljard vragen zonder eerst de kleine kampioenschappen te hebben gewonnen."

De kracht van Europa? De problemen zien

Wat is de kans op succes voor DVPS? "20%", antwoordt Trombetti. Waarom zo laag? "We zullen de huidige LLM-architectuur niet gebruiken", legt de CEO van Translated uit. "We zullen de DeepSeek- aanpak niet volgen, die simpelweg een verbetering in een bestaand systeem introduceerde. Onze inzet is anders: we richten ons op fundamenteel onderzoek, we willen nieuwe manieren bedenken om deze problemen aan te pakken en een model bouwen met een volledig nieuwe architectuur. De kans op succes is lager, maar als we slagen, zullen we geen 101% stap voorwaarts zetten, maar een sprong van 200%."

De missie van DVPS is complex, als we bedenken dat zelfs aan de andere kant van de oceaan, in Silicon Valley, de beste geesten ter wereld werken aan het overwinnen van de huidige beperkingen van LLM's, met name het gebrek aan data om modellen op te trainen. Maar Big Tech heeft miljarden te investeren en een immense rekenkracht. Hun slagingspercentages, in tegenstelling tot Translated en zijn Europese collega's, zijn veel hoger. Dus hoe kun je concurreren met zoveel Goliaths, die allemaal hetzelfde doel nastreven?

"We kennen deze mensen, we praten met ze", zegt Trombetti. "Ik heb met Cohen, met Lukasz en met Ilya Sutskever, medeoprichter van OpenAI , gesproken. Ze hebben een ongelooflijk technisch en theoretisch inzicht. Maar één ding missen ze: ze kunnen echte problemen niet begrijpen. We werken al jaren met vertalers en taalkundigen, mensen die dagelijks met taalproblemen te maken hebben. En taal is waarschijnlijk het meest complexe en menselijke dat een machine kan proberen te begrijpen. Wanneer een vertaler met een AI-systeem werkt, accepteert het geen benaderingen. Als de machine "hallucineert" of een fout maakt, merkt hij dat meteen op. En het dwingt ons te begrijpen waarom het een fout heeft gemaakt. Dit stelt ons bloot aan een niveau van precisie en waarheid over het probleem dat veel onderzoekers niet zien. Lucasz is elke keer dat ik met hem praat verbaasd. Omdat wij problemen zien die zij niet zien. En dat geeft ons een voordeel: tot nu toe hebben ze gewonnen met brute kracht, maar wij begrijpen waar de machine echt tekortschiet."

Maar volgens Trombetti is er nog een andere reden waarom het de moeite waard is om het te proberen .

“De kloof tussen open-sourcemodellen en gesloten modellen [zoals ChatGpt en Gemini, red.] wordt kleiner”, zegt hij. “En terwijl de financiering begint op te raken, wordt vindingrijkheid weer een doorslaggevende concurrentiefactor. Drie jaar lang won degene met de meeste rekenkracht. Toen kwam DeepSeek: met tien keer minder middelen en een beetje vindingrijkheid zette het een stap vooruit. En dit opent een deur voor ons. Als je een wetenschapper hebt die honderd miljoen waard is , maar die het probleem niet begrijpt, zit je in de problemen. Als je een wetenschapper hebt die een miljoen waard is, maar die het probleem echt kent, kan hij winnen. Dat is ons echte voordeel. En dan is er nog iets: wij kunnen ons een succespercentage van 20% veroorloven. Zij niet. Zij moeten elke keer winnen. Wij daarentegen kunnen het risico nemen. En daar kan iets nieuws geboren worden.”

Haal de machine uit de computer

Het doel van Translated en alle entiteiten die deelnemen aan de DVPS is om ‘de machine uit de computer te halen en deze te laten interacteren met de fysieke wereld’.

"Om dit te doen," zegt Trombetti, "moet de machine alle sensoren kunnen verwerken. Denk aan een zelfrijdende auto: die heeft camera's, radar, lidars en afstandsmeters. Tegenwoordig moeten al deze gegevens handmatig worden voorverwerkt. We moeten de machine uitleggen wat elke invoer betekent, wat een stuk eenvoudiger maakt. Maar als we de machine duizend sensoren willen geven en complexe informatie willen laten verwerken – zoals in de geneeskunde, waar de gegevens heterogeen zijn – kunnen we niet langer alles handmatig programmeren. De machine moet de informatie direct, byte voor byte, kunnen uitlezen en er autonoom betekenis aan kunnen toekennen. Dit vereist parallellisme, leren op byteniveau, maar bovenal een paradigmaverschuiving: tot nu toe trainden we machines alleen met historische gegevens. Maar mensen leren vooral door interactie met de wereld, door ervaringen op te doen: leren door te doen. Daarom moeten we "de deur openzetten": laat de machine naar buiten, laat hem ervaringen opdoen en ontwikkel een architectuur die hem in staat stelt zichzelf te trainen terwijl hij handelt. Dit is de volgende stap."

AGI heeft verandering nodig

Een fundamentele stap is onder meer het bereiken van een superieure kunstmatige intelligentie, die door velen ‘algemeen’ (AGI) wordt genoemd en die op een dag de menselijke cognitieve vermogens op veel gebieden zou kunnen overtreffen.

"Vandaag ben ik er zeker van dat we met de huidige architectuur niet tot AGI kunnen komen. Er valt te veel te leren in de fysieke wereld en in de toekomst om echt te kunnen generaliseren. De huidige aanpak is niet voldoende."

Het nieuwe model zal ‘open’ zijn, maar niet té open.

De inspanningen van DVPS, aldus Trombetti, zullen volledig open zijn wat betreft onderzoeksrapporten . Het eerste model dat wordt ontwikkeld, zal een " open gewicht " zijn: dit betekent dat de gewichten (d.w.z. de parameters die tijdens de training zijn geleerd) openbaar toegankelijk zijn.

En waarom zal het geen open source AI zijn?

"We moeten voorzichtig zijn met hoeveel we delen: we hebben nog geen beslissing genomen", zegt Trombetti. "Het grootste risico is dat er in Europa opnieuw veel onderzoek wordt gedaan en geld wordt geïnvesteerd, terwijl het vervolgens de Amerikaanse onderzoekers zijn die de resultaten meenemen, als eerste publiceren en alternatieve projecten voorstellen, waar ze de vruchten van plukken. Daarom moeten we zorgvuldig afwegen waar we de grens trekken. Het is een strategische keuze: als het project goed verloopt, kunnen we ons iets meer afsluiten; als de voortgang juist trager verloopt, is het beter om opener te zijn, meer samen te werken en te zoeken naar nieuwe mogelijkheden."