Google onthult ultraklein en efficiënt open source AI-model Gemma 3 270M dat op smartphones kan draaien

14 augustus 2025 11:21 uur

Credit: VentureBeat gemaakt met Midjourney

Wilt u slimmere inzichten in uw inbox? Meld u aan voor onze wekelijkse nieuwsbrieven en ontvang alleen wat relevant is voor leiders op het gebied van AI, data en beveiliging voor ondernemingen. Abonneer u nu.

Het DeepMind AI-onderzoeksteam van Google heeft vandaag een nieuw open source AI-model onthuld: Gemma 3 270M.

Zoals de naam al doet vermoeden, is dit een model met 270 miljoen parameters. Dat is veel kleiner dan de 70 miljard of meer parameters van veel frontier-LLM's (waarbij parameters het aantal interne instellingen zijn die het gedrag van het model bepalen).

Hoewel meer parameters doorgaans leiden tot een groter en krachtiger model, ligt de focus van Google hier bijna tegenovergesteld: hoge efficiëntie, waardoor ontwikkelaars een model krijgen dat klein genoeg is om direct op smartphones en lokaal te draaien, zonder internetverbinding , zoals is gebleken uit interne tests op een Pixel 9 Pro SoC.

Toch kan het model nog steeds complexe, domeinspecifieke taken aan en kan het binnen enkele minuten worden aangepast aan de behoeften van een zakelijke of onafhankelijke ontwikkelaar.

AI-schaalbaarheid bereikt zijn grenzen

Power caps, stijgende tokenkosten en vertragingen bij inferentie veranderen de AI van bedrijven. Kom naar onze exclusieve salon en ontdek hoe topteams:

• Energie omzetten in een strategisch voordeel
• Het ontwerpen van efficiënte inferentie voor echte doorvoerwinst
• Concurrerende ROI ontsluiten met duurzame AI-systemen

Zorg dat je plek veilig is om voorop te blijven lopen : https://bit.ly/4mwGngO

Op het sociale netwerk X voegde Omar Sanseviero, AI Developer Relations Engineer bij Google DeepMind Staff, toe dat de Gemma 3 270M ook rechtstreeks in de webbrowser van een gebruiker, op een Raspberry Pi en "in je broodrooster" kan draaien. Daarmee onderstreepte hij de mogelijkheid om op zeer lichte hardware te werken.

— Omar Sanseviero (@osanseviero) 14 augustus 2025

Gemma 3 270M combineert 170 miljoen inbeddingsparameters – dankzij een grote woordenschat van 256k die zeldzame en specifieke tokens kan verwerken – met 100 miljoen transformatorblokparameters.

Volgens Google ondersteunt de architectuur direct krachtige prestaties bij instructievolgende taken, maar blijft hij klein genoeg voor snelle afstemming en implementatie op apparaten met beperkte bronnen, waaronder mobiele hardware.

Gemma 3 270M neemt de architectuur en pretraining van de grotere Gemma 3-modellen over, wat compatibiliteit binnen het Gemma-ecosysteem garandeert. Met documentatie, recepten voor het verfijnen van de instellingen en implementatiehandleidingen voor tools zoals Hugging Face, UnSloth en JAX kunnen ontwikkelaars snel van experiment naar implementatie gaan.

Op de IFEval-benchmark, die het vermogen van een model om instructies op te volgen meet , scoorde de instructie-afgestemde Gemma 3 270M 51,2% .

De score plaatst het model aanzienlijk boven vergelijkbare kleine modellen zoals de SmolLM2 135M Instruct en de Qwen 2.5 0.5B Instruct , en dichter bij het prestatiebereik van sommige modellen met een miljard parameters, aldus de gepubliceerde vergelijking van Google.

Onderzoekers en leiders van de concurrerende AI-startup Liquid AI wezen er echter op dat Google het LFM2-350M-model van Liquid, dat in juli van dit jaar werd uitgebracht , niet heeft meegenomen. Dat model scoorde maar liefst 65,12% met slechts een paar extra parameters (het taalmodel is echter van vergelijkbare omvang).

Een van de sterke punten van het model is de energiezuinigheid. In interne tests met het INT4-gekwantificeerde model op een Pixel 9 Pro SoC verbruikten 25 gesprekken slechts 0,75% van de batterij van het apparaat.

Dit maakt de Gemma 3 270M een praktische keuze voor AI op het apparaat, met name in gevallen waarin privacy en offline functionaliteit belangrijk zijn.

De release bevat zowel een vooraf getraind als een op instructies afgestemd model, waardoor ontwikkelaars direct aan de slag kunnen met algemene instructies.

Ook zijn Quantization-Aware Trained (QAT) controlepunten beschikbaar, die INT4-precisie mogelijk maken met minimaal prestatieverlies en het model gereed maken voor productie in omgevingen met beperkte resources.

Google beschouwt de Gemma 3 270M als onderdeel van een bredere filosofie van het kiezen van het juiste gereedschap voor de klus in plaats van te vertrouwen op de ruwe modelgrootte.

Voor functies als sentimentanalyse, entiteitsextractie, query-routering, generatie van gestructureerde tekst, nalevingscontroles en creatief schrijven, zegt het bedrijf dat een verfijnd klein model snellere en kosteneffectievere resultaten kan opleveren dan een groot algemeen model.

De voordelen van specialisatie zijn duidelijk zichtbaar in eerder werk, zoals de samenwerking van Adaptive ML met SK Telecom.

Door een Gemma 3 4B-model voor meertalige contentmoderatie te verfijnen, presteerde het team beter dan veel grotere, bedrijfseigen systemen.

Gemma 3 270M is ontworpen om vergelijkbaar succes op nog kleinere schaal mogelijk te maken en ondersteunt vloten van gespecialiseerde modellen die zijn afgestemd op individuele taken.

Demo Bedtime Story Generator-app toont het potentieel van Gemma 3 270M

Naast zakelijk gebruik is het model ook geschikt voor creatieve scenario's. In een demovideo op YouTube toont Google een Bedtime Story Generator-app, gebouwd met Gemma 3 270M en Transformers.js, die volledig offline in een webbrowser draait. Dit toont de veelzijdigheid van het model in lichtgewicht, toegankelijke applicaties.

In de video wordt het vermogen van het model benadrukt om meerdere invoergegevens te synthetiseren door selecties toe te staan voor een hoofdpersonage (bijvoorbeeld 'een magische kat'), een omgeving ('in een betoverd bos'), een plotwending ('ontdekt een geheime deur'), een thema ('Avontuurlijk') en een gewenste lengte ('Kort').

Zodra de parameters zijn ingesteld, genereert het Gemma 3 270M-model een coherent en fantasierijk verhaal. De applicatie weeft vervolgens een kort, avontuurlijk verhaal op basis van de keuzes van de gebruiker, wat de capaciteit van het model voor creatieve, contextbewuste tekstgeneratie aantoont.

Deze video is een krachtig voorbeeld van hoe de lichtgewicht maar krachtige Gemma 3 270M snelle, boeiende en interactieve applicaties kan aansturen zonder afhankelijk te zijn van de cloud . Dit opent nieuwe mogelijkheden voor AI-ervaringen op het apparaat.

Gemma 3 270M is vrijgegeven onder de Gemma-gebruiksvoorwaarden, die het gebruik, de reproductie, de wijziging en de distributie van het model en afgeleiden ervan toestaan, mits aan bepaalde voorwaarden wordt voldaan.

Dit omvat het overnemen van de gebruiksbeperkingen die beschreven staan in het beleid van Google inzake verboden gebruik, het verstrekken van de gebruiksvoorwaarden aan ontvangers verderop in de toeleveringsketen en het duidelijk aangeven van eventuele wijzigingen. Distributie kan rechtstreeks plaatsvinden of via gehoste services zoals API's of webapps.

Voor bedrijfsteams en commerciële ontwikkelaars betekent dit dat het model kan worden ingebed in producten, kan worden geïmplementeerd als onderdeel van cloudservices of kan worden verfijnd tot gespecialiseerde afgeleiden, mits de licentievoorwaarden worden gerespecteerd. De output die door het model wordt gegenereerd, wordt niet geclaimd door Google, waardoor bedrijven volledige rechten hebben op de content die ze creëren.

Ontwikkelaars zijn er echter zelf verantwoordelijk voor dat ze voldoen aan de toepasselijke wetten en dat ze verboden gebruik, zoals het genereren van schadelijke content of het schenden van privacyregels, voorkomen.

De licentie is niet open source in de traditionele zin van het woord, maar maakt breed commercieel gebruik mogelijk zonder een aparte betaalde licentie.

Voor bedrijven die commerciële AI-toepassingen bouwen, zijn de belangrijkste operationele overwegingen het waarborgen dat eindgebruikers zich aan gelijkwaardige beperkingen houden, het documenteren van modelwijzigingen en het implementeren van veiligheidsmaatregelen die aansluiten op het beleid inzake verboden gebruik.

Nu de Gemmaverse de grens van 200 miljoen downloads heeft overschreden en het Gemma-aanbod varianten omvat die zijn geoptimaliseerd voor de cloud, desktop en mobiel, positioneren Google AI Developers Gemma 3 270M als een basis voor het bouwen van snelle, kosteneffectieve en privacygerichte AI-oplossingen. En het lijkt al een goede start te zijn.