Google lanserar Gemma – öppna AI-modeller för utvecklare och lokal användning

Google lanserar Gemma – öppna AI-modeller för utvecklare och lokal användning

Den 21 februari 2024 lanserade Google Gemma, en familj av lätta och öppet tillgängliga AI-modeller som byggde på samma forskning och teknik som användes för Gemini. De första versionerna hade två respektive sju miljarder parametrar och kunde köras på allt från bärbara datorer och arbetsstationer till Google Cloud.

Marketplace sammanfattar lanseringen i efterhand. Gemma gav utvecklare möjlighet att ladda ned modellvikter, finjustera modellerna och köra dem i egen miljö. Det skapade större kontroll över data och kostnad än en ren moln-API-tjänst, men flyttade samtidigt mer ansvar för säkerhet, drift och licensvillkor till användaren.

Gemma i korthet

| Punkt | Uppgift vid lanseringen |
|---|---|
| Lanseringsdatum | 21 februari 2024 |
| Första storlekar | Gemma 2B och Gemma 7B |
| Varianter | Förtränade och instruktionsfinjusterade modeller |
| Ursprung | Byggda med teknik från Googles Gemini-forskning |
| Ramverk | JAX, PyTorch, Keras och Hugging Face Transformers |
| Miljöer | Laptop, desktop, arbetsstation, moln och vissa edge-scenarier |
| Verktyg | Responsible Generative AI Toolkit |
| Licens | Öppna modellvikter med Googles användningsvillkor |

Vad betyder en öppen modell?

Gemma gjorde modellvikterna tillgängliga för nedladdning. Det innebar att en utvecklare kunde köra modellen utan att varje fråga skickades till Googles API.

Det är viktigt att skilja mellan flera begrepp:

• öppen modell: vikterna är tillgängliga under bestämda villkor
• öppen källkod: kod och licens uppfyller etablerade open source-definitioner
• öppen forskning: träningsmetoder eller resultat publiceras
• öppen data: träningsmaterialet är tillgängligt

Gemma kallades en öppen modellfamilj, men Google publicerade inte hela träningsdatamängden. Användaren behövde läsa licensen och användningspolicyn för att förstå vad som var tillåtet.

Gemma 2B och 7B

De första modellerna kom i två storlekar.

Gemma 2B

Den mindre modellen riktades mot resurssnåla miljöer. Den kunde användas för prototyper, enklare textuppgifter och lokal körning där minne och beräkningskapacitet var begränsade.

Gemma 7B

Den större versionen gav högre kvalitet på många uppgifter men krävde mer arbetsminne och starkare GPU eller accelerator.

Båda storlekarna fanns som:

• basmodeller för egen finjustering
• instruktionsfinjusterade modeller för samtal och uppgiftsföljning

Modellstorlek är inte det enda som avgör kvalitet. Kvantisering, prompt, finjustering, språk och uppgift kan påverka resultatet kraftigt.

Lokal AI och integritet

Lokal körning kan minska behovet att skicka känslig text till en extern molntjänst. Det var attraktivt för verksamheter med:

• företagshemligheter
• personuppgifter
• intern kod
• lokala dokumentarkiv
• svag eller instabil internetanslutning
• krav på låg svarstid

Men lokal AI är inte automatiskt säker. Organisationen behöver fortfarande kontrollera:

1. vem som har åtkomst till modellen
2. var promptar och svar loggas
3. om modellen kan läsa andra filer
4. hur uppdateringar och säkerhetsfixar görs
5. vilka data som används vid finjustering
6. hur fel och missbruk övervakas

En modell som körs lokalt kan dessutom användas utan leverantörens centrala säkerhetsfilter. Det gör interna regler och tekniska begränsningar ännu viktigare.

Keras, PyTorch, JAX och Transformers

Google byggde Gemma för flera populära ramverk. Det gjorde det enklare att använda modellen i en befintlig utvecklingsmiljö.

Utvecklare kunde arbeta med:

• Keras 3
• JAX
• PyTorch
• Hugging Face Transformers
• NVIDIA-verktyg
• Google Cloud och Vertex AI

Brett ramverksstöd minskade leverantörslåsningen på kodnivå. Men viktformat, tokenisering och optimeringar kunde fortfarande skilja sig mellan miljöer.

Ett företag borde därför testa export, kvantisering och uppgraderingar innan modellen byggdes in i en kritisk produkt.

Responsible Generative AI Toolkit

Tillsammans med modellerna lanserade Google ett verktygspaket för ansvarsfull generativ AI. Det omfattade bland annat vägledning och resurser för säkerhetsklassificering, felsökning och utvärdering.

Ett öppet modellprojekt behöver minst:

• testdata med kända svar
• säkerhetstester
• moderering där användningsfallet kräver det
• loggning av incidenter
• tydliga förbjudna användningar
• kontroll av modell- och promptversion
• möjlighet att återkalla en problematisk version

Det räcker inte att modellen är liten och körs lokalt. En felaktig rekommendation kan få samma konsekvens oavsett var beräkningen sker.

Prestanda och benchmark

Google beskrev Gemma som stark i förhållande till sin storlek och jämförde modellerna med andra öppna alternativ på flera akademiska tester.

Benchmarkresultat behöver sättas i sammanhang. En modell kan prestera väl på engelska skolfrågor men svagare på:

• svenska
• företagsspecifika dokument
• nya händelser
• långa konversationer
• faktakontroll
• exakt format

Den relevanta utvärderingen är ett eget testset med verkliga arbetsuppgifter och mätbar kvalitet.

Finjustering och egen domän

En öppen modell kan finjusteras på verksamhetens egna exempel. Det kan förbättra tonalitet, format och domänspecifika uppgifter.

Exempel:

• klassificera svenska kundärenden
• skapa produkttexter i ett bestämt format
• sammanfatta tekniska loggar
• hjälpa till med intern kodstandard
• extrahera fält från dokument

Finjustering är inte alltid nödvändig. RAG, bättre promptar och strukturerade verktyg kan ge bättre kontroll med mindre risk att modellen lär in gammal eller känslig information.

Hårdvarukrav

Gemma kunde köras på konsumenthårdvara, men den praktiska upplevelsen berodde på modellstorlek, precision och kontextlängd.

Viktiga faktorer var:

• GPU-minne eller system-RAM
• kvantisering
• antal samtidiga användare
• önskad svarstid
• kontextfönster
• energiförbrukning

En 7B-modell i full precision kräver betydligt mer minne än en kvantiserad version. Lägre precision kan minska minneskravet men påverka kvaliteten.

Molnkrediter och bred distribution

Google erbjöd krediter genom bland annat Kaggle, Colab och Google Cloud för att sänka tröskeln. Modellerna integrerades även med Vertex AI och andra utvecklarverktyg.

Det gav två vägar:

• lokal drift för kontroll
• molndrift för skalning och hanterade verktyg

Ett företag kunde börja lokalt och senare flytta till moln, eller tvärtom. Arkitekturen borde undvika onödiga beroenden så att modellen kunde bytas när krav eller kostnader förändrades.

Gemma jämfört med Gemini

| Gemma | Gemini |
|---|---|
| Nedladdningsbara modellvikter | Främst tjänst och API |
| Mindre modeller | Större frontiermodeller |
| Kan köras lokalt | Körs normalt i Googles infrastruktur |
| Mer användaransvar för säkerhet | Fler centrala produktkontroller |
| Passar anpassning och edge | Passar bred multimodal kapacitet |

Modellfamiljerna kompletterade varandra. Gemma gjorde Googles forskning mer tillgänglig för egen drift, medan Gemini gav högre maximal kapacitet genom molntjänster.

Läs även vår historiska artikel om Google Gemini Ultra, Pro och Nano.

Svenska företag och Gemma

Gemma kunde vara relevant för svenska organisationer som ville ha större datakontroll eller en mindre modell i en produkt.

Lämpliga piloter:

• intern documentsökning
• klassificering
• enklare support
• lokal kodhjälp
• fältextraktion
• textnormalisering

Svensk kvalitet behövde testas separat. Modellen kunde vara stark på engelska men ge ojämn grammatik eller terminologi på svenska.

Risk för skadlig användning

Nedladdningsbara modeller kan anpassas och köras utan central övervakning. Det ger legitim frihet, men kan också underlätta missbruk.

Organisationer som distribuerar en finjusterad Gemma-version bör dokumentera:

• avsett användningsområde
• kända risker
• vilka säkerhetsfilter som finns
• vem som ansvarar för drift
• hur incidenter rapporteras
• vilka licensvillkor som förs vidare

Öppenhet innebär inte ansvarsfrihet.

Vanliga frågor

När lanserades Gemma?

Google lanserade de första Gemma-modellerna den 21 februari 2024.

Vilka storlekar fanns?

Gemma 2B och Gemma 7B, både som basmodeller och instruktionsfinjusterade versioner.

Kunde Gemma köras lokalt?

Ja. Modellerna utformades för laptop, desktop, arbetsstation, moln och andra miljöer beroende på hårdvara.

Var Gemma samma sak som Gemini?

Nej. Gemma var en familj av öppet tillgängliga mindre modeller, medan Gemini var Googles större kommersiella modellfamilj.

Var Gemma helt open source?

Google beskrev Gemma som öppna modeller med tillgängliga vikter och särskilda användningsvillkor. Träningsdatan var inte helt publicerad.

Behövdes en GPU?

Inte alltid, men en GPU eller annan accelerator gav betydligt bättre hastighet, särskilt för 7B-modellen.

Sammanfattning

Gemma lanserades den 21 februari 2024 och gav utvecklare tillgång till Googles AI-teknik i nedladdningsbara modeller på två och sju miljarder parametrar.

Modellerna gjorde lokal AI, anpassning och lägre kostnad mer tillgängligt. Samtidigt flyttades ansvar för säkerhet, dataskydd, hårdvara och uppdateringar till den som drev modellen. Gemma visade att öppen modellåtkomst kan skapa innovation – men bara blir hållbar när den kombineras med licensförståelse, utvärdering och tydlig driftstyrning.

Faktaunderlag: Google, ”Gemma: Introducing new state-of-the-art open models”, publicerad 21 februari 2024. Artikeln är en historisk sammanfattning publicerad i efterhand.