Gemini 1.5 lanseras – Google visar ett kontextfönster på en miljon tokens

Gemini 1.5 lanseras – Google visar ett kontextfönster på en miljon tokens

Den 15 februari 2024 presenterade Google Gemini 1.5, nästa generation av företagets multimodala modellfamilj. Den största nyheten var ett genombrott i lång kontext: utvalda utvecklare och företagskunder kunde testa upp till en miljon tokens i samma prompt, med planer på ännu större experiment.

Marketplace sammanfattar lanseringen i efterhand. Den första modellen var Gemini 1.5 Pro, som enligt Google kunde nå kvalitet nära Gemini 1.0 Ultra men med effektivare träning och drift. Modellen använde en mixture-of-experts-arkitektur och kunde analysera stora mängder text, kod, ljud och video i ett sammanhängande arbetsflöde.

Gemini 1.5 i korthet

| Punkt | Uppgift vid presentationen |
|---|---|
| Lanseringsdatum | 15 februari 2024 |
| Första modell | Gemini 1.5 Pro |
| Standardkontext i tidig produktion | 128 000 tokens |
| Experimentell kontext | Upp till 1 miljon tokens för utvalda kunder |
| Senare testnivå | Google beskrev forskning upp till 10 miljoner tokens |
| Arkitektur | Mixture of Experts, MoE |
| Modaliteter | Text, kod, bild, ljud och video |
| Första tillgång | Privat förhandsversion i AI Studio och Vertex AI |

Vad är ett kontextfönster?

Kontextfönstret är den mängd information modellen kan ta emot och arbeta med i en enskild körning. Det omfattar användarens instruktion, tidigare samtal, dokument, kod, bilder och annan data.

Ett större kontextfönster gör det möjligt att ge modellen:

• en hel bok eller flera rapporter
• en större kodbas
• timmar av ljud
• långa videosekvenser
• omfattande loggar
• många dokument i samma ärende

Google illustrerade en miljon tokens med ungefär:

• en timme video
• elva timmar ljud
• mer än 30 000 rader kod
• över 700 000 ord

Exakta motsvarigheter varierar med språk och format, men storleksordningen visade hur mycket mer material modellen kunde hantera än tidigare konsumentmodeller.

Stor kontext är inte samma sak som perfekt minne

Att en fil får plats betyder inte att modellen alltid hittar rätt detalj. Långkontextförmåga behöver mätas i hur väl modellen kan:

1. hitta relevant information
2. skilja mellan versioner
3. kombinera uppgifter långt ifrån varandra
4. undvika att prioritera oviktiga delar
5. hänvisa tillbaka till rätt plats
6. behålla instruktioner genom hela analysen

En modell kan missa en fotnot eller blanda två kontraktsversioner trots att allt material ligger i prompten. Företag behöver därför fortfarande metadata, dokumentstruktur, retrieval och tydliga testfrågor.

Mixture of Experts gjorde modellen effektivare

Gemini 1.5 använde en mixture-of-experts-arkitektur. I stället för att aktivera hela modellen lika mycket för varje token kan ett MoE-system styra olika delar av uppgiften till specialiserade delnätverk.

Förenklat fungerar det så här:

• modellen har flera expertkomponenter
• en router väljer vilka experter som behövs för en viss del av informationen
• endast en del av hela nätverket aktiveras
• resultatet kombineras till modellens svar

Det kan ge hög kapacitet utan att varje körning behöver använda alla parametrar fullt ut.

MoE är inte samma sak som flera självständiga AI-agenter. Experterna är interna delar av en gemensam modell och användaren ser normalt inte vilken del som aktiverats.

Kvalitet nära Gemini 1.0 Ultra

Google uppgav att Gemini 1.5 Pro nådde jämförbar kvalitet med Gemini 1.0 Ultra på flera utvärderingar, trots att Pro-modellen var avsedd att vara mer effektiv.

Företaget rapporterade förbättringar inom majoriteten av testområdena för text, kod, bild, ljud och video.

Benchmarkresultat behöver alltid sättas i sammanhang. De visar inte automatiskt:

• kostnad per verklig uppgift
• svarstid med en miljon tokens
• kvalitet på svenska
• hur modellen hanterar ett företags dokument
• säkerhet vid verktygsanvändning
• stabilitet efter en modelluppdatering

Den relevanta frågan för en organisation är hur modellen presterar på ett eget testset med verkliga uppgifter och kända facit.

Needle-in-a-haystack över mycket stora underlag

Google testade modellen genom att placera en liten informationsbit – en ”nål” – på olika platser i mycket stora text-, ljud- och videomängder. Gemini 1.5 Pro kunde enligt företaget hitta uppgiften med hög träffsäkerhet även när underlaget var mycket långt.

Testet visar informationsåtervinning, men är enklare än många verkliga analyser. I ett avtal eller en forskningssamling kan den relevanta slutsatsen kräva att modellen:

• identifierar flera utspridda bestämmelser
• upptäcker motsägelser
• förstår vilken version som gäller
• väger bevis med olika kvalitet
• skiljer ett exempel från en bindande regel

Ett nåltest är därför en viktig grundförmåga, inte ett fullständigt bevis på professionell dokumentanalys.

Analys av Apollo 11-material

Google visade Gemini 1.5 Pro med en lång transkription från Apollo 11-uppdraget. Modellen kunde hitta specifika händelser och resonera om detaljer i materialet.

Demonstrationen illustrerade ett användningsfall där modellen får ett stort arkiv och användaren ställer naturliga frågor i stället för att söka manuellt efter nyckelord.

Liknande arbetsflöden kan användas för:

• intervjuer
• mötesarkiv
• poddar
• utbildningsvideo
• myndighetsförhör
• supportinspelningar

Ljud- och videomaterial kan innehålla känsliga personuppgifter. Innan en organisation laddar upp material behöver den bedöma samtycke, lagring, åtkomst och gallring.

Stora kodbaser

Gemini 1.5 kunde analysera tiotusentals rader kod i samma kontext. Google demonstrerade modellen på en stor kodbas och bad den förklara funktioner och föreslå ändringar.

För utvecklare kunde lång kontext hjälpa till att:

• kartlägga arkitekturen
• hitta var en funktion implementerades
• följa ett dataflöde genom flera filer
• planera en refaktorering
• analysera beroenden
• skapa dokumentation

Men en modell som ser hela repositoryt kan även få tillgång till hemligheter, kunddata eller licensierad kod. Källkoden bör därför rensas och köras i en godkänd företagsmiljö.

Kodförslag behöver testas. Ett logiskt fel kan spridas över flera filer och bli svårare att upptäcka när agenten gör en stor förändring.

Lång video och multimodal analys

Google beskrev hur modellen kunde analysera lång video och svara på frågor om specifika händelser. Det var möjligt eftersom Gemini var multimodal och kunde behandla visuella sekvenser tillsammans med text.

Användningsområden kunde vara:

• kvalitetskontroll i industri
• sökning i utbildningsmaterial
• sportanalys
• innehållsmoderering
• mediearkiv
• dokumentation av experiment

Videoanalys är beräkningsintensiv och kan missa snabba eller subtila händelser. En modell som sammanfattar en timme video behöver inte ha uppfattat varje bildruta med samma precision.

Privat förhandsversion

Gemini 1.5 Pro släpptes först till en begränsad grupp utvecklare och företagskunder genom Google AI Studio och Vertex AI.

Den stegvisa utrullningen gjorde det möjligt att:

1. mäta kostnad och latens
2. samla feedback om verkliga användningsfall
3. testa säkerhet med stora datamängder
4. förbättra kapacitetsplanering
5. justera priser och gränser

En pressdemonstration och en privat preview är inte samma sak som allmän produktionstillgång. Historiska artiklar bör därför ange både modellens presentationsdatum och när den senare blev allmänt tillgänglig.

Kostnaden för en miljon tokens

Ett mycket stort kontextfönster kan bli dyrt. Kostnaden består inte bara av modellens svar, utan även av att hela indata behöver behandlas.

Företag behöver därför undvika att skicka samma stora dokumentpaket vid varje fråga. Effektivare arkitektur kan använda:

• caching
• retrieval
• dokumentindex
• sammanfattningar med länkar till originalet
• uppdelning efter ärende
• modellrouting

Den bästa lösningen är inte alltid att lägga allt i prompten. Lång kontext är ett verktyg som bör användas när relationer över hela materialet faktiskt behövs.

Dataskydd och dokumentbehörigheter

När stora dokumentmängder skickas till en modell ökar risken att användaren inkluderar information som den inte har rätt att behandla.

Företag bör kontrollera:

• dokumentens klassificering
• personuppgifter
• affärshemligheter
• vilka användare som har källbehörighet
• om genererade svar kan delas bredare än originalet
• lagringsregion
• användning för modellförbättring
• gallring och export

En AI-assistent får inte kringgå dokumentbehörigheter genom att sammanfatta innehåll till en person som saknar åtkomst till originalet.

Svenska användningsområden

För svenska företag var Gemini 1.5 relevant för verksamheter med stora dokument- och kodmängder:

• bygg och teknisk dokumentation
• juridik och avtal
• forskning
• offentlig förvaltning
• industriella manualer
• finans och årsrapporter
• kundsupportarkiv

Modellen behövde testas på svenska och mot svenska dokumentformat. En stark engelskspråkig benchmark garanterar inte korrekt tolkning av svenska juridiska termer eller myndighetsförkortningar.

Vägen mot Gemini 1.5 Flash

På Google I/O den 14 maj 2024 presenterade Google Gemini 1.5 Flash, en snabbare och billigare modell för stora volymer. Pro behöll fokus på mer komplex analys, medan Flash skulle göra lång kontext ekonomiskt tillgänglig för fler appar.

Det etablerade en modellstrategi där samma generation erbjöd olika balans mellan kvalitet, hastighet och pris.

Vanliga frågor

När presenterades Gemini 1.5?

Google presenterade Gemini 1.5 den 15 februari 2024.

Hur stort kontextfönster hade modellen?

Den privata förhandsversionen gav utvalda användare möjlighet att testa upp till en miljon tokens. Standardgränser och produktionsnivåer förändrades senare.

Vad är mixture of experts?

Det är en arkitektur där olika interna expertkomponenter aktiveras för olika delar av uppgiften i stället för att hela modellen används lika mycket hela tiden.

Kunde Gemini 1.5 analysera video?

Ja. Google demonstrerade analys av långa video- och ljudsekvenser tillsammans med text och kod.

Var modellen tillgänglig för alla direkt?

Nej. Den började som privat preview i Google AI Studio och Vertex AI.

Är en miljon tokens alltid bättre än retrieval?

Nej. Retrieval och indexering kan vara billigare och mer kontrollerbart. Stor kontext är mest värdefull när modellen behöver förstå relationer över mycket stora underlag.

Sammanfattning

Gemini 1.5 presenterades den 15 februari 2024 och gjorde ett kontextfönster på en miljon tokens till en konkret produktförhandsvisning. Modellen kunde analysera mycket stora mängder text, kod, ljud och video och använde en effektiv mixture-of-experts-arkitektur.

Genombrottet gjorde lång dokument- och kodanalys betydligt mer praktisk. Men stor kontext tog inte bort behovet av dokumentstruktur, behörigheter, källhänvisningar och mänsklig kontroll. Att modellen kan läsa allt betyder inte att den automatiskt förstår vad som är viktigast eller vem som får se resultatet.

Faktaunderlag: Google och Google DeepMind, ”Introducing Gemini 1.5, Google's next-generation AI model”, publicerad 15 februari 2024. Artikeln är en historisk sammanfattning publicerad i efterhand.