Gemini 1.5 Flash lanseras – snabbare och billigare AI med lång kontext

Gemini 1.5 Flash lanseras – snabbare och billigare AI med lång kontext

Den 14 maj 2024 presenterade Google Gemini 1.5 Flash, en lättare multimodal modell som utvecklades för hög hastighet, låg kostnad och stora mängder data. Modellen behöll ett kontextfönster på upp till en miljon tokens och kunde arbeta med text, kod, bilder, ljud och video.

Marketplace sammanfattar lanseringen i efterhand. Flash var inte tänkt att ersätta Gemini 1.5 Pro i varje svår analys. Den skulle i stället göra lång kontext och multimodal AI praktiskt användbart i appar där tusentals eller miljontals anrop behövde genomföras snabbt.

Gemini 1.5 Flash i korthet

| Punkt | Uppgift vid lanseringen |
|---|---|
| Lanseringsdatum | 14 maj 2024 |
| Presentation | Google I/O 2024 |
| Huvudprofil | Snabb och kostnadseffektiv multimodal modell |
| Kontextfönster | Upp till 1 miljon tokens |
| Modaliteter | Text, kod, bild, ljud och video |
| Första tillgång | Public preview i Google AI Studio och Vertex AI |
| Teknik | Destillerad från Gemini 1.5 Pro |
| Typiska uppgifter | Sammanfattning, chatt, extraktion, bild- och videotextning |

Varför Google behövde en Flash-modell

En stor modell kan ge hög kvalitet men blir dyr och långsam när varje användare skickar många förfrågningar. Företag behöver ofta en annan balans.

Exempelvis kan en kundtjänstplattform behöva:

• klassificera ett ärende
• läsa flera dokument
• identifiera kundens avsikt
• extrahera ordernummer
• skriva ett förslag
• kontrollera svaret mot en policy

Om varje steg använder den största modellen kan kostnaden bli högre än värdet på ärendet. Flash utvecklades för sådana volymer.

Modellen kunde även användas som en del av ett större agentsystem, där en starkare modell planerade uppgiften och Flash hanterade enklare delsteg.

Destillering från Gemini 1.5 Pro

Google beskrev Flash som destillerad från Gemini 1.5 Pro. Modell-destillering innebär förenklat att en mindre modell tränas med hjälp av exempel och signaler från en större modell.

Målet är att behålla så mycket som möjligt av den större modellens kvalitet samtidigt som den mindre modellen blir:

• snabbare
• billigare
• lättare att skala
• mer lämpad för interaktiva produkter

Destillering gör inte modellerna identiska. Flash kunde vara stark på korta och strukturerade uppgifter men svagare när problemet krävde mycket djup reasoning, omfattande planering eller subtil professionell bedömning.

En miljon tokens även i den snabba modellen

En viktig nyhet var att Flash behöll ett mycket stort kontextfönster. Upp till en miljon tokens gjorde det möjligt att bearbeta:

• långa dokument
• stora kodbaser
• timmar av ljud
• längre videomaterial
• många supportärenden
• omfattande loggar

Det betydde inte att det alltid var ekonomiskt klokt att skicka allt material i varje prompt. Ett långt underlag ökar både kostnad och svarstid.

Företag behövde kombinera lång kontext med:

1. retrieval
2. caching
3. dokumentmetadata
4. tydlig versionshantering
5. avgränsade frågor
6. länkar tillbaka till originalkällan

Läs även vår historiska artikel om Gemini 1.5 och genombrottet för en miljon tokens.

Sammanfattning i stor skala

Flash lämpade sig för uppgifter där stora mängder information skulle komprimeras till ett användbart format.

Exempel:

• sammanfatta en lång mötestranskription
• skapa kapitelrubriker för video
• identifiera teman i tusentals kundkommentarer
• extrahera händelser från loggar
• sammanfatta flera rapporter
• skapa korta produktbeskrivningar

Sammanfattning kan dock utelämna det viktigaste. Modellen bör därför instrueras att:

• hänvisa till källavsnitt
• skilja fakta från slutsatser
• ange när information saknas
• behålla negativa och avvikande fynd
• inte jämna ut motsägelser

En kort sammanfattning är ett navigeringsverktyg, inte en ersättning för originalet när beslutet är viktigt.

Bild- och videotextning

Gemini 1.5 Flash kunde använda visuellt material och långa video- eller ljudsekvenser. Det gjorde modellen relevant för automatisk metadata och tillgänglighet.

Den kunde exempelvis:

• beskriva en produktbild
• skapa ett första utkast till alt-text
• identifiera scener i en video
• generera underlag för kapitel
• transkribera och sammanfatta ljud
• märka innehåll efter ämne

Automatisk alt-text behöver granskas. Modellen kan fokusera på oviktiga detaljer, missa text i bilden eller göra antaganden om människor och miljöer.

För tillgänglighet bör alt-texten beskriva bildens funktion i sammanhanget, inte bara lista objekt.

Dataextraktion

Flash kunde användas för att omvandla ostrukturerad information till strukturerade fält.

Ett företag kunde exempelvis extrahera:

• fakturanummer
• datum
• organisationsnummer
• produktnamn
• felkoder
• kontaktuppgifter
• ärendekategori

Resultatet borde valideras mot schema och affärsregler. En språkmodell kan skriva ett korrekt JSON-format med ett felaktigt värde.

Kritiska fält kan kontrolleras genom:

• reguljära uttryck
• kontrollsummor
• databasuppslag
• dubbla modeller
• mänsklig granskning vid låg säkerhet

Public preview i AI Studio och Vertex AI

Gemini 1.5 Flash gjordes tillgänglig i offentlig förhandsversion genom Google AI Studio och Vertex AI.

AI Studio gjorde det lätt att testa promptar och prototyper. Vertex AI riktades mot företag som behövde styrning, drift, dataskydd och integration med Google Cloud.

En förhandsversion kan förändras snabbt. Företag borde inte bygga en kritisk process utan att planera för:

• modelluppdateringar
• ändrade priser
• regional tillgång
• nya säkerhetsregler
• skillnader mellan preview och generell tillgänglighet

Flash jämfört med Pro

| Gemini 1.5 Flash | Gemini 1.5 Pro |
|---|---|
| Prioriterade hastighet och kostnad | Prioriterade högre maximal kvalitet |
| Passade stora volymer | Passade mer komplex analys |
| Bra för extraktion och sammanfattning | Bättre för svårare reasoning |
| Lägre latens | Mer resurskrävande |
| Kunde fungera som subagent | Kunde fungera som huvudmodell |

Den bästa modellen berodde på uppgiften. Ett företag borde mäta kostnad per korrekt resultat och inte enbart pris per token.

Modellrouting

Ett effektivt AI-system kunde använda flera modeller:

1. Flash klassificerar frågan
2. Flash hämtar relevanta dokument
3. en svår fråga skickas till Pro
4. Flash formaterar resultatet
5. en regelmotor kontrollerar kritiska fält
6. en människa godkänner högriskbeslut

Routing minskar kostnaden men skapar fler komponenter att övervaka. Organisationen behöver logga vilken modell som gjorde vilket steg.

Säkerhet vid stora volymer

En snabb modell kan bearbeta stora mängder information på kort tid. Ett felaktigt arbetsflöde kan därför skala ett problem lika snabbt som en nytta.

Risker inkluderar:

• masspublicering av felaktig text
• läckage av personuppgifter
• felaktig klassificering
• bias i rangordning
• promptinjektion från dokument
• höga oväntade API-kostnader

Skydd bör omfatta kvoter, kostnadstak, dataklassning, stickprov och möjlighet att stoppa hela flödet.

Svenska företag och Flash

Gemini 1.5 Flash kunde vara relevant för svenska verksamheter med stora text- eller medievolymer:

• kundservice
• e-handel
• mediearkiv
• industriella loggar
• kommunal dokumenthantering
• mötestranskription
• intern sökning

Svensk kvalitet måste testas med verkliga data. Modellen kan hantera språket men ändå missa branschtermer, sammansatta ord eller lokala juridiska uttryck.

Kostnad och latens behöver mätas tillsammans

En låg tokenkostnad är bara en del av ekonomin. Ett arbetsflöde kan bli dyrt om:

• hela dokumentet skickas om varje gång
• modellen gör många verktygsanrop
• svaret måste köras om
• människor behöver rätta stora mängder fel
• systemet har dålig caching

Viktiga mätpunkter är:

• svarstid
• kostnad per ärende
• andel korrekta resultat
• mänsklig kontrolltid
• fel efter produktion
• faktisk affärsnytta

Vanliga frågor

När lanserades Gemini 1.5 Flash?

Google presenterade modellen den 14 maj 2024 på Google I/O.

Hur stort kontextfönster hade Flash?

Modellen stödde upp till en miljon tokens vid lanseringen.

Vad var skillnaden mot Gemini 1.5 Pro?

Flash prioriterade hastighet och kostnad, medan Pro riktades mot mer komplexa uppgifter och högre maximal kvalitet.

Kunde Flash analysera video?

Ja. Modellen var multimodal och kunde arbeta med text, kod, bilder, ljud och video.

Var modellen tillgänglig för alla direkt?

Den släpptes som public preview genom Google AI Studio och Vertex AI.

Passade Flash för medicinska eller juridiska beslut?

Inte utan särskild validering och mänsklig kontroll. Modellen kunde hjälpa till med underlag men borde inte ensam fatta högriskbeslut.

Sammanfattning

Gemini 1.5 Flash lanserades den 14 maj 2024 som Googles snabbare och billigare långkontextmodell. Den gjorde en miljon tokens och multimodal analys mer tillgängligt för stora volymer av sammanfattning, extraktion, chatt och mediebearbetning.

Modellen visade att AI-system behöver flera kapacitetsnivåer. Den största modellen är inte alltid mest ekonomisk, men den billigaste modellen är inte bäst när uppgiften är komplex. Verklig nytta kräver routing, validering, kostnadskontroll och tydlig eskalering till människor eller starkare modeller.

Faktaunderlag: Google, ”Gemini 1.5 Flash and updates to Gemini 1.5 Pro and Gemma”, presenterad på Google I/O den 14 maj 2024. Artikeln är en historisk sammanfattning publicerad i efterhand.