Llama 3 lanseras – Meta gör öppna AI-modeller betydligt starkare

Llama 3 lanseras – Meta gör öppna AI-modeller betydligt starkare

Den 18 april 2024 lanserade Meta Llama 3 i versionerna 8B och 70B. De öppet tillgängliga modellvikterna gjorde det möjligt för utvecklare och företag att köra, finjustera och distribuera en modern språkmodell i egen eller valfri molnmiljö.

Marketplace sammanfattar lanseringen i efterhand. Llama 3 blev även en central del av Meta AI i WhatsApp, Instagram, Facebook och Messenger. Kombinationen av nedladdningsbara modeller och enorm konsumentdistribution gjorde lanseringen särskilt betydelsefull.

Llama 3 i korthet

| Punkt | Uppgift vid lanseringen |
|---|---|
| Lanseringsdatum | 18 april 2024 |
| Modeller | Llama 3 8B och 70B |
| Varianter | Basmodeller och instruktionsfinjusterade versioner |
| Tillgång | Nedladdning, molnpartner och Meta AI |
| Huvudområden | Text, kod, chatt och anpassning |
| Viktig styrka | Hög kvalitet i förhållande till modellstorlek |
| Licens | Metas communitylicens med användningsvillkor |
| Begränsning | Inte fullständigt öppen träningsdata eller traditionell open source-licens |

8B och 70B

Den mindre 8B-modellen kunde köras på relativt tillgänglig hårdvara efter kvantisering. Den större 70B-versionen krävde mer minne och beräkningskapacitet men gav högre kvalitet på komplexa uppgifter.

Det gav organisationer flera alternativ:

• lokal prototyp med 8B
• privat molndrift
• finjustering på egna exempel
• större 70B-tjänst för högre kvalitet
• användning genom en hanterad molnpartner

Den bästa modellen berodde på språk, svarstid, kostnad och hur känslig datan var.

Öppet tillgängliga vikter

Meta gjorde modellvikterna tillgängliga under sin licens. Det gav större kontroll än ett slutet API, men ”öppen” behövde tolkas korrekt.

Meta publicerade inte hela träningsdatan, och licensen innehöll villkor och begränsningar. Llama 3 var därför en open-weight-modell snarare än ett helt öppet forskningsprojekt i varje avseende.

Organisationen som körde modellen fick också större ansvar för:

• säkerhetsfilter
• loggning
• uppdateringar
• missbruk
• hårdvara
• dataskydd

Meta AI i konsumentappar

Llama 3 byggdes in i Meta AI och distribuerades genom företagets stora plattformar. Användare kunde möta assistenten i WhatsApp, Instagram, Facebook och Messenger.

Det gav Meta en distributionsfördel. Modellen behövde inte vinna varje användare genom en separat app.

Samtidigt skapade integrationen frågor om:

• vilka meddelanden assistenten kunde se
• hur användardata behandlades
• hur AI-svar märktes
• vad som hände i gruppchattar
• hur personer kunde välja bort funktioner

En assistent i en social plattform behöver tydliga gränser mellan privat kommunikation och AI-kontext.

Kod och text

Llama 3 förbättrades på instruktioner, resonemang och kod jämfört med Llama 2. Modellerna kunde användas för:

• chatt
• sammanfattning
• textgenerering
• kodhjälp
• klassificering
• RAG med egna dokument

Kvaliteten på svenska behövde testas separat. Den första versionen var starkast på engelska och kunde ge ojämn terminologi på mindre representerade språk.

Lokal AI

En viktig fördel var att modellen kunde köras i egen miljö. Det kunde minska behovet att skicka data till en extern API-leverantör.

Lokal drift är dock inte automatiskt säker. Företaget behöver hantera:

1. åtkomst till servern
2. prompt- och svarloggar
3. modelluppdateringar
4. säkerhetsfixar
5. nätverksåtkomst
6. kostnad och kapacitet

Säkerhet och Llama Guard

Meta publicerade verktyg som Llama Guard och Code Shield för att hjälpa utvecklare bygga säkrare lösningar.

Ett produktionssystem behövde fortfarande egna regler och tester. En säkerhetsklassificerare kan missa nya omskrivningar eller blockera legitima frågor.

Llama 3 jämfört med slutna API-modeller

| Llama 3 | Slutet API |
|---|---|
| Kan köras lokalt | Körs i leverantörens infrastruktur |
| Större anpassningsfrihet | Enklare hanterad drift |
| Eget ansvar för säkerhet | Centrala skydd från leverantören |
| Hårdvarukostnad | Pris per användning |
| Mer kontroll över data | Mindre driftarbete |

Svenska företag

Llama 3 kunde vara relevant för intern sökning, support, klassificering och lokala AI-tjänster. Företag behövde kontrollera licensen och göra en egen GDPR- och säkerhetsbedömning.

Vanliga frågor

När lanserades Llama 3?

Den 18 april 2024.

Vilka storlekar fanns?

8 och 70 miljarder parametrar.

Kunde modellerna köras lokalt?

Ja, beroende på hårdvara, kvantisering och vald modellstorlek.

Var Llama 3 helt open source?

Meta gjorde vikterna tillgängliga under en communitylicens, men träningsdatan och alla delar var inte helt öppna.

Användes modellen i Meta AI?

Ja, Llama 3 drev Meta AI i flera av företagets appar.

Sammanfattning

Llama 3 lanserades den 18 april 2024 och höjde kvaliteten på öppet tillgängliga språkmodeller. 8B och 70B gav utvecklare val mellan lokal effektivitet och högre kapacitet.

Friheten att köra modellen själv innebar samtidigt större ansvar. Licens, säkerhet, dataskydd och drift behövde hanteras av den som byggde produkten.

Faktaunderlag: Meta, det officiella lanseringsmaterialet för Llama 3, publicerat 18 april 2024. Artikeln är en historisk sammanfattning publicerad i efterhand.