Llama 3.1 405B lanseras – Meta släpper en öppen frontiermodell

Llama 3.1 405B lanseras – Meta släpper en öppen frontiermodell

Den 23 juli 2024 lanserade Meta Llama 3.1, med en ny modell på 405 miljarder parametrar samt uppdaterade versioner av 8B och 70B. Llama 3.1 405B blev en av de största öppet tillgängliga modellvikterna vid tidpunkten och riktades mot syntetisk data, distillering, finjustering och avancerade AI-appar.

Marketplace sammanfattar lanseringen i efterhand. Modellfamiljen fick ett kontextfönster på 128 000 tokens och bättre flerspråkighet. Meta ville göra en modell med frontier-liknande kapacitet tillgänglig för utvecklare som behövde mer kontroll än ett slutet API gav.

Llama 3.1 i korthet

| Punkt | Uppgift vid lanseringen |
|---|---|
| Lanseringsdatum | 23 juli 2024 |
| Modeller | 8B, 70B och 405B |
| Kontext | 128 000 tokens |
| Huvudområden | Text, kod, verktyg, distillering och syntetisk data |
| Språk | Utökat stöd för flera språk |
| Tillgång | Modellvikter och många molnpartner |
| Licens | Uppdaterad Llama-communitylicens |
| Begränsning | 405B krävde mycket stor beräknings- och minneskapacitet |

Varför 405 miljarder parametrar?

Den stora modellen skulle ge högre maximal kvalitet och kunna fungera som lärare åt mindre modeller.

Användningsområden var:

• skapa syntetiska träningsdata
• destillera kunskap till en mindre modell
• generera och granska kod
• bygga avancerade företagsassistenter
• göra omfattande dokumentanalys

De flesta företag behövde inte drifta 405B själva. Hanterade molntjänster eller mindre destillerade modeller var ofta mer ekonomiska.

128 000 tokens

Det längre kontextfönstret gjorde modellerna bättre för stora dokument och kodbaser. Men stor kontext är inte perfekt minne. Metadata, retrieval och källhänvisningar behövdes fortsatt.

Distillering och syntetisk data

Meta tillät utvecklare att använda 405B-resultat för att förbättra mindre Llama-modeller under licensens villkor. En stor modell kunde skapa exempel, förklaringar och kvalitetsbedömningar.

Syntetiska data kan skala snabbt men riskerar att förstärka modellens egna fel. Ett träningsdataset bör därför innehålla mänsklig kontroll och verkliga exempel.

Verktygsanvändning

Llama 3.1 förbättrades för function calling och agentiska arbetsflöden. En modell kunde kopplas till sökning, kalkylatorer eller interna system.

Behörigheterna måste styras utanför modellen. En agent som bara ska läsa dokument behöver inte få skriva eller radera.

Hårdvarukrav

405B-modellen krävde flera kraftfulla acceleratorer även i reducerad precision. Kostnaden omfattade:

• GPU eller annan accelerator
• minne och nätverk
• energi
• drift
• modellserver
• övervakning

Öppen modellåtkomst betyder inte låg total kostnad.

Säkerhet

Meta publicerade modellkort och säkerhetsverktyg. Den som distribuerade modellen ansvarade ändå för moderering, incidenthantering och förbjudna användningar.

En lokalt körd modell kan ändras eller användas utan centrala filter. Organisationen behöver därför dokumentera vem som ansvarar för modellen och hur missbruk stoppas.

Svenska företag

Llama 3.1 kunde användas för privat RAG, kod och flerspråkiga tjänster. Svenska kvalitet och licensvillkor behövde testas innan produktion.

Vanliga frågor

När lanserades Llama 3.1?

Den 23 juli 2024.

Hur stor var den största modellen?

405 miljarder parametrar.

Hur långt var kontextfönstret?

128 000 tokens.

Kunde 405B köras lokalt?

Tekniskt ja, men den krävde omfattande datacenterhårdvara. De flesta använde molnpartner.

Vad var distillering?

En större modell användes för att skapa signaler eller data som förbättrade en mindre modell.

Sammanfattning

Llama 3.1 lanserades den 23 juli 2024 med 405B som en stor öppen frontiermodell och uppdaterade 8B- och 70B-versioner.

Modellen gav större frihet för distillering, anpassning och privat drift, men krävde betydande infrastruktur och egen säkerhetsstyrning.

Faktaunderlag: Meta, det officiella lanseringsmaterialet för Llama 3.1, publicerat 23 juli 2024. Artikeln är en historisk sammanfattning publicerad i efterhand.