Logo OpenAI
Foto van Arjan Olsder
Arjan Olsder

Eindelijk kun je OpenAI weer (gratis) lokaal draaien

OpenAI heeft gisteren besloten een nieuwe open source variant van ChatGPT naar buiten te brengen. De laatste keer dat OpenAI dit deed, was toen het zes jaar geleden nog een stichting was met als doel AI open beschikbaar te stellen voor de wereld. Nadat het een bedrijf werd, ging de hoop op dit soort releases bij menig fan verloren.

Bovendien komt OpenAI niet met één, maar meteen met twee modellen naar GitHub. Namelijk gpt-oss-120b, getraind op 117 miljard parameters en gpt-oss-20b, getraind op 21 miljard parameters. Die eerste zou qua resultaat vergelijkbaar moeten zijn met ChatGPT o4-mini terwijl die tweede vergelijkbaar moet zijn met ChatGPT o3-mini.

Beide modellen draaien MoE, dat staat voor Mixture of Experts. Dit wil zeggen dat ze meerdere ‘persoonlijkheden’ genereren die met elkaar in overleg gaan om jouw prompts goed uit te voeren. Hierdoor moet de output zeer betrouwbaar zijn.

Om deze AI’s te draaien heb je een computer met minimaal 16GB VRAM op de GPU nodig. Dat is beschikbaar geheugen. Als jouw GPU in totaal maar 16GB heeft, is de kans groot dat een (klein) deel daarvan al in gebruik is voor jouw besturingssysteem, waardoor het draaien van deze GPT’s lastig is.

Geef een reactie

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie gegevens worden verwerkt.