xAI öffnet den Quellcode seines leistungsstarken Grok-Sprachmodells
Das Unternehmen xAI von Elon Musk hat den Quellcode seines großen Sprachmodells Grok-1 mit 314 Milliarden Parametern auf GitHub unter der Open-Source-Lizenz Apache 2.0 veröffentlicht.
Die offene Version enthält die Grundgewichte des Modells, die Netzarchitektur und andere Komponenten. Wie bereits erwähnt, wurde Grok-1 nicht speziell für bestimmte Aufgaben wie Dialogsysteme optimiert oder zensiert.
Diese Woche wird @xAI den Quellcode von Grok öffnen.
– Elon Musk (@elonmusk) 11. März 2024
Das Modell wurde vier Monate lang bis Oktober 2023 trainiert und sollte Code, Texte und Antworten auf Fragen generieren. Die Öffnung des Codes ermöglicht es Forschern und Entwicklern von Dritten, mit dem Modell zu arbeiten.
Trotz der Offenheit der Skalen und anderer Komponenten wird Grok-1 ohne einen Trainingscode und reproduzierbare Datensätze geliefert.
Grok-Gewichte sind unter Apache 2.0 verfügbar: https://t.co/9K4IfarqXK
Es ist quelloffener als andere Modelle mit offenem Gewicht, die in der Regel mit Nutzungsbeschränkungen verbunden sind.
Es ist weniger quelloffen als Pythia, Bloom und OLMo, die mit Trainingscode und reproduzierbaren Datensätzen geliefert werden. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
– Sebastian Raschka (@rasbt) 17. März 2024
Nach dem Kauf von Twitter (X) hat Elon Musk wiederholt den geschlossenen Quellcode von KI-Modellen der Konkurrenz wie OpenAI kritisiert. Jetzt verklagt er OpenAI und wirft dem Unternehmen vor, die Open-Source-Vereinbarung zu verletzen.
Die Veröffentlichung von Quellcode ist eine gängige Praxis, um Feedback zu erhalten und Modelle zu verbessern. Die größten Akteure ziehen es jedoch vor, den Code geschlossen zu halten oder begrenzte Lizenzen zu vergeben, wie es bei Metas Llama 2 der Fall ist.
Nach der Einführung des Chatbots Grok, der auf diesem Modell basiert, war ein kostenpflichtiges Abonnement für X erforderlich, um früher darauf zugreifen zu können. In ersten Tests konnte er sich jedoch nicht gegen ChatGPT, Gemini und andere fortschrittlichere Systeme durchsetzen.
