Apple veröffentlicht 4 neue Open-Source-KI-Modelle, die auf dem Gerät laufen

Apple hat seine Pläne für generative KI nicht gerade in die Welt hinausposaunt. Jetzt, mit der Veröffentlichung einer Familie großer Open-Source-Sprachmodelle, sieht es so aus, als wolle der Tech-Gigant aus Cupertino KI lokal auf Apple-Geräten laufen lassen. Die LLMs von Apple, die das Unternehmen OpenELMs (Open-source Efficient Language Models) nennt, sind so konzipiert, dass sie auf dem Gerät und nicht auf Cloud-Servern laufen. Diese LLMs sind auf Hugging Face Hub verfügbar, einer zentralen Plattform für den Austausch von KI-Code und Datensätzen.

Beim Testen stellte Apple fest, dass OpenELM ähnlich gut abschneidet wie andere offene Sprachmodelle, allerdings verfügt ersteres über weniger Trainingsdaten.

Wie aus dem White Paper hervorgeht, gibt es insgesamt acht OpenELM-Modelle. Vier der Modelle wurden mit der CoreNet-Bibliothek vortrainiert, die anderen vier sind auf Anweisungen abgestimmte Modelle. Um die Gesamtgenauigkeit und Effizienz zu verbessern, verwendet Apple bei diesen offenen LLMs eine schichtweise Skalierungsstrategie.

"Zu diesem Zweck veröffentlichen wir OpenELM, ein modernes offenes Sprachmodell. OpenELM verwendet eine schichtweise Skalierungsstrategie, um Parameter innerhalb jeder Schicht des Transformatormodells effizient zuzuweisen, was zu einer verbesserten Genauigkeit führt. Mit einem Parameterbudget von etwa einer Milliarde Parametern zeigt OpenELM beispielsweise eine 2,36%ige Verbesserung der Genauigkeit gegenüber OLMo, während nur halb so viele Token für das Vortraining benötigt werden." - Apple.

Apple hat nicht nur das fertig trainierte Modell zur Verfügung gestellt. Es stellte auch Code, Trainingsprotokolle und mehrere Iterationen des Modells zur Verfügung. Die Forscher des Projekts glauben, dass dies den Fortschritt beschleunigen und "robuste Ergebnisse" auf dem Gebiet der KI für natürliche Sprache liefern wird.

"Im Gegensatz zu früheren Praktiken, bei denen nur Modellgewichte und Inferenzcode sowie Vortraining auf privaten Datensätzen zur Verfügung gestellt wurden, enthält unsere Veröffentlichung ein komplettes Rahmenwerk für das Training und die Bewertung eines Sprachmodells auf öffentlich zugänglichen Datensätzen, einschließlich Trainingsprotokollen, mehreren Kontrollpunkten und Vortrainingskonfigurationen. Wir haben auch Code veröffentlicht, um Modelle in eine MLX-Bibliothek für Inferenz und Feinabstimmung auf Apple-Geräten zu konvertieren. Diese umfassende Veröffentlichung soll die offene Forschungsgemeinschaft unterstützen und stärken und den Weg für zukünftige offene Forschung ebnen", so Apple.

Apple fügte hinzu, dass die Freigabe der OpenELM-Modelle die offene Forschungsgemeinschaft" mit hochmodernen Sprachmodellen unterstützen und bereichern wird. Open-Source-Modelle ermöglichen es Forschern, die potenziellen Risiken, Daten und Verzerrungen der Modelle zu untersuchen. Die Modelle können von Entwicklern verwendet werden. Sie können diese quelloffenen LLMs so verwenden, wie sie sind, oder bei Bedarf Änderungen vornehmen.

Bereits im Februar sagte Apple-CEO Tim Cook, dass generative KI-Funktionen noch in diesem Jahr auf Apple-Geräte kommen würden. Wenig später wiederholte er, dass das Unternehmen hart an der Entwicklung revolutionärer KI-Funktionen arbeitet.

Apple hat bereits mehrere andere Modelle mit künstlicher Intelligenz auf den Markt gebracht. Leider hat das Unternehmen noch keine KI-Funktionen für seine Geräte entwickelt. Es wird jedoch erwartet, dass das kommende iOS 18 eine Reihe neuer KI-Funktionen enthalten wird, und die Veröffentlichung von OpenELM könnte der neueste Teil von Apples Vorbereitungen hinter den Kulissen sein.

Kürzlich verriet Mark Gurman, dass die KI-Funktionen in iOS 18 sich stark auf das eingebaute große Sprachmodell des Geräts stützen werden, um den Datenschutz und die Geschwindigkeit zu verbessern. Nun, wir werden alles darüber erfahren, wenn Apple iOS 18 und andere Software-Updates auf der WWDC am 10. Juni ankündigt.