Apple выпустила 4 новые модели ИИ с открытым исходным кодом, которые работают на устройстве

Компания Apple не особо распространяется о своих планах в области генеративного ИИ. Теперь, с выпуском семейства больших языковых моделей с открытым исходным кодом, похоже, что технологический гигант из Купертино хочет сделать так, чтобы ИИ работал локально на устройствах Apple. LLM от Apple, которые компания называет OpenELM (Open-source Efficient Language Models), предназначены для работы на устройстве, а не на облачных серверах. Эти LLM доступны на Hugging Face Hub, центральной платформе для обмена кодом и наборами данных ИИ.

В ходе тестирования Apple отметила, что OpenELM демонстрирует такую же производительность, как и другие открытые языковые модели, но у первой меньше обучающих данных.

Как показано в техническом документе, всего существует восемь моделей OpenELM. Четыре модели были предварительно обучены с помощью библиотеки CoreNet, а остальные четыре — это модели, настроенные по инструкции. Чтобы повысить общую точность и эффективность, Apple использует стратегию послойного масштабирования в этих открытых LLM.

«С этой целью мы выпускаем OpenELM, современную открытую языковую модель. OpenELM использует стратегию послойного масштабирования для эффективного распределения параметров внутри каждого слоя трансформаторной модели, что приводит к повышению точности. Например, при бюджете параметров около миллиарда параметров OpenELM демонстрирует 2,36%-ное улучшение точности по сравнению с OLMo, требуя при этом в 2 раза меньше лексем для предварительного обучения.» — Apple.

Apple не просто предоставила окончательно обученную модель. Она также предоставила код, журналы обучения и несколько итераций модели. Исследователи проекта уверены, что это ускорит прогресс и обеспечит «надежные результаты» в области естественно-языкового ИИ.

«Отличаясь от предыдущих практик, которые предоставляли только весовые коэффициенты модели и код вывода, а также предварительное обучение на частных наборах данных, наш релиз включает полную структуру для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, многочисленные контрольные точки и конфигурации предварительного обучения. Мы также выпустили код для преобразования моделей в библиотеку MLX для выводов и тонкой настройки на устройствах Apple. Этот комплексный релиз призван расширить возможности и укрепить сообщество открытых исследований, проложив путь для будущих открытых исследований», — Apple.

Apple также добавила, что выпуск моделей OpenELM «расширит возможности и обогатит открытое исследовательское сообщество» самыми современными языковыми моделями. Модели с открытым исходным кодом позволяют исследователям изучать потенциальные риски, данные и предубеждения, присущие моделям. Модели готовы к использованию разработчиками. Они могут использовать эти LLM с открытым исходным кодом как есть или вносить необходимые изменения.

Еще в феврале генеральный директор Apple Тим Кук сообщил, что функции генеративного ИИ появятся на устройствах Apple в конце этого года. Через некоторое время после этого он вновь заявил, что компания упорно работает над созданием революционных возможностей ИИ.

Ранее Apple уже выпустила несколько других моделей с искусственным интеллектом. К сожалению, она еще не привнесла возможности ИИ в свои устройства. Тем не менее, ожидается, что грядущая iOS 18 будет включать в себя набор новых функций ИИ, и выпуск OpenELM может быть последней частью закулисной подготовки Apple.

Недавно Марк Гурман также сообщил, что функции ИИ в iOS 18 будут в значительной степени опираться на встроенную в устройство большую языковую модель для повышения конфиденциальности и скорости работы. Что ж, мы узнаем обо всем, когда Apple объявит о выходе iOS 18 и других обновлений программного обеспечения на WWDC 10 июня.