Такие читатели, как вы, помогают поддерживать MUO. Когда вы совершаете покупку по ссылкам на нашем сайте, мы можем получать партнерскую комиссию. Читать далее.
В вашем iPhone, iPad, Mac и Apple TV используется специализированный нейронный процессор под названием Apple Neural Engine (ANE), который намного быстрее и энергоэффективнее, чем центральный или графический процессор.
ANE позволяет использовать расширенные функции на устройстве, такие как обработка естественного языка и анализ изображений, без подключения к облаку или использования чрезмерной мощности.
Давайте рассмотрим, как работает ANE и его эволюция, в том числе выводы и интеллектуальные функции, которые он обеспечивает на платформах Apple, и как разработчики могут использовать его в сторонних приложениях.
Что такое Apple Neural Engine (ANE)?
Apple Neural Engine — это маркетинговое название кластера узкоспециализированных вычислительных ядер, оптимизированных для энергоэффективного выполнения глубоких нейронных сетей на устройствах Apple. Он ускоряет алгоритмы машинного обучения (ML) и искусственного интеллекта (AI), предлагая огромные преимущества в скорости, памяти и мощности по сравнению с основным процессором или графическим процессором.
ANE — это большая часть того, почему новейшие iPhone, iPad, Mac и Apple TV быстро реагируют и не нагреваются во время тяжелых вычислений машинного обучения и искусственного интеллекта. К сожалению, не все устройства Apple имеют ANE — у Apple Watch, компьютеров Mac на базе Intel и устройств старше 2016 года его нет.
Первый ANE, дебютировавший в чипе Apple A11 в iPhone X 2017 года, был достаточно мощным, чтобы поддерживать Face ID и Animoji. Для сравнения, последний ANE в чипе A15 Bionic в 26 раз быстрее, чем первая версия. В настоящее время ANE позволяет использовать такие функции, как автономный Siri, и разработчики могут использовать его для запуска ранее обученных моделей машинного обучения, освобождая ЦП и ГП, чтобы сосредоточиться на задачах, которые им лучше подходят.
Как работает нейронный движок Apple?
ANE обеспечивает управление и арифметическую логику, оптимизированную для выполнения обширных вычислительных операций, таких как умножение и накопление, обычно используемых в алгоритмах машинного обучения и искусственного интеллекта, таких как классификация изображений, анализ мультимедиа, машинный перевод и т. д.
Согласно патенту Apple под названием «Многорежимный планарный движок для нейронного процессора», ANE состоит из нескольких ядер нейронного движка и одной или нескольких многорежимных планарных схем.
Дизайн оптимизирован для параллельных вычислений, где многие операции, такие как матричное умножение, выполняемое триллионами итераций, должны выполняться одновременно.
Чтобы ускорить вывод в алгоритмах ИИ, ANE использует прогностические модели. Кроме того, ANE имеет собственный кеш и поддерживает всего несколько типов данных, что помогает максимизировать производительность.
Функции искусственного интеллекта на базе ANE
Вот некоторые функции на устройстве, с которыми вы, возможно, знакомы, которые делает возможным ANE.
- Обработка естественного языка: более быстрое и надежное распознавание голоса для Диктовки и Siri; Улучшено изучение естественного языка в приложении «Переводчик» и во всей системе; Мгновенный перевод текста в программах «Фото», «Камера» и других приложениях для iPhone.
- Компьютерное зрение: поиск объектов на изображениях, таких как достопримечательности, домашние животные, растения, книги и цветы, с помощью приложения «Фотографии» или поиска Spotlight; Получение дополнительной информации о распознанных объектах с помощью Visual Look Up в таких местах, как Safari, Mail и Messages.
- Дополненная реальность: окклюзия людей и отслеживание движения в приложениях AR.
- Анализ видео: Обнаружение лиц и объектов на видео в таких приложениях, как Final Cut Pro.
- Эффекты камеры: автоматическое кадрирование с помощью Center Stage; Размытие фона во время видеозвонков FaceTime.
- Игры: фотореалистичные эффекты в 3D-видеоиграх.
- Живой текст: обеспечение оптического распознавания символов (OCR) в «Камере» и «Фото», позволяющее легко копировать рукописный текст или текст, например пароль или адрес Wi-Fi, с изображений.
- Вычислительная фотография: Deep Fusion анализирует пиксели для лучшего шумоподавления, расширения динамического диапазона и улучшения автоматической экспозиции и баланса белого, используя при необходимости Smart HDR; Фотосъемка с малой глубиной резкости, включая съемку портретов в ночном режиме; Регулировка уровня размытия фона с помощью управления глубиной.
- Лакомые кусочки: ANE также используется для фотографических стилей в приложении «Камера», курирования воспоминаний и стилистических эффектов в фотографиях, персонализированных рекомендаций, таких как предложения обоев, подписи к изображениям VoiceOver, поиск дубликатов изображений в фотографиях и т. д.
Некоторые из упомянутых выше функций, такие как распознавание изображений, также работают без ANE, но будут работать намного медленнее и расходуют заряд батареи вашего устройства.
Краткая история Apple Neural Engine: от iPhone X до компьютеров Mac M2
В 2017 году Apple развернула свой самый первый ANE в виде двух специализированных ядер в чипе A11 iPhone X. По сегодняшним меркам это было относительно медленно, всего 600 миллиардов операций в секунду.
ANE второго поколения появился внутри чипа A12 в 2018 году, имея в четыре раза больше ядер. Этот ANE, рассчитанный на пять триллионов операций в секунду, был почти в девять раз быстрее и потреблял одну десятую мощности своего предшественника.
Чип A13 2019 года имел тот же восьмиядерный ANE, но работал на одну пятую быстрее и потреблял на 15% меньше энергии, что является продуктом усовершенствованного 7-нм полупроводникового узла TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) производит чипы, разработанные Apple.
Эволюция Apple Neural Engine
|
Узел полупроводникового процесса |
Дата запуска |
Ядра АНЭ |
Операций в секунду |
Дополнительные замечания |
|
10-нм TSMC FinFET |
2017 |
2 |
600 миллиардов |
Первый ANE от Apple |
|
7-нм TSMC FinFET |
2018 |
8 |
5 триллионов |
В 9 раз быстрее, чем A11, на 90% ниже энергопотребление |
|
7-нм TSMC N7P |
2019 |
8 |
6 триллионов |
На 20 % быстрее, чем A12, на 15 % ниже энергопотребление |
|
5 нм TSMC N5 |
2020 |
16 |
11 триллионов |
Почти в 2 раза быстрее, чем A13 |
|
5-нм TSMC N5P |
2021 |
16 |
15,8 трлн |
На 40% быстрее, чем A14 |
|
5 нм TSMC N4 |
2022 |
16 |
17 триллионов |
На 8% быстрее, чем A15, лучше энергоэффективность |
|
5 нм TSMC N5 |
2020 |
16 |
11 триллионов |
Тот же ANE, что и A14 Bionic |
|
5 нм TSMC N5 |
2021 |
16 |
11 триллионов |
Тот же ANE, что и A14 Bionic |
|
5 нм TSMC N5 |
2021 |
16 |
11 триллионов |
Тот же ANE, что и A14 Bionic |
|
5 нм TSMC N5 |
2022 |
32 |
22 триллиона |
В 2 раза быстрее, чем M1/M1 Pro/M1 Max |
|
5-нм TSMC N5P |
2022 |
16 |
15,8 трлн |
На 40% быстрее, чем M1 |
|
5-нм TSMC N5P |
2023 |
16 |
15,8 трлн |
Тот же ANE, что и M2 |
|
5-нм TSMC N5P |
2023 |
16 |
15,8 трлн |
Тот же ANE, что и M2 |
В следующем году Apple A14 почти удвоила производительность ANE до 11 триллионов операций в секунду за счет увеличения количества ядер ANE с 8 до 16. В 2021 году A15 Bionic извлек выгоду из 5-нм процесса второго поколения TSMC, который еще больше увеличил ANE. производительность до 15,8 трлн операций в секунду без добавления дополнительных ядер.
Первые чипы M1, M1 Pro и M1 Max, привязанные к Mac, имели тот же ANE, что и A14, что впервые обеспечило продвинутые аппаратно-ускоренные машинное обучение и искусственный интеллект на платформе macOS.
В 2022 году M1 Ultra объединил два чипа M1 Max в одном корпусе с использованием специального межсоединения Apple, получившего название UltraFusion. Благодаря удвоенному количеству ядер ANE (32) M1 Ultra удвоил производительность ANE до 22 триллионов операций в секунду.
Apple A16 в 2022 году был изготовлен с использованием усовершенствованного узла N4 TSMC, что позволило повысить производительность ANE примерно на 8% (17 триллионов операций в секунду) по сравнению с ANE A15.
Первыми iPad с поддержкой ANE были iPad mini пятого поколения (2019 г.), iPad Air третьего поколения (2019 г.) и iPad восьмого поколения (2020 г.). Все iPad, выпущенные с тех пор, имеют ANE.
Как разработчики могут использовать ANE в приложениях?
Многие сторонние приложения используют ANE для функций, которые в противном случае были бы невозможны. Например, редактор изображений Pixelmator Pro предоставляет такие инструменты, как ML Super Resolution и ML Enhance. А в djay Pro ANE отделяет биты, инструменталы и вокальные треки от записи.
Однако сторонние разработчики не получают низкоуровневого доступа к ANE. Вместо этого все вызовы ANE должны проходить через программную среду Apple для машинного обучения Core ML. С помощью Core ML разработчики могут создавать, обучать и запускать свои модели машинного обучения непосредственно на устройстве. Затем такая модель используется для прогнозирования на основе новых входных данных.
«После того, как модель находится на устройстве пользователя, вы можете использовать Core ML для переобучения или тонкой настройки ее на устройстве с данными этого пользователя», — говорится в обзоре Core ML на веб-сайте Apple.
Для ускорения алгоритмов машинного обучения и искусственного интеллекта Core ML использует не только ANE, но также ЦП и ГП. Это позволяет Core ML запускать модель, даже если ANE недоступен. Но при наличии ANE Core ML будет работать намного быстрее, и батарея не будет разряжаться так быстро.
Многие функции Apple не будут работать без ANE
Многие функции на устройстве были бы невозможны без быстрой обработки алгоритмов искусственного интеллекта и машинного обучения, а также минимизации объема памяти и энергопотребления, которые обеспечивает ANE. Магия Apple заключается в наличии специального сопроцессора для работы нейронных сетей в частном порядке на устройстве вместо того, чтобы переносить эти задачи на серверы в облаке.
С помощью ANE как Apple, так и разработчики могут внедрять глубокие нейронные сети и пользоваться преимуществами ускоренного машинного обучения для различных моделей прогнозирования, таких как машинный перевод, обнаружение объектов, классификация изображений и т. д.
