- 19,821
- 44
- 8 Ноя 2022
Раньше ИИ ждал ответа из облака, теперь отвечает сам.
Huawei представила Compute Architecture for Neural Networks (CANN) — гетерогенную вычислительную архитектуру для ИИ с единым подходом к работе на устройствах и в облаке. На HarmonyOS она обеспечивает унифицированную среду для различных моделей и алгоритмов, оптимизированных под платформу Kirin. Через API CANN приложения могут выполнять инференс, обучение и оптимизацию моделей на устройстве, используя локальные вычислительные ресурсы.
Модель ИИ — это результат применения алгоритмов к большим объёмам данных, который затем можно использовать для прогнозов и распознавания новых входных данных. Примеры задач — сегментация изображений с точным выделением объектов или обработка голоса для активации, распознавания и синтеза речи.
Модели можно создавать и обучать на платформе Huawei Ascend CANN , конвертируя их в совместимый формат для интеграции в приложения. Также поддерживается адаптация решений, созданных на сторонних фреймворках, под HarmonyOS с помощью инструментов CANN.
Архитектура оптимизирует вычисления, распределяя их между NPU, CPU и другими компонентами, снижая энергопотребление и нагрузку на память. Выполнение моделей на устройстве уменьшает зависимость от сети и повышает защиту данных.
CANN основана на ядре Huawei Da Vinci NPU и вычислительных библиотеках, поддерживает язык Ascend C и работает совместно с облачными процессорами Ascend, что позволяет выполнять оптимизацию под NPU один раз и развёртывать решение на разных устройствах.
Среди возможностей CANN:
— поддержка AI-инструкций для параллельного выполнения операторов;
— офлайн-компиляция операторов (свёртка, pooling, активация и др.) в оптимизированные последовательности для NPU;
— межслойное объединение операторов для снижения загрузки памяти;
— автоматическое определение возможностей среды и адаптивное планирование задач для CPU и NPU;
— оптимизация предобученных моделей для уменьшения размера и ускорения работы;
— поддержка совместных вычислений устройства и облака.
Huawei представила Compute Architecture for Neural Networks (CANN) — гетерогенную вычислительную архитектуру для ИИ с единым подходом к работе на устройствах и в облаке. На HarmonyOS она обеспечивает унифицированную среду для различных моделей и алгоритмов, оптимизированных под платформу Kirin. Через API CANN приложения могут выполнять инференс, обучение и оптимизацию моделей на устройстве, используя локальные вычислительные ресурсы.
Модель ИИ — это результат применения алгоритмов к большим объёмам данных, который затем можно использовать для прогнозов и распознавания новых входных данных. Примеры задач — сегментация изображений с точным выделением объектов или обработка голоса для активации, распознавания и синтеза речи.
Модели можно создавать и обучать на платформе Huawei Ascend CANN , конвертируя их в совместимый формат для интеграции в приложения. Также поддерживается адаптация решений, созданных на сторонних фреймворках, под HarmonyOS с помощью инструментов CANN.
Архитектура оптимизирует вычисления, распределяя их между NPU, CPU и другими компонентами, снижая энергопотребление и нагрузку на память. Выполнение моделей на устройстве уменьшает зависимость от сети и повышает защиту данных.
CANN основана на ядре Huawei Da Vinci NPU и вычислительных библиотеках, поддерживает язык Ascend C и работает совместно с облачными процессорами Ascend, что позволяет выполнять оптимизацию под NPU один раз и развёртывать решение на разных устройствах.
Среди возможностей CANN:
— поддержка AI-инструкций для параллельного выполнения операторов;
— офлайн-компиляция операторов (свёртка, pooling, активация и др.) в оптимизированные последовательности для NPU;
— межслойное объединение операторов для снижения загрузки памяти;
— автоматическое определение возможностей среды и адаптивное планирование задач для CPU и NPU;
— оптимизация предобученных моделей для уменьшения размера и ускорения работы;
— поддержка совместных вычислений устройства и облака.
- Источник новости
- www.securitylab.ru
