Программно-определяемая инфраструктура IBM ускорит высокопроизводительную аналитику данных

Новое интеллектуальное ПО для управления ресурсами и нагрузками IBM Spectrum Computing позволит организациям упростить извлечение ценных сведений из массивов данных и ускорить высокопроизводительный анализ или машинное обучение. Эта технология может использоваться в различных отраслях. Например, ученые с ее помощью смогут отсортировать геномы для поисков новых путей лечения рака, инженеры – сконструировать чемпионский болид Формулы-1, а сотрудники банков – персонализировать финансовые сервисы, чтобы привлечь новых клиентов.

По оценкам экспертов IDC, объем рынка программно-определяемой инфраструктуры, где ЦОД управляется, эксплуатируется и автоматизируется с помощью ПО вне зависимости от компонентов вычислений, хранения или сети, достигнет примерно 51 млрд. долларов к 2019 году [1]. То есть, с 2014 года растет и будет расти ежегодно в среднем на 23,8%. Согласно данным IDC, этот сегмент станет самым быстрорастущим направлением рынка ИТ-инфраструктуры.

Платформа IBM Spectrum Computing содержит новую, когнитивную и учитывающую ресурсы политику планирования, которая поможет увеличить загрузку существующих вычислительных возможностей и оптимизирует стоимость управления. В то же время, она позволит ускорить получение результатов в сфере высокопроизводительных вычислительных систем, аналитики больших данных, приложений новых поколений и рабочих сред с открытым исходным кодом, например, Hadoop и Apache Spark.

IBM Spectrum Computing позволит организациям консолидировать инфраструктуру ЦОД и распределять ресурсы между локальными, облачными или гибридными средами. Она включает также три новых продукта ПО.

Новое ПО позволит более оперативно получить прогнозируемую аналитическую картину

• Разработанное для ускорения анализа данных ПО IBM Spectrum Conductor работает с облачными приложениями и со средой открытого исходного кода, сокращая время получения результатов и позволяя распределять ресурсы для все более сложных приложений. Одновременно, оно защищает данные и управляет ими на протяжении всего жизненного цикла.
• Интегрирующее Apache Spark ПО IBM Spectrum Conductor with Spark упрощает внедрение Apache Spark - платформы для аналитики больших данных с открытым исходным кодом, и позволяет на 60% ускорить получение результатов обработки информации [2].
• Ускоряющее исследования и проектирование ПО IBM Spectrum LSF является универсальным ПО управления нагрузками. Гибкий и удобный интерфейс помогает организациям ускорить исследования и проектирования в 150 раз [3], контролируя затраты путем продвинутого распределения ресурсов и их рационального использования.

«Total Rack Solutions от компании Supermicro в сочетании с IBM Spectrum Computing предлагают наиболее полную программно-определяемую инфраструктуру, оптимизированную для сложных когнитивных аналитических приложений, – сказал Чарли Ву, руководитель Rack Solutions в Supermicro. – В сотрудничестве с IBM, мы интегрировали IBM Spectrum Conductor, Apache Spark и IBM Spectrum LSF в наши новейшие серверные, хранилищные и сетевые решения. Это позволит нам ускорить внедрение масштабируемой высокопроизводительной аналитической инфраструктуры. Благодаря совместным усилиям, мы сможем получить более прогнозируемые результаты и ценные аналитические выводы во всех гибридных облачных средах».

ПО IBM Spectrum Conductor был создано за два года сотрудничества разработчиков IBM и заказчиков, сфокусированных на развитии аналитики нового поколения. Оно одновременно управляет множеством приложений, обеспечивая распределение ресурсов для оперативного получения результатов. Высокоэффективное многопользовательское планирование обеспечивает безопасный и конфиденциальный обмен данными и ресурсами.

Признавая важную роль, которое играет в индустрии ПО с открытым исходным кодом, IBM намерена открыть доступ к ключевому компоненту IBM Spectrum Conductor для дальнейшего расширения использования Apache Spark учеными и разработчиками в области обработки данных.

«Сегодня данные генерируются с огромной скоростью, опережающей способности человека воспринимать такой массив информации и анализировать его для выявления бизнес-инсайтов, – сказал Бернард Спанг, вице-президент подразделения IBM Software Defined Infrastructure. – В основе когнитивной инфраструктуры стоит потребность в высокопроизводительной аналитике как структурированных, так и неструктурированных данных. IBM Spectrum Computing позволит организациям быстрее внедрять новые технологии, добиваться более высокой и прогнозируемой производительности».

IBM Spectrum LSF обеспечивает широкие возможности для управления рабочими нагрузками и ресурсами для высокопроизводительных исследований, проектирования и моделирования приложений. Улучшенный мобильный пользовательский интерфейс, а также усовершенствованная система отчетности и отображения нагрузки повышает удобство пользования. Благодаря значительному усилению результативности, новые решения обеспечивают пятикратное увеличение пропускной способности и трёхкратный рост масштабируемости по сравнению с предыдущими версиями LSF IBM Platform. [4]

«В то время как гонки выигрывают гонщики, для проектирования автомобиля-победителя Формулы-1 требуется постоянное совершенствование технологий, чтобы имеющиеся ИТ-ресурсы использовались в полном объеме, – сказал Мэтт Кадоу, ИТ-директор  Red Bull Racing. – IBM Spectrum LSF помогает нам добиться отличной производительности для самых требовательных вычислений и приложений, использующих большой объем данных. Мы больше успеваем сделать, но при этом тратим меньше ресурсов, облегчаем инфраструктуру и управление процессами, что ускоряет процесс создания новых моделей гоночных автомобилей».

Источники:

[1] Worldwide Software-Defined Infrastructure, 2014–2019: Forecast Report – January 2016, Doc#US40903016

[2] March 28, 2016 STAC Securities Technology Analysis Center, Spark Resource Manager– Phase 1

[3] IBM Internal testing results based on 16 physical x86_64 servers; CPU: Intel(R) Xeon(R) CPU E5-2670 @ 2.60GHz (total 16 core on each server) Memory: 132 GB, OS: RHELS 6.4; Edison benchmark environment achieved 8M jobs/hour in a 128 core (16 host * 8 core) and 10M jobs/hour in a 256 (16 host x 16 core)

[4] IBM Internal testing results based on 16 physical x86_64 servers; CPU: Intel(R) Xeon(R) CPU E5-2670 @ 2.60GHz (total 16 core on each server) Memory: 132 GB, OS: RHELS 6.4; Edison benchmark environment achieved 8M jobs/hour in a 128 core (16 host * 8 core) and 10M jobs/hour in a 256 (16 host x 16 core)