Прикладное программное обеспечение

Прикладное программное обеспечение комплекса ЦКП

На комплексе было установлено прикладное программное обеспечение, оптимизированное под вычислительную архитектуру комплекса, для решения задач из следующих областей знаний:

• молекулярная динамика;

• квантовая химия;

• гидро- и аэродинамика (CFD);

• биоинформатика

• визуализация данных.

Программные пакеты компилировались с помощью компиляторов Intel C/C++ и Fortran compiler версии 15.0.2 под архитектуру Intel 64. В качестве математических библиотек совместимых BLAS/Lapack использовалась оптимизированная для процессоров Intel библиотека Intel Math Kernel Library из пакета Intel Parallel Studio 2015. В качестве библиотеки MPI использовался пакет Platform MPI 9.

Прикладные программные пакеты тестировались как в режиме одиночного узла, так и в режиме распределённых вычислений MPI. Ниже приводится описание отдельных прикладных программных пакетов.

МОЛЕКУЛЯРНАЯ ДИНАМИКА

GROMACS

Пакет GROMACS является одним из наиболее популярных программных средств для моделирования задач молекулярной динамики, т.е. расчёта уравнений Ньютона для систем, состоящих из большого количества атомов, от сотен миллионов. Пакет включает в себя все распространённые алгоритмы, кроме того обладает следующими отличительными особенностями:

- высокая производительность вычислений, оптимизация с использованием SIMD инструкций x86 процессоров,

- поддержка технологии CUDA для графических ускорителей NVIDIA,

- описание входных параметров задачи в текстовом формате,

- управление с помощью интерфейса командной строки,

- детализация хода выполнения вычислений в лог-файлах,

- продукт с открытым кодом, распространяется согласно GNU-лицензии.

Продукт написан на языке C/C++, поддерживает все технологии параллелизации вычислений: MPI, OpenMP, CUDA. На ЦКП была установлена версия GROMACS 5.0.7.

LAMMPS

Популярный пакет для классической молекулярной динамики. Разрабатывается группой из Сандийских национальных лабораторий. Пакет может применяться для крупных расчётов (до десятков миллионов атомов). Для работы на многопроцессорных системах используется интерфейс MPI. Пакет распространяется по лицензии GPL и доступен в виде исходных кодов.

Отличительные особенности:

- возможность использования как на одном узле, так и на MPI кластере;

- открытый программный код и лицензия GPL;

- написан на языке С++;

- использует библиотеку FFT для Фурье-преобразований;

- поддержка технологий параллелизации GPU (CUDA и OpenCL), Intel Xeon Phi, OpenMPI;

- поддержка большинства двухчастичных и многочастичных короткодействующих потенциалов (потенциалы Леннард-Джонса, Морзе, Юкавы, EAM, AI-REBO);

На ЦКП была установлена версия от 20 августа 2015 года (отличительная особенность пакета – нумерация версий с помощью даты релиза).

NAMD

NAMD – пакет для расчётов молекулярной динамики, созданный для моделирования больших био-молекулярных систем. NAMD способен масштабировать вычисления до 500 тысяч вычислительных ядер. Программа была создана совместно Группой Теоретической и Вычислительной Биофизики (TCB) и Лабораторией параллельного программирования (PPL) из Иллинойского университета в Урбане и Шампейне. По формату входных данных пакет совместим с другими популярными программами: VMD, AMBER, CHARMM, X-Plor. Пакет написан на языке С++, имеет открытый программный код и распространяется свободно по лицензии GPL. На ЦКП была установлена версия пакета 2.8, совместно с библиотекой Charm++.

КВАНТОВАЯ ХИМИЯ

ABINIT

Пакет ABINIT предназначен для расчётов энергии, электронной плотности для систем электронов и ядер (с использованием периодических граничных условий) в рамках метода функционала плотности с использованием базиса плоских волн и псевдопотенциалов. Abinit позволяет оптимизировать геометрию системы, минимизируя силы или напряжения, проводить молекулярно-динамическое моделирование, вычислять распределение электронной плотности, определять динамическую матрицу, эффективный заряд и многое другое. ABINIT – пакет с открытым программным кодом, распространяется по лицензии GPL. Написан на языке C++. Установлена версия 6.8.2

CPMD

Пакет CPMD реализует метод расчёта из первых принципов (ab initio) квантово-механической молекулярной динамики Кара — Парринелло (Car–Parrinello Molecular Dynamics; CPMD). В отличие от классической молекулярной динамики молекулярная динамика Кара — Парринелло позволяет включать в расчёт взаимодействия электронов в расчётах энергии, силы и движения. Разработку пакета координирует концорциум CPMD, основанный в 2001 году. Авторскими правами на пакет обладают совместно корпорация IBM и институт Макса-Планка (Штутгарт). Пакет распространяется по лицензии GPL. В ЦКП установлена версия CPMD 3.15.3.

Firefly

Firefly (ранее известен как PC GAMESS) — программный пакет для ab initio квантовохимических расчётов. Работает на Intel-совместимых процессорах архитектур x86 и x86-64. Основан на коде пакета программ GAMESS (US). Основной разработчик программы — Александр Грановский. С октября 2008 года проект дистанцировался от GAMESS (US) и поменял имя на Firefly. На ЦКП была установлена версия, оптимизированная автором под библиотеку Platform MPI 9.

ГИДРО- И АЭРОДИНАМИКА (CFD)

OpenFOAM

OpenFOAM — свободно распространяемый инструментарий вычислительной гидродинамики для операций с полями (скалярными, векторными и тензорными). На сегодня является одним из самых известных приложений, предназначенных для вычислений по методу конечных объемов (FVM). Код OpenFOAM разработан в Великобритании в компании OpenCFD, Limited и используется многими промышленными предприятиями более 12 лет. Свое название и идеологию построения код берет от предшественника FOAM (Field Operation And Manipulation), который является закрытым и продолжает развиваться параллельно с OpenFOAM.

Первоначально, программа предназначалась для прочностных расчетов и в результате многолетнего академического и промышленного развития на сегодняшний момент позволяет решать следующие задачи:

- Прочностные расчеты;

- Гидродинамика ньютоновских и неньютоновских вязких жидкостей как в несжимаемом, так и сжимаемом приближении с учётом конвективного теплообмена и действием сил гравитации. Для моделирования турбулентных течений возможно использование RANS-моделей, LES- и DNS-методов. Возможно решение дозвуковых, околозвуковых и сверхзвуковых задач;

- Задачи теплопроводности в твёрдом теле;

- Многофазные задачи, в том числе с описанием химических реакций компонент потока;

- Задачи, связанные с деформацией расчётной сетки;

- Сопряжённые задачи;

- Некоторые другие задачи, при математической постановке которых требуется решение дифференциальных уравнений в частных производных в условиях сложной геометрии среды;

- Распараллеливание расчёта как в кластерных, так и многопроцессорных системах

Пакет имеет открытый программный код и распространяется согласно лицензии GPL. Для установки использовалась версия пакета 2.0.1.

FlowVision

Программный комплекс FlowVision решает трехмерные уравнения динамики жидкости и газа: уравнения Навье-Стокса (законы сохранения массы и импульса) и уравнение переноса энтальпии (закон сохранения энергии). При расчёте сложных течений, сопровождаемых дополнительными физическими процессами (турбулентность, горение, движение контактных границ, и т. д.), решаются дополнительные уравнения, описывающие эти процессы. Совокупность всех дифференциальных уравнений, уравнений состояния, начальных и граничных условий называется математической моделью.

В основе FlowVision - новейшие технологии вычислительной гидродинамики и компьютерной графики:

- Прямоугольная сетка с локальным измельчением расчетных ячеек;

- Аппроксимация криволинейных границ расчетной области методом подсеточного разрешения геометрии;

- Импорт геометрии из системы автоматизированного проектирования или конечно-элементной программы в виде поверхностной сетки (связанных треугольников);

- Язык программирования C++;

- Клиент-серверная архитектура;

- Совершенный пользовательский интерфейс, написанный для операционных систем Windows и Linux;

- Высококачественная графика на основе OpenGL.

FlowVision является интегрированной системой - препроцессор (часть программы, в которой создаётся и редактируется расчётный проект), блок расчета уравнений и постпроцессор (часть программы, в которой анализируются результаты расчета) объединены и работают одновременно. Это позволяет пользователю проводить моделирование и одновременно анализировать результаты, менять граничные условия и параметры математической модели. Пакет FlowVision является закрытым пакетом, разрабатывается компанией ТЕСИС и распространяется согласно коммерческой лицензии. На ЦКП была установлена версия пакета 3.0.8.

БИОИНФОРМАТИКА

Для обработки данных геномного секвенирования нового поколения была создана выделенная вычислительная инфраструктура, оптимизированная с учётом особенностей биоинформатического анализа данных. Вычислительная инфраструктура включает в себя дисковое хранилище HP MSA 2000 объемом 60 Тб и три вычислительных узла:

- Два 24-ядерных сервера с процессорами Intel Xeon E7450, 48 гигабайт RAM;

- 40-ядерный сервер с процессорами E7-4850, 512 гигабайт RAM.

Особенностью вычислительной инфрастуктуры является применение архитектуры симметричного мультипроцессирования (SMP), которая является наиболее подходящей архитектурой для решения таких задач, как сборка генома из коротких последовательностей de novo, где критично расположение максимально возможного количества данных в оперативной памяти.

Для геномного анализа установлены следующие программные пакеты и конвейеры:

- ABYSS, SPADES – пакеты для de novo сборки геномов,

- Paleomix – программный конвейер для анализа древней ДНК,

- miRBase – программный конвейер для анализа микро-РНК,

- Bioscope – программный конвейер для анализа NGS данных секвенаторов SOLID.

ВИЗУАЛИЗАЦИЯ ДАННЫХ (Paraview)

ParaView

ParaView — открытый графический кросс-платформенный пакет для интерактивной визуализации в исследовательских целях, разрабатываемый Национальной Лабораторией Сандиа, компанией Kitware и Национальной Лабораторией Лос-Аламоса.

Пакет поддерживает клиент-серверную архитектуру для организации удалённой визуализации массивов данных и использует метод уровня детализации (level of detail, LOD) для поддержки визуализации больших объёмов данных в интерактивном режиме. Пакет ParaView реализован на базе библиотеки Visualization Toolkit (VTK). Пакет ParaView разрабатывался для осуществления параллелизма данных на компьютерах с общей, распределённой памятью и кластеров. При этом ParaView может использоваться и на персональных компьютерах. Пакет ParaView предоставляет пользователю возможности интерактивной визуализации и исследования больших массивов данных для качественного и количественного анализа. Работа с пакетом может осуществляться как в интерактивном, так и пакетном режиме.

Основные возможности пакета:

- визуализация расчётных сеток (поверхности, сеточные линии, вершины, объёмная визуализация),

- визуализация полей (давление, скорость, температура, смещения и пр.),

- построение срезов геометрии — плоскостью или с помощью заданной функции,

- построение изо-поверхностей,

- визуализация векторных полей и линий тока,

- количественный анализ данных — интегрирование, построение амплитудно-частотных характеристик,

- cоздание фильмов, демонстрирующих развитие процесса в 3D,

- алгебраические преобразования над полями,

На ЦКП была установлена версия пакета 4.4.