Современную физику невозможно представить без численного анализа. В нашей группе помимо экспериментальных работ с использованием различных лазерных систем буквально во всех направлениях ведутся интенсивные теоретические исследования и компьютерное моделирование. Разные задачи требуют различных уровней теоретической поддержки или вычислительных мощностей. Например, физические задачи, связанные с распространением и нелинейно-оптическими эффектами сверхкоротких лазерных импульсов в оптических волокнах, которые удается промоделировать в приближении одной пространственной и одной временной координаты, часто решаются на персональных компьютерах.

Вычислительная сложность двухмерного и трехмерного численного моделирования, в котором имеются две или три пространственные и одна временная координаты, выходит на уровень количества вычислительных операций 100-1000 петафлоп (1 флоп = 1 вычислительная операция) за один расчет. При производительности современных компьютеров на уровне сотен гигафлопс (1 флопс = 1 вычислительная операция в секунду) (например, процессор Intel Core i9-9900k (Coffee Lake), 3.6 ГГц, 8 ядер (2018)— 460 ГФлопс) такие задачи решались бы месяц. Поэтому для двух- и трехмерного моделирования в лаборатории используется параллельное программирование на имеющихся в лаборатории лабораторных вычислительных серверах и университетских суперкомпьютерных комплексах. Вычислительная мощность такого оборудования значительно выше, мощность каждого нашего лабораторного вычислительного сервера, имеющего две параллельно работающие графические карты NVIDIA GeForce RTX 2080 Ti, составляет более 13 терафлопс. Вычислительная мощность суперкомпьютера «Ломоносов» МГУ имени М.В.Ломоносова, содержащего более 50000 вычислительных ядер,  составляет более 1.3 Пфлопс, а мощность суперкомпьютера «Ломоносов-2» МГУ имени М.В.Ломоносова, содержащего более 40000 вычислительных ядер, составляет более 1.85 Пфлопс. Параллельные вычисления на лабораторных кластерах и университетских суперкомпьютерах позволяют провести трехмерное моделирование распространения лазерного поля в среде, увидеть картину взаимодействия поля с частицами среды, ионизацию среды и динамику ионизованных полем свободных электронов.

Рис. 1. Фотографии вычислительных комплексов «Ломоносов-2» МГУ имени М.В.Ломоносова (parallel.ru/cluster, www.msu.ru).

Теоретический анализ распространения сверхмощных ультракоротких световых импульсов в веществе основан на решении трехмерного параксиального однонаправленного обобщенного нелинейного уравнения Шрёдингера для комплексного представления электрического поля, учитывающего влияние сверхбыстрого процесса ионизации среды световым полем. Данное уравнение является следствием системы уравнений Максвелла, материальных уравнений и уравнений гидродинамики плазмы в приближения модели медленно меняющейся волны и учитывает все основные физические эффекты, проявляющиеся при распространении мощных сверхкоротких импульсов в материальной среде. Модель учитывает также явления линейного поглощения и дифракции, наводимую полем добавку к показателю преломления за счет эффекта Керра второго, четвертого и, в случае необходимости, высших порядков, явления рамановского рассеяния, самоукручения, генерации оптических гармоник и пространственно-временной фокусировки, а также эффекты поглощения, дисперсии, рассеяния и дефокусировки, обусловленные сверхбыстрой ионизацией среды в процессе распространения лазерного импульса. Уравнение распространения поля решается с помощью численных методов расщепления по физическим факторам, преобразований Фурье и Ханкеля, методов Рунге-Кутта четвертого и пятого порядка точности.

Параллельное суперкомпьютерное моделирование требует глубоких знаний языка С++, а также понимания MPI-интерфейса (message-passing interface, MPI) параллельного программирования и архитектуры CUDA (Compute Unified Device Architecture) вычислений на графических ускорителях.

В научной группе создано собственное программное обеспечение, детальное описание численной модели и программного обеспечения имеется в работах [1, 2]. Реализованная схема параллельных вычислений на кластере графических ускорителей представлена на рис. 2. В отличие от стандартного метода распараллеливания вычислений с использованием исключительно интерфейса передачи сообщений в реализованной схеме вычислений используется комбинированный метод распараллеливания, в котором ускорение вычислений нелинейного, дисперсионного и дифракционного операторов достигается за счет сочетания интерфейса MPI и программно-аппаратной архитектуры параллельных вычислений CUDA. Число параллельно выполняемых MPI-процессов в разработанном алгоритме определяется числом используемых видеокарт M (для рис. 2, M = 4). В рамках каждого из этих процессов реализуется метод расщепления по физическим факторам. Двумерное преобразование Фурье выполняется процессорной частью кластера с использованием параллельной библиотеки “fftw”. Вычисление дисперсионного, дифракционного и нелинейного операторов производится с использованием параллельной архитектуры CUDA в графической части кластера (рис. 2). Для этой цели производится перенос данных из оперативной памяти основного процессора в видеопамять и обратно (рис. 2).

Рис. 2. Схема организации параллельных вычислений для каждого шага численного алгоритма решения трехмерного обобщенного уравнения Шрёдингера. (б) Схема параллелизации вычислений для расчета нелинейного оператора, осуществляемых графическими ускорителями на сетке, состоящей из 512х512х2048 узлов.

Для выполнения суперкомпьютерного моделирования научная группа имеет поддержанный проект НИВЦ МГУ, который дает возможность производить вычисления на крупнейших российских суперкомпьютерах “Ломоносов” и “Ломоносов-2” МГУ им. М.В. Ломоносова, необходимые для успешного решения задач, связанных со сложной пространственно-временной динамикой мощных сверхкоротких световых импульсов в нелинейных средах в условиях ионизации среды. Научная группа также имеет несколько собственных вычислительных систем на базе объединенных в кластер двух графических ускорителей NVidia GeForce GTX 2080 Ti.

1. Voronin A.A., Panchenko V.Ya., Zheltikov A.M.  Laser Physics Letters 13, 065403 (2016).
2. Воронин А.А., Желтиков А.М. Успехи физических наук 186, 957-966 (2017).