Суперкомпьютерное моделирование и теоретический анализ
Теоретический анализ распространения сверхмощных ультракоротких световых импульсов является неотъемлемой частью всех экспериментальных исследований. Такой анализ позволяет понять физические механизмы наблюдаемых в экспериментах явлений и найти величины параметров, которые невозможно получить прямыми экспериментальными измерениями.
Основная модель распространения сверхмощных ультракоротких световых импульсов в веществе основана на решении трехмерного параксиального однонаправленного обобщенного нелинейного уравнения Шрёдингера для комплексного представления электрического поля, учитывающего влияние сверхбыстрого процесса ионизации среды световым полем. Данное уравнение является следствием системы уравнений Максвелла, материальных уравнений и уравнений гидродинамики плазмы в приближения модели медленно меняющейся волны. Уравнение распространения решается с помощью численных методов расщепления по физическим факторам, преобразований Фурье и Ханкеля, методов Рунге-Кутта четвертого и пятого порядка точности.
Рис. 1. Лабораторный вычислительный сервер на платформе SuperMicro SYS-4029GP-TRT2 4U с восемью видеокартами GeForce RTX 2080 Ti, имеющий 88 Гб видеопамяти, 34816 видеоядер и вычислительную мощность более 100 ТФлопс.
Рис. 2. Спектры излучения плазмы, образованной лазерными импульсами с длиной волны 3.9 мкм, энергией 6 мДж, сфокусированными в атмосферный воздух линзой из CaF2 с фокусным расстоянием 50 см: (сплошные кривые) экспериментально измеренный спектр, (синяя заливка) расчетный по модели ионизационных токов и (штриховые кривые) расчетный по модели четырехволнового смешения.
Главным критерием, подтверждающим верность выбора модели и её параметров, является сходство результатов расчетов и комплекса всех экспериментальных измерений. Отличное совпадение расчетных и экспериментальных результатов дает уверенность в физических механизмах, найденных с помощью численного моделирования.
Взаимодействие мощных сверхкоротких световых лазерных импульсов с быстро ионизирующимся веществом сопровождается сложной нелинейной пространственно-временной динамикой лазерного поля, в которой многообразные эффекты спектрально-временного преобразования поля неразрывно связаны с неоднородной по импульсу пространственной динамикой светового пучка. Численное моделирование такой динамики поля является непростой многомерной задачей, требующей больших вычислительных ресурсов.
Нетрудно оценить, например, количество оперативной памяти, требуемой для такого моделирования. Для этого обратимся к характерным масштабам четырехмерной сетки в пространственных координатах x, y, z и времени t для расчетов динамики лазерного поля. Временная сетка должна прописывать как периоды осцилляций лазерного поля, имеющие субфемтосекундный временной масштаб, так и временную динамику ионизованных полем электронов, зачастую имеющую временной масштаб от субфемтосекундного до десятков и даже сотен пикосекунд. Таким образом временная сетка содержит 10 пс/1 фс = 10 000 точек. Таким же образом нетрудно оценить и пространственные масштабы, включающие ионизационные каналы диаметра десятки микрометров и сантиметровый диаметр лазерного пучка, что требует от пространственной сетки 1 см/ 10 мкм = 1000 точек по координате x и столько же по координате y. Сетку можно сократить, если расчеты ведутся последовательно по координате z, в этом случае расчетная сетка по координатам x,y,t имеет 1010 комплексных точек, что соответствует при одинарной точности вычислений (4 байта на точку) около 75 Гб оперативной видеопамяти.
Рис. 3. (а) Лазерное поле (синяя кривая), пики скорости ионизации воздуха (синяя заливка), траектория одного из электронов, вылетевшего на пике ионизации воздуха (розовая кривая). (b) (коричневая кривая) Динамика электронного тока, вызванного разгоном полем лазерного импульса вылетевших в результате ионизации электронов. (розовая кривая) траектория одного из электронов, вылетевшего на пике ионизации воздуха.
Пространственно-временная динамика мощного сверхкороткого светового импульса в (3 + 1)-мерной задаче, решаемой в пространственных координатах x, y, z и бегущем времени η в сопровождающей импульс системе отсчета: (слева) временная эволюция и самокомпрессия импульса, (в центре) преобразование спектра и генерация суперконтинуума, (справа) пространственная динамика с модуляционной неустойчивостью пучка, приводящей к потере пучком аксиальной симметрии.
Для выполнения расчетов такого класса сложности требуется эксафлопный объем вычислительных операций, который в настоящее время, как правило, выполняется с использованием суперкомпьютерных кластеров графических ускорителей. В нашей лаборатории имеется система нескольких вычислительных серверов, среди которых основной сервер построен на платформе SuperMicro SYS-4029GP-TRT2 4U (рис. 1) с восемью видеокартами GeForce RTX 2080 Ti, имеющий вычислительную мощность более 100 ТФлопс. Кроме собственных вычислительных мощностей сотрудники научной группы реализуют поддержанный в НИВЦ МГУ проект с вычислениями на крупнейшем российском суперкомпьютере «Ломоносов-2» МГУ им. М.В. Ломоносова.
В нашей научной группе развиты физические модели, численные алгоритмы и методы суперкомпьютерного моделирования распространения предельно коротких лазерных импульсов в веществе. В научной группе создано собственное программное обеспечение на языке C++ с использованием современной архитектуры графических ускорителей CUDA, а также интерфейса MPI параллельного программирования. Двумерное преобразование Фурье выполняется процессорной частью кластера с использованием стандартной библиотеки “fftw”. Вычисление дисперсионного, дифракционного и нелинейного операторов производится с использованием параллельной архитектуры CUDA в графической части кластера. Для этой цели производится перенос данных из оперативной памяти основного процессора в видеопамять и обратно.
(а) Схема организации параллельных вычислений для каждого шага численного алгоритма решения трехмерного обобщенного уравнения Шрёдингера. (б) Схема параллелизации вычислений для расчета нелинейного оператора, осуществляемых графическими ускорителями на xyη-сетке (x и y — поперечные пространственные координаты, η — время в сопровождающей лазерный импульс системе координат), состоящей из 512 х 512 х 2048 узлов. Цветными слоями показаны слои узлов сетки в плоскости xη, для которых каждой видеокартой производятся параллельные вычисления.
В качестве примера [1] комплексного экспериментального и теоретического подхода к изучению генерации широкополосного излучения в лазерно-индуцированной плазме на рис. 2 показаны три спектра излучения плазмы, образованной лазерными импульсами с длиной волны 3.9 мкм, энергией 6 мДж, сфокусированными в атмосферный воздух линзой из CaF2 с фокусным расстоянием 50 см. Первый спектр измерен экспериментально (сплошные кривые), второй — расчетный по модели ионизационных токов (синяя заливка) и третий — расчетный по модели четырехволнового смешения (штриховые кривые). Эти две модели являлись предметом больших дискуссий в начале текущего века. Как видно из рисунка, только модель ионизационных токов способна объяснить экспериментально наблюдаемый спектр.
Неплохое сходство расчетного и экспериментального спектра позволяет глубже проникнуть в механизмы взаимодействия лазерного излучения с плазмой, проследить динамику электронов и плазменных токов (рис. 3), недоступную прямым экспериментальным измерениям.
[1] Mitrofanov A.V., Sidorov-Biryukov D.A., Nazarov M.M., Voronin A.A., Rozhko M.V., Shutov A.D., Ryabchuk S.V., Serebryannikov E.E., Fedotov A.B., Zheltikov A.M. Ultraviolet-to-millimeter-band supercontinua driven by ultrashortmid-infrared laser pulses. Optica 7, 15-19 (2020).