Для того чтобы понять, какие клеточные и системные процессы лежат в основе специфичного поведения, адаптации и обучения лабораторных животных, необходимо визуализировать работу мозга на клеточном уровне и исследовать работу клеток мозга в динамике, в частности, работу нейронов, вовлеченных в разнообразные виды когнитивной деятельности. До сих пор основным средством изучения нейронной активности живых бодрствующих животных являются электрофизиологические методы, включая использование микроэлектродов. Наряду с этим подходом решения задач нейрофизиологии активно развиваются оптические и волоконно-оптические технологии, которые обладают рядом принципиальных достоинств – возможностью доступа к глубоким областям мозга  и проведения измерений на свободноподвижных  животных. Вживляемый оптоволоконный зонд (нейроинтерфейс) позволяет оптически сопрягать поверхностные и глубоко расположенные области мозга с неподвижной оптической установкой, в которой могут быть реализованы практически любые современные методы спектроскопии и микроскопии.

Одним из основных условий проведения исследований является наличие в биологической ткани оптически активных молекул. С точки зрения функциональности наиболее привлекательном в этом отношение является применение современных генетических технологий, позволяющих модифицировать клетки так, чтобы в них производились специальные флуоресцентные сенсорные молекулы, сигнал которых несет информацию о состоянии клетки, либо фото- или термочувствительные ионные каналы, которые могут влиять на активность клетки под действием излучения.  Такой подход имеет ряд  важных преимуществ. Во-первых, использование генетически кодируемых фото- и термочувствительных ионных каналов сенсоров и конструкций,  позволяет с помощью света  как считывать активность клеток, так и управлять ею, причем делает это селективно на клетках определенного типа, или  выборочной функциональным поведением, связанным  с конкретным эпизодом памяти или активностью животного, что невозможно классическими методами электрофизиологии. Во-вторых, используя генетически кодируемые сенсоры биохимических показателей, можно исследовать механизмы протекания различных функциональных активностей или заболеваний мозга в реальном времени на уровне отдельных клеток и их органелл.

Вопросы, связанные с применением волоконных технологий и нелинейно-оптических методов для исследования физических основ памяти и когнитивных функций мозга занимают значительную часть работ группы. Развитие этого направления связано с плодотворным научным сотрудничеством с группой профессора К. В. Анохина в НИИ нормальной физиологии РАМН, НИЦ «Курчатовский институт» и Институте перспективных исследований мозга МГУ имени М. В. Ломносова. В настоящее время области применения оптоволоконных нейроинтерфейсов значительно расширись в рамках сотрудничества с группами проф. В. В. Белоусова и проф. А. В. Семьянова в Институте биоорганической химии (ИБХ РАН).

Волоконно-оптические нейроинтерфейсы на основе вживляемых оптоволоконных зондов различных типов успешно применяются в нашей лаборатории для решения широкого круга задач с минимальной инвазивностью, позволяя производить измерения в любой одной или нескольких областях мозга живого животного. Применение различных типов волокон и конструкций нейроинтерфейсов, и оптогенетических технологий обеспечивает возможность проведения измерений с клеточным разрешением с живыми свободноподвижными животными на временных масштабах от нескольких минут до нескольких месяцев.

Для визуализации нейронных активностей нами используются и развиваются различные типы волоконно-оптических нейроинтерфейсов, которые позволяют исследовать процессы на произвольных глубинах головного мозга лабораторных животных:

• нейроинтерфейсы на основе одноканальных световодов;
• нейроинтерфейсы на основе фотонно-кристаллических световодов;
• нейроинтефейсы на основе многоканальных световодов;
• нейроинтерфейсы на основе размыкаемых световодов.

В задачах, где не требуется получение изображений, и необходимо измерять сигналы от множества трансгенно помеченных клеток, оптимально подходят оптоволокна с одной сердцевиной. Первые нейроинтерфейсы были разработаны нами именно с этими типами волокон. Базовая схема с эксперимента представлена на рисунке. Излучение источника накачки заводится оптической системой в волокна и доставлятся в мозг животного, где возбуждает флуоресцентный отклик сенсорных молекул. Излучение флуоресценции затем возвращается по оптоволокну в систему измерений, где, проходя через дихроичное зеркало (DM), направляется на детектор (ПЗС-камера, CCD). При фотометрии детектором измеряется сигнал флуоресценции от времени. Например, если исследуемые клетки трансгенно помечены и экспрессируют флуоресцентные сенсоры ионов кальция, то уровень сигнала таких сенсоров соответствует нервной активности клеток, а оптоволоконные зонды служат альтернативой микроэлектродам.

С подобными волокнами возможно проведение ратиометрических измерений при которых измеряется соотношение флуоресцентных сигналов, возбужденных при накачке на двух длинах волн. Ратиометрический сигнал напрямую связан с исследуемым биохимическим показателем и не зависит от концентрации самого сенсора. Например, так можно измерять ратиометрические сигналы двух флуоресцентных сенсоров SypHer3s и HyPer7, дававшие информацию о кислотности (pH) и концентрации пероксида в клетках мозга в ходе развития ишемического инсульта и после него.

Флуоресцентная микроэндоскопия с использованием световодов является наименее повреждающим методом исследований, обеспечивающим клеточное разрешение в глубоких слоях мозга, но использование стандартных волоконно-оптических систем сопряжено с целым рядом трудностей. Например, из-за волоконной дисперсии происходит уширение сверхкоротких лазерных импульсов, необходимых для эффективного многофотонного возбуждения биомолекул. Также высокая вероятность повреждения биологических тканей накладывает строгие ограничения на лазерную интенсивность при работе in vivo, что может быть решено за счет повышения эффективности сбора нелинейного люминесцентного отклика биомолекул. Однако небольшие величины числовых апертур стандартных волоконных зондов не позволяют эффективно собирать люминесцентный отклик, испускаемый в полный телесный угол. Одним из путей реализации новых и оптимизации существующих биофотонных волоконных компонент в нашей работе является использование фотонно-кристаллических световодов. Фотонно-кристаллические (микроструктурированные) волокна являются новым типом оптических световодов с архитектурой поперечного сечения, представляющей микроструктуру с промодулированным показателем преломления оболочки, что принципиально позволяет варьировать в широком диапазоне дисперсионные свойства волноводных мод, степень локализации электромагнитного излучения, эффективную площадь моды и числовую апертуру волокна.

Если в эксперименте необходимо получение изображений отдельных клеток, то могут использоваться пучки волокон (многосердцевинные оптические волокна). Такие оптоволокна состоят из нескольких тысяч сердцевин, спаянных вместе и идущих параллельно, с сохранением взаимного расположения. Свет, введенный в отдельную сердцевину, распространяется по ней к другому концу. Отдельная сердцевина выступает, таким образом, в роли пикселя передаваемого изображения. Многосердцевинные оптические волокна обладают гибкостью сравнимой с обычными волноводами с одной сердцевиной и могут быть использованы для передачи изображения из мозга свободноподвижного животного. При этом один конец волокна погружается в мозг животного, а другой конец может сопрягаться с различными оптическими установками, например, широкопольным или конфокальным флуоресцентным микроскопом.  Данная методика также обладает низкой инвазивностью благодаря малому диаметру оптического волокна.

В нейрокогнитивных исследованиях особое значение имеют долговременные эксперименты, в которых прослеживается изменение активности мозга животного на протяжении нескольких дней и недель. Для того чтобы проводить такие эксперименты, используются размыкаемые волоконные интерфейсы. Для соединения двух оптоволокон применяются специальные керамические наконечники (ферулы). Оптоволокно вклеивается  в керамическую ферулу, закрепленную на черепе. Сердцевины в оптоволокне локально образуют шестиугольную решетку, однако на больших расстояниях порядок нарушается  из-за различия в размерах сердцевин. Это сделано специально для уменьшения эффектов межмодового взаимодействия между сердцевинами, приводящего к размытию изображения. При соединении двух многосердцевинных волокон, отдельные сердцевины накладываются друг на друга случайным образом, что может приводить к вариациям пропускания света. Однако, благодаря высокому фактору заполнения, среднее пропускание системы двух соединенных оптоволокон оказывается достаточным для передачи изображения в размыкаемом формате.

При построении изображений получаемое с помощью многосердцевинного волокна, излучение после выхода с торца расходится в пределах конуса, определяемого числовой апертурой оптоволокна, что приводит к быстрому размытию изображений удаленных объектов (фокальная плоскость совпадает с торцом волокна). Это негативно сказывается на изображении клеток, поскольку они редко подходят вплотную к торцу и могут при этом деформироваться. Для решения этой проблемы, на торец волокна прикрепляется градиентная линза, которая перестраивает изображение с некоторого рабочего расстояния перед торцом, на торец многосердцевинного волокна. В качестве градиентной линзы используются кусочки многомодового градиентного волокна, которые привариваются к многосердцевинному.

Если уложить вместе несколько таких зондов различной длины, то, можно не изменяя условий эксперимента адресоваться к нейронам, расположенным на различных глубинах в мозге животного. Это представляет интерес для нейрокогнитивных исследований, поскольку нейроны, расположенные в различных частях мозга и даже в различных слоях коры, обладают различными функциями. Одновременное измерение активности нейронов различных слоев может расширить понимание процессов обработки информации в мозге. Экспериментальная установка представляет собой конфокальный микроскоп, в фокусе которого помещен торец многосердцевинного волокна. Другой конец волокна подсоединен к волокну, вживленному в мозг мыши. Регистрации сигнала как с помощью фотоэлектронного умножителя (ФЭУ) для получения изображения конфокальной микроскопии, так и с помощью высокочувствительной камеры (ПЗС). Наблюдение с помощью камеры обеспечивает большее отношение сигнал/шум, однако проигрывает в контрасте, поскольку дает изображение широкопольной микроскопии, в которой расположенные вне фокуса слои дают большой вклад в измеряемый сигнал.