CIS Systems: Сжатая сверхбыстрая визуализация с использованием метода мультимодального взаимодействия (MF-CUP)
MF-CUP одновременно регистрирует динамические процессы с помощью трех различных моделей визуализации, включающих CUP, визуализацию переходных процессов и пространственно-временную визуализацию.
Сжатая сверхбыстрая визуализация объединяет в себе понятия сжатого сканирования и потоковой визуализации. В CUP трехмерный (3D) пространственно-временной динамический процесс пространственно кодируется, подвергается временному сдвигу и пространственно-временному интегрированию в двумерное (2D) сжатое изображение, а затем восстанавливается с помощью алгоритма.
Необученная нейронная сеть используется в процессе создания трехмерных пространственно-временных данных, а модель визуализации MF-CUP (сжатая сверхбыстрая визуализация с использованием мультимодального взаимодействия) задает параметры для корректировки работы нейронной сети.
Высокоточная сверхбыстрая съемка с использованием метода мультимодального взаимодействия (MF-CUP) обеспечивает высокоточную сверхбыструю визуализацию посредством мультимодального метода
MF-CUP одновременно регистрирует динамические процессы с помощью трех различных моделей визуализации, включающих CUP, визуализацию переходных процессов и пространственно-временную визуализацию.
Сжатая сверхбыстрая визуализация объединяет в себе понятия сжатого сканирования и потоковой визуализации. В CUP трехмерный (3D) пространственно-временной динамический процесс пространственно кодируется, подвергается временному сдвигу и пространственно-временному интегрированию в двумерное (2D) сжатое изображение, а затем восстанавливается с помощью алгоритма.
Необученная нейронная сеть используется в процессе создания трехмерных пространственно-временных данных, а модель визуализации MF-CUP (сжатая сверхбыстрая визуализация с использованием мультимодального взаимодействия) задает параметры для корректировки работы нейронной сети.
Высокоточная сверхбыстрая съемка с использованием метода мультимодального взаимодействия (MF-CUP) обеспечивает высокоточную сверхбыструю визуализацию посредством мультимодального метода
Введение
Обладая высокой частотой кадров и большой глубиной последовательности в одном кадре, технология сжатой сверхбыстрой визуализации (CUP) зарекомендовала себя как выдающийся инструмент для наблюдения за сверхбыстрыми явлениями, особенно за теми, которые не повторяются или необратимы. Однако одной из основных проблем CUP является снижение качества изображения из-за сильного сжатия данных. Это ограничивает возможности использования этой технологии для съемки сверхбыстрых процессов с высокой детализацией.
Чтобы преодолеть этот недостаток CUP, используется мультимодальная сверхбыстрая съемка на основе сжатия данных для достижения высокой точности сверхбыстрой визуализации, названную MF-CUP. MF-CUP одновременно регистрирует динамические процессы с помощью трех различных моделей визуализации, включающих CUP, визуализацию переходных процессов и пространственно-временную визуализацию. Благодаря совместному получению динамических процессов с помощью различных моделей визуализации и алгоритму мультимодальной реконструкции изображений с помощью нейронной сети, MF-CUP обеспечивает более высокую точность в пространственной и временной областях по сравнению с традиционной CUP.
Результаты моделирования и экспериментов показывают, что MF-CUP может значительно повысить точность и качество полученных изображений. Метод MF-CUP может стать мощным инструментом для обнаружения и регистрации сверхбыстрых явлений с высокой детализацией.
Чтобы преодолеть этот недостаток CUP, используется мультимодальная сверхбыстрая съемка на основе сжатия данных для достижения высокой точности сверхбыстрой визуализации, названную MF-CUP. MF-CUP одновременно регистрирует динамические процессы с помощью трех различных моделей визуализации, включающих CUP, визуализацию переходных процессов и пространственно-временную визуализацию. Благодаря совместному получению динамических процессов с помощью различных моделей визуализации и алгоритму мультимодальной реконструкции изображений с помощью нейронной сети, MF-CUP обеспечивает более высокую точность в пространственной и временной областях по сравнению с традиционной CUP.
Результаты моделирования и экспериментов показывают, что MF-CUP может значительно повысить точность и качество полученных изображений. Метод MF-CUP может стать мощным инструментом для обнаружения и регистрации сверхбыстрых явлений с высокой детализацией.
Технология сжатой сверхбыстрой визуализации CUP
Покадровая сверхбыстрая оптическая визуализация (UOI) позволяет получать информацию о непрерывных пространственно-временных характеристиках переходных процессов, что стало незаменимым инструментом для наблюдения за необратимыми или неповторяющимися явлениями.
Разделяют два вида UOI:
1.UOI с использованием активного излучения
Метод позволяет обнаружить сверхбыструю динамику путем преобразования временной информации в другие параметры, такие как спектральная, пространственная, пространственно-частотная и поляризационная составляющие. Данный метод подразумевает модуляция света от источника, что приводит к созданию сложной системы формирования изображения. Поэтому метод с использованием активного излучения применяется для наблюдения собственного излучения.
2.UOI с использованием пассивного излучения
Метод позволяет напрямую регистрировать динамические явления с помощью систем визуализации со сверхбыстрым временным разрешением и чаще всего использует технологию CUP, которая применяется во многих областях, например, измерение времени жизни флуоресценции, регистрации динамики изменения сверхбыстрых наночастиц и лазеров и т.д.
Разделяют два вида UOI:
1.UOI с использованием активного излучения
Метод позволяет обнаружить сверхбыструю динамику путем преобразования временной информации в другие параметры, такие как спектральная, пространственная, пространственно-частотная и поляризационная составляющие. Данный метод подразумевает модуляция света от источника, что приводит к созданию сложной системы формирования изображения. Поэтому метод с использованием активного излучения применяется для наблюдения собственного излучения.
2.UOI с использованием пассивного излучения
Метод позволяет напрямую регистрировать динамические явления с помощью систем визуализации со сверхбыстрым временным разрешением и чаще всего использует технологию CUP, которая применяется во многих областях, например, измерение времени жизни флуоресценции, регистрации динамики изменения сверхбыстрых наночастиц и лазеров и т.д.
Рисунок 1 – Схема MF-CUP (необученные нейронные сети с использованием мультимодального взаимодействия). а) Модель визуализации MF-CUP; b) Блок-схема процесса формирования изображения MF-UNN для MF-CUP
Рисунок 1 – Схема MF-CUP (необученные нейронные сети с использованием мультимодального взаимодействия). а) Модель визуализации MF-CUP; b) Блок-схема процесса формирования изображения MF-UNN для MF-CUP
CUP объединяет в себе понятия сжатого сканирования и потоковой визуализации. В CUP трехмерный (3D) пространственно-временной динамический процесс пространственно кодируется, подвергается временному сдвигу и пространственно-временному интегрированию в двумерное (2D) сжатое изображение, а затем восстанавливается с помощью алгоритма.
Несмотря на преимущества CUP оставалась проблема качества полученного изображения, которое уступало другим методам сверхскоростной визуализации. Для решения этой проблемы были разработаны различные методы, которые сводятся к двум аспектам:
1.Модернизация система оборудования
2.Оптимизация алгоритма восстановления
Для решения проблемы используется технология комплементарного кодирования для двукратного увеличения объема собираемой информации в CUP на основе характеристик двунаправленного цифрового микрозеркального устройства. Аналогичным образом, для дальнейшего увеличения общей частоты дискретизации в CUP была использована многоканальная выборка. Также используется оптимальный метод кодирования за счет уменьшения корреляции между пространственным кодом и динамическим процессом, что позволяет повысить эффективность выборки.
Кроме того, внешняя камера, регистрирующая пространственно-временное интегрированное изображение, создает дополнительные пространственные ограничения и ограничения по интенсивности для оптимизации изображения в CUP. Помимо описанных методов улучшения изображения CUP, использовались и другие, однако наиболее эффективным и комплексным является MF-CUP - метод мультимодального взаимодействия, основанный на сжатой сверхбыстрой визуализации.
Несмотря на преимущества CUP оставалась проблема качества полученного изображения, которое уступало другим методам сверхскоростной визуализации. Для решения этой проблемы были разработаны различные методы, которые сводятся к двум аспектам:
1.Модернизация система оборудования
2.Оптимизация алгоритма восстановления
Для решения проблемы используется технология комплементарного кодирования для двукратного увеличения объема собираемой информации в CUP на основе характеристик двунаправленного цифрового микрозеркального устройства. Аналогичным образом, для дальнейшего увеличения общей частоты дискретизации в CUP была использована многоканальная выборка. Также используется оптимальный метод кодирования за счет уменьшения корреляции между пространственным кодом и динамическим процессом, что позволяет повысить эффективность выборки.
Кроме того, внешняя камера, регистрирующая пространственно-временное интегрированное изображение, создает дополнительные пространственные ограничения и ограничения по интенсивности для оптимизации изображения в CUP. Помимо описанных методов улучшения изображения CUP, использовались и другие, однако наиболее эффективным и комплексным является MF-CUP - метод мультимодального взаимодействия, основанный на сжатой сверхбыстрой визуализации.
Метод мультимодального взаимодействия MF-CUP
Метод мультимодального взаимодействия (MF-CUP) основан на сжатой сверхбыстрой визуализации с использованием модернизированной системы оборудования и оптимизированных алгоритмов восстановления. MF-CUP регистрирует процесс с помощью трех методов: CUP, визуализация переходных процессов и пространственно-временная визуализация.
Необученная нейронная сеть используется в процессе создания трехмерных пространственно-временных данных, а модель визуализации MF-CUP задает параметры для корректировки работы нейронной сети. Стоит отметить, что снимки переходных процессов обеспечивают пространственное распределение в нескольких временных точках, что упрощает пространственно-временное распределения при оптимизации изображения. Благодаря объединению информации о переходных временных точках и пространственно-интенсивных ограничениях, MF-CUP обеспечивает лучшее качество изображения.
Необученная нейронная сеть используется в процессе создания трехмерных пространственно-временных данных, а модель визуализации MF-CUP задает параметры для корректировки работы нейронной сети. Стоит отметить, что снимки переходных процессов обеспечивают пространственное распределение в нескольких временных точках, что упрощает пространственно-временное распределения при оптимизации изображения. Благодаря объединению информации о переходных временных точках и пространственно-интенсивных ограничениях, MF-CUP обеспечивает лучшее качество изображения.
Рисунок 2 – Архитектура нейронной сети в MF-UNN. а) Структура нейронной сети; b) Детализированная структура блоков нейронной сети
Рисунок 2 – Архитектура нейронной сети в MF-UNN. а) Структура нейронной сети; b) Детализированная структура блоков нейронной сети
Преимущество MF-CUP подтверждается как результатами моделирования, так и экспериментальными результатами. Увеличение среднего пикового соотношения сигнал/шум (PSNR) на 3,79 дБ для MF-CUP получено при моделировании семи динамических процессов. Улучшенная пространственно-временная точность MF-CUP по сравнению с традиционным CUP подтверждена экспериментальными наблюдениями. Являясь высокоточным методом UOI, MF-CUP представляет собой мощный инструмент для визуализации сверхбыстрых динамических процессов, который способен оптимизировать исследование сверхбыстрых явлений.
Экспериментальная установка
Экспериментальная схема MF-CUP показана на рисунке 3.
Рисунок 3 – Экспериментальная схема
Рисунок 3 – Экспериментальная схема
Излучение динамического процесса собирается с помощью объектива (OL) и разделяется на две составляющие с помощью светоделителя (BS1). Первая компонента излучения проходит через линзу (L1) и попадает на внешнюю камеру (EC) (Andor, Zyla 5.5), в результате чего формируется объемное пространственно-временное изображение, содержащее информацию о пространственном распределении интенсивности всего динамического процесса.
Вторая компонента делится на две составляющие с помощью светоделителя (BS2). Проходя через линзу (L2), первая составляющая второй компоненты излучения направляется к системе формирования изображений переходных процессов (TIS), в результате чего образуется серия изображений переходных процессов высокого качества с коротким временем эксозиции, содержащих дискретные пространственно-временные данные. Вторая составляющая второй компоненты излучения проходит через линзу (L3) и попадает на хромированную стеклянную маску с бинарным шаблоном для осуществления пространственного кодирования, после чего излучение проходит через линзы (L4, L5) и попадает на камеру (SC) (Hamamatsu, C7700). Все камеры синхронизируются с помощью цифрового генератора задержки (CIS Systems, STC810) для обеспечения одновременной записи динамического процесса. Высокоскоростная камера или пара IsCMOS-камер с временной задержкой используются в качестве средств формирования изображений переходных процессов для наблюдения динамики в различных временных масштабах.
Вторая компонента делится на две составляющие с помощью светоделителя (BS2). Проходя через линзу (L2), первая составляющая второй компоненты излучения направляется к системе формирования изображений переходных процессов (TIS), в результате чего образуется серия изображений переходных процессов высокого качества с коротким временем эксозиции, содержащих дискретные пространственно-временные данные. Вторая составляющая второй компоненты излучения проходит через линзу (L3) и попадает на хромированную стеклянную маску с бинарным шаблоном для осуществления пространственного кодирования, после чего излучение проходит через линзы (L4, L5) и попадает на камеру (SC) (Hamamatsu, C7700). Все камеры синхронизируются с помощью цифрового генератора задержки (CIS Systems, STC810) для обеспечения одновременной записи динамического процесса. Высокоскоростная камера или пара IsCMOS-камер с временной задержкой используются в качестве средств формирования изображений переходных процессов для наблюдения динамики в различных временных масштабах.
Результаты эксперимента:
В ходе проведения эксперимента осуществлялось теоретическое моделирование. Были выбраны высокоскоростные видеоролики из общедоступной базы данных, из которых было извлечено и обработано по 16 кадров. После пространственного кодирования, временного сдвига и объединения изображения были сжаты. Алгоритм MF-UNN (необученные нейронные сети с использованием мультимодального взаимодействия) сравнивался с уже существующими методами восстановления изображений, такими как GAP-TV и TV-BM3D.
Рисунок 4 – Изображения, восстановленные с помощью различных алгоритмов. а) Результаты восстановления изображения с помощью алгоритмов GAP-TV, TV-BM3D и MF-UNN; b-c) Зависимость среднего значения PSNR (пиковое соотношение сигнал/шум) и SSIM (индекс структурного сходства) восстановленных изображений от количества кадров
Рисунок 4 – Изображения, восстановленные с помощью различных алгоритмов. а) Результаты восстановления изображения с помощью алгоритмов GAP-TV, TV-BM3D и MF-UNN; b-c) Зависимость среднего значения PSNR (пиковое соотношение сигнал/шум) и SSIM (индекс структурного сходства) восстановленных изображений от количества кадров
Таблица 1 – Полученные данные значений PSNR (пиковое соотношение сигнал/шум) и SSIM (индекс структурного сходства) для алгоритмов восстановления GAP-TV, TV-BM3D, MF-UNN.
Основываясь на полученных результатах, можно с уверенностью сказать, что метод MF-UNN, благодаря использованию мультимодального взаимодействия, превосходит другие методы восстановления изображения.
Эксперимент по наблюдению вращения оптомеханического модулятора с помощью MF-CUP
Для дополнительной демонстрации эффективности MF-CUP проводится экспериментальная проверка в разных временных масштабах. На рисунке 5 представлена схема для микросекундного временного масштаба.
Рисунок 5 – Эксперимент по наблюдению вращения оптомеханического модулятора с помощью MF-CUP. a) Экспериментальная установка для наблюдения вращения оптомеханического модулятора; b) Восстановленные изображения в моменты времени 0, 8, 16, 24, 32, и 40 мкс с помощью FFDNET, DRUNET, FASTDVDNET, UNN и MF-UNN.; с) Распределение интенсивности вдоль зеленых линий (рисунок 5 (b)) при 16 мкс
Рисунок 5 – Эксперимент по наблюдению вращения оптомеханического модулятора с помощью MF-CUP. a) Экспериментальная установка для наблюдения вращения оптомеханического модулятора; b) Восстановленные изображения в моменты времени 0, 8, 16, 24, 32, и 40 мкс с помощью FFDNET, DRUNET, FASTDVDNET, UNN и MF-UNN.; с) Распределение интенсивности вдоль зеленых линий (рисунок 5 (b)) при 16 мкс
В качестве источника излучения используется лазер с модуляцией добротности (MSL-FN-532-AOM) и длительностью импульса 50 мкс. Лазерное излучение проходит через оптомеханический модулятор (Thorlabs, MC2000B) с диском (100 отверстий) и частотой прерывания 10 кГц. Процесс вращения лопастей диска измеряется с помощью метода MF-CUP, где для визуализации переходных процессов используется высокоскоростная камера (Photron, NOVA S6).
Для анализа были выбраны 6 кадров, сделанных с интервалом 8 мкс, которые показаны на рисунке 5(b). Изображения, полученные с помощью FFDNET, DRUNET, FASTDVDNET, имеют размытие на краях лезвий, а изображения, полученные с помощью UNN, имеют сильные структурные искажения. Изображения MF-UNN имеют высокую точность структуры и четкие края лезвий.
Распределение интенсивности вдоль зеленой линии на момент времени 16 мкс (рисунок 5 (с)) сопоставляется с эталонным статичным значением. Результат, полученный с помощью MF-UNN ближе всего к эталонному, среди представленных алгоритмов, что демонстрирует надежность и превосходство метода.
Для анализа были выбраны 6 кадров, сделанных с интервалом 8 мкс, которые показаны на рисунке 5(b). Изображения, полученные с помощью FFDNET, DRUNET, FASTDVDNET, имеют размытие на краях лезвий, а изображения, полученные с помощью UNN, имеют сильные структурные искажения. Изображения MF-UNN имеют высокую точность структуры и четкие края лезвий.
Распределение интенсивности вдоль зеленой линии на момент времени 16 мкс (рисунок 5 (с)) сопоставляется с эталонным статичным значением. Результат, полученный с помощью MF-UNN ближе всего к эталонному, среди представленных алгоритмов, что демонстрирует надежность и превосходство метода.
Заключение
Высокоточная сверхбыстрая съемка с использованием метода мультимодального взаимодействия (MF-CUP) обеспечивает высокоточную сверхбыструю визуализацию посредством мультимодального метода и оптимизации с помощью объединения трех методов: CUP, визуализация переходных процессов и пространственно-временное визуализации.