Выпуск 23 (4), 2024: Информатика и автоматизация

17 июля 2024 года исполнилось 90 лет Юсупову Рафаэлю Мидхатовичу, доктору технических наук, профессору, члену-корреспонденту РАН, заслуженному деятелю науки и техники РСФСР, научному руководителю Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН).

Рассматривается задача оценивания состояния динамического объекта по наблюдаемым изображениям, сформированным оптической системой. Цель исследования состоит в реализации нового подхода, обеспечивающего повышение точности автономного слежения за динамическим объектом по последовательности изображений. Используется векторная модель изображения объекта в виде ограниченного количества вершин (базовых точек). Предполагается, что в процессе регистрации объект удерживается в центральной области каждого кадра, поэтому параметры движения могут описываться в виде проекций на оси системы координат, связанной с оптической осью камеры. Новизна подхода состоит в том, что наблюдаемые параметры (расстояние вдоль оптической оси и угловое положение) объекта вычисляются по координатам заданных точек на изображениях объекта. Для оценки состояний объекта строится фильтр Калмана-Бьюси в предположении, что движение динамического объекта описывается совокупностью уравнений поступательного движения центра масс вдоль оптической оси и изменений углового положения относительно плоскости изображения. Приведен пример оценивания углового положения объекта, иллюстрирующий работоспособность предложенного метода.

Развитие цифровой трансформации требует широкого использования новых технологий в документах по стандартизации. Одной из задач является создание стандартов с машинопонимаемым содержанием, которые позволят использовать цифровые документы на различных этапах разработки и производства без необходимости участия человека-оператора. Целью данной работы является описание подхода для создания и перевода в машинопонимаемое представление нормативных документов отрасли для дальнейшего их использования в программных сервисах и системах. Содержимое SMART-стандарта бывает трех видов: машиночитаемое, машиноинтерпретируемое и машинопонимаемое. Для формализации данных и знаний при решении различных задач активно используются графы знаний. Предложен новый двухуровневый подход для создания и перевода в машинопонимаемое представление нормативных документов как графов знаний. Подход определяет два вида интерпретации такого документа (человекочитаемость и машинопонимаемость) через два связанных формата: граф, каждый семантический узел которого представляет текст на естественном языке, и сеть понятий и строгих связей. Каждому узлу «человекочитаемого» графа соответствует (в общем случае) поддерево машинопонимаемого графа знаний. В качестве основы для обеспечения преобразования одной формы представления SMART-стандарта в другую форму служат LLM модели, дополняемые специализированным адаптером, полученным в результате дообучения с помощью подхода Parameter-Efficient Fine-Tuning. Установлены требования к набору проблемно- и предметно-ориентированных инструментальных средств формирования графов знаний. Показана концептуальная архитектура системы поддержки решения комплекса задач на основе SMART-документов в виде графов, установлены принципы реализации программных компонентов, работающих со знаниями, для интеллектуальных программных сервисов.

В секвенаторе ДНК «Нанофор СПС», разработанном в Институте аналитического приборостроения РАН, реализован метод массового параллельного секвенирования для расшифровки последовательности нуклеиновых кислот. Этот метод позволяет определять последовательность нуклеотидов в ДНК или РНК, содержащих от нескольких сотен до сотен миллионов звеньев мономеров. Таким образом, имеется возможность получения подробной информации о геноме различных биологических объектов, в том числе человека, животных и растений. Важнейшей частью этого прибора является программное обеспечение, без которого невозможно решение задач по расшифровке генома. Выходными данными оптической детекции в секвенаторе являются набор изображений по четырем каналам, соответствующим типам нуклеотидов: A, C, G, T. С помощью специального программного обеспечения определяется положение молекулярных кластеров и их интенсивностные характеристики вместе с параметрами окружающего фона. В ходе создания программного обеспечения прибора были разработаны алгоритмы и программы обработки сигналов флуоресценции, рассмотренные в работе. Также, для отладки и тестирования рабочих программ созданы модели построения изображений, аналогичных реальным данным, получаемым в ходе работы секвенатора. Данные модели позволили получить значительный массив информации без запуска дорогостоящих экспериментов. За последние годы достигнуты значительные успехи в области машинного обучения, в том числе и в области биоинформатики, что привело к реализации наиболее распространенных моделей и возможности их применения для практических задач. Однако, если на этапе вторичного анализа биоинформационных данных эти методы широко зарекомендовали себя, то их потенциал для первичного анализа остается недостаточно раскрытым. В данной работе особое внимание уделяется разработке и внедрению методов машинного обучения для первичного анализа оптических изображений сигналов флуоресценции в реакционных ячейках. Описаны методы кластеризации и их апробация на моделях и на изображениях, полученных на приборе. Цель этой статьи – продемонстрировать возможности алгоритмов первичного анализа сигналов флуоресценции, получающихся в процессе секвенирования на приборе «Нанофор СПС». В работе описаны основные задачи анализа сигналов флуоресценции и сравниваются традиционные методы их решения с использованием технологий машинного обучения.

Проблема обучения глубоких нейронных сетей на малых выборках особенно актуальна для медицинских задач. В работе рассматривается влияние попиксельной разметки значимых объектов на изображении, в дополнении к истинной метке класса, на качество решения задачи классификации. Для достижения лучших результатов классификации на малых выборках предлагается мультизадачная архитектура Unet-boosted classifier (UBC), обучаемая одновременно для решения задач классификации и семантической сегментации. В качестве исследуемого набора данных используются МРТ-снимки пациентов c доброкачественной глиомой и глиобластомой, взятые из открытого набора данных BraTS 2019. В качестве входа рассматривается один горизонтальный срез МРТ-изображения, содержащий глиому (всего 380 кадров в обучающей выборке), в качестве выхода – вероятность глиобластомы. В качестве базового решения используется ResNet34, обученный без аугментаций с функцией потерь на основе взаимной энтропии (CrossEntropyLoss). В качестве альтернативного решения используется UBC-ResNet34 – тот же ResNet34 усиленный декодером, построенным по принципу U-Net, и предсказывающим положение глиомы. В качестве дополнительной функции потерь используется сглаженный коэффициент Соренсена-Дайса (DiceLoss). Результаты на тестовой выборке: доля правильных ответов (accuracy) для базовой модели составила 0.71, для альтернативной – 0.81, коэффициент Дайса (Dice score) при этом составил 0.77. Таким образом, глубокую модель можно качественно обучить даже на небольшом наборе данных, используя предложенную архитектуру и добавив в разметку информацию о пораженных тканях в виде семантической маски. Предлагаемый подход потенциально может быть полезен и в любых других задачах классификации изображений с ограниченным набором данных.

В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, размытостью фрагментов изображения, наличием шумов и т.д. Одним из способов преодоления таких ограничений является применение современных технологий для восстановления снимков сверхвысокого разрешения на основе методов глубокого обучения. Особенностью аэрофотоснимков является представление текстуры и структурных элементов более высокого разрешения, чем на спутниковых снимках, что объективно способствует лучшим результатам восстановления. В статье приводится классификация методов сверхвысокого разрешения с учетом основных архитектур глубоких нейронных сетей, а именно сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. В статье предлагается метод восстановления аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей SemESRGAN за счет использования на этапе обучения дополнительной глубокой сети для семантической сегментации. При этом минимизируется общая функция потерь, включающая состязательные потери, потери на уровне пикселов и потери воспирятия (сходства признаков). Для экспериментов использовались шесть наборов аннотированных аэрофотоснимков и спутниковых снимков CLCD, DOTA, LEVIR-CD, UAVid, AAD и AID. Было выполнено сравнение результатов восстановления изображений предложенным методом SemESRGAN с базовыми архитектурами сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. Получены сравнительные результаты восстановления изображений с применением объективных метрик PSNR и SSIM, что позволило оценить качество восстановления с использованием различных моделей глубоких сетей.

В последние годы существенно вырос интерес к искусственному интеллекту на основе нейросетевых подходов. Получен ряд значимых научных результатов, которые нашли широкое применение на практике. Большое внимание привлекли генеративно – состязательные нейросетевые модели, нейросетевые трансформеры и другие решения. Достигнут очевидный прогресс в нейросетевом распознавании и генерации образов, обработке текстов и речи, прогнозировании событий, управлении трудно формализуемыми процессами. Однако пока не удалось наделить нейросетевые машины мышлением. Все получаемые с использованием нейросетевых машин результаты можно отнести к решениям на основе различных видов связывания сигналов без полноценного управления процессами их обработки. Типичными представителями таких машин выступают ChatGPT. Возможности по интеллектуальному оперированию различными сигналами в известных нейросетевых машинах очень ограничены. Среди основных причин таких ограничений следует выделить несовершенство используемых базовых принципов нейросетевой обработки информации. Свойства нейронов длительное время рассматривались упрощенно. Обуславливалось это, как пробелами в области биологических исследованиях, так и отсутствием возможностей построения больших нейронных сетей на сложных моделях нейронов. В последние годы ситуация изменилась. Появились новые способы реализации больших нейронных сетей. Также установлено, что даже отдельные нейроны могут обладать обширной внутренней памятью и реализовывать различные функции. Однако до сих пор многие механизмы функционирования нейронов и их взаимодействия остаются не раскрытыми. Мало исследованы вопросы управляемого ассоциативного обращения к внутренней памяти нейронов. Эти недостатки существенно сдерживает создание мыслящих нейросетевых машин. Объектом исследования в статье выступает процесс интеллектуальной нейросетевой обработки информации. Предмет исследования: принципы, модели и методы такой обработки. Преследуется цель расширения функциональных возможностей нейросетевых машин по решению трудно формализуемых творческих задач за счет разработки новых принципов, моделей и методов интеллектуальной обработки информации. В интересах достижения этой цели уточняются принципы функционирования интеллектуальных нейросетевых машин, предлагаются новые модели и методы нейросетевой обработки информации. Раскрывается новая модель импульсного нейрона, как базового элемента таких машин. Искусственный мозг нейросетевых машин рекомендуется формировать в виде многослойных нейронных сетей, наделенных логическими структурами, с различными по параметрам нейронами. Предлагается новый метод многоуровневой интеллектуальной обработки информации в нейросетевых машинах на основе умных импульсных нейронов. Поясняются механизмы мышления нейросетевых машин, лежащие в их основе функции интеллектуального оперирования образами и понятиями в нейросетевой памяти. Приводятся результаты моделирования, подтверждающие справедливость предложенных решений.

Извлечение терминов является важным этапом автоматизированного построения систем знаний на основе естественно-языковых текстов, поскольку обеспечивает формирование базовой системы понятий, используемой затем в прикладных задачах интеллектуальной обработки информации. В статье рассмотрена проблема автоматизированного извлечения терминов из естественно-языковых текстов с целью их дальнейшего использования при построении формализованных систем знаний (онтологий, тезаурусов, графов знаний) в рамках задачи мониторинга тематических обсуждений в социальных медиа. Данная задача характеризуется необходимостью включения в формируемую систему знаний как понятий из нескольких различных предметных областей, так и некоторых общеупотребительных понятий, используемых аудиторией социальных медиа в рамках тематических обсуждений. Кроме того, формируемая система знаний является динамичной как с точки зрения состава охватываемых ею предметных областей, так и состава релевантных понятий, подлежащих включению в систему. Применение существующих классических методов извлечения терминов в данном случае затруднительно, поскольку они ориентированы на извлечение терминов в рамках одной предметной области. Исходя из этого, для решения рассматриваемой задачи предложен комбинированный метод, совмещающий в себе подходы на основе внешних источников знаний, инструментов NER и правил. Результаты проведенных экспериментов демонстрируют эффективность предложенной комбинации подходов к извлечению терминов для задачи мониторинга и анализа тематических обсуждений в социальных медиа. Разработанный метод значительно превосходит по точности существующие инструменты извлечения терминов. В качестве дальнейшего направления исследования рассмотрена возможность развития метода для решения задачи выделения вложенных терминов или сущностей.

В статье описывается общая концепция построения коллаборативных систем поддержки принятия решений, в которых коллективы, осуществляющие поддержку принятия решений, а) формируются гибко в соответствии с задачей и б) состоят как из людей-экспертов, так и из интеллектуальных агентов, реализующих те или иные методы искусственного интеллекта. Проводится анализ ключевых проблем создания коллаборативных систем поддержки принятия решений, основанных на взаимодействии человека и искусственного интеллекта. В частности, выделены следующие проблемы: обеспечение интероперабельности (взаимопонимания) между разнородными участниками коллектива, согласование различающихся позиций участников, обеспечение доверия между участниками, обеспечение эффективности планирования совместных действий и соблюдение баланса между предопределенными потоками работ и самоорганизацией. Сформированы принципы построения подобных систем, предлагающие решения выделенных проблем. В частности, предлагается онтолого-ориентированное представление информации о проблеме (в частности, применение мультиаспектных онтологий), набор методов для мониторинга деятельности команды, схема репутации, элементы объяснимого искусственного интеллекта, а также применение механизма ограниченной самоорганизации. Предложенная концепция положена в основу программной платформы для создания коллаборативных систем поддержки принятия решений, основные архитектурные положения которой также представлены в статье. Применение платформы иллюстрируется на примере из области рационального управления дорожной инфраструктурой и создания коллаборативной системы поддержки принятия решений для разработки мероприятий по снижению аварийности.

В статье рассматривается проблема распознавания сентимента и эмоций пользователей в русскоязычных текстовых транскрипциях речи с использованием словарных методов и машинного перевода. Количество имеющихся информационных ресурсов для анализа сентимента текстовых сообщений на русском языке очень ограничено, что существенно затрудняет применение базовых методов анализа сентимента, а именно, предобработки текстов, векторизации с помощью тональных словарей, традиционных классификаторов. Для решения этой проблемы в статье вводится новый метод на основе автоматического машинного перевода русскоязычных текстов на английский язык. Частичный перевод предполагает перевод отдельных лексем, не включенных в русскоязычные тональные словари, тогда как полный перевод подразумевает перевод всего текста целиком. Переведенный текст анализируется с использованием различных англоязычных тональных словарей. Экспериментальные исследования для решения задачи распознавания сентимента и эмоций были проведены на текстовых транскрипциях многомодального русскоязычного корпуса RAMAS, извлеченных из аудиоданных экспертным путем и автоматически с использованием системы распознавания речи. В результате применения методов машинного перевода достигается значение взвешенной F-меры распознавания семи классов эмоций 31,12 % и 23,74 %, и трех классов сентимента 75,37 % и 71,60 % для экспертных и автоматических транскрипций русскоязычной речи корпуса RAMAS, соответственно. Также в ходе экспериментов было выявлено, что использование статистических векторов в качестве метода преобразования текстовых данных позволяет достичь значение показателя взвешенной F-меры на 1-5 % выше по сравнению с использованием конкатенированного (статистического и тонального) вектора. Таким образом, эксперименты показывают, что объединение всех англоязычных тональных словарей позволяет повысить точность распознавания сентимента и эмоций в текстовых данных. В статье также исследуется корреляция между длиной вектора текстовых данных и его репрезентативностью. По результатам экспериментов можно сделать вывод, что использование лемматизации для нормализации слов текстовых транскрипций речи позволяет достичь большей точности распознавания сентимента по сравнению со стеммингом. Использование предложенных методов с полным и частичным машинным переводом позволяет повысить точность распознавания сентимента и эмоций на 0,65–9,76 % по показателю взвешенной F-меры по сравнению с базовым методом распознавания сентимента и эмоций.

В статье представлен разработанный метод и прототип программы для определения наличия птиц в видеопотоке данных в режиме реального времени. Этот метод основан на использовании каскадного классификатора, который был применен для решения задачи обнаружения и идентификации птиц в биоакустической установке отпугивания птиц в аэропорту Томска. В рамках исследования был использован каскадный классификатор Виолы-Джонса, который является одной из реализаций алгоритма каскад Хаара. Этот алгоритм позволяет с высокой точностью и скоростью обнаруживать объекты на изображениях и видео. В данном случае классификатор был обучен на наборе данных, содержащем изображения птиц, что позволило достичь высокой точности обнаружения и идентификации птиц на видео. Также приведены результаты оценки возможностей созданного классификатора и продемонстрирована его высокая результативность. В ходе исследования были использованы различные методы машинного обучения и анализа видеоданных, что позволило получить точные и надежные результаты. В целом, данная работа представляет собой инновационный подход к решению актуальной задачи защиты аэропортов от птиц. Применение разработанного метода позволило повысить эффективность работы биоакустической установки отпугивания птиц и обеспечить безопасность полетов в аэропорту Томска, снизив вероятность столкновения самолетов с птицами. Новизна работы заключается в применении метода Виолы-Джонса к задаче обнаружения и идентификации птиц с оценкой его результативности. Таким образом, представленная в статье работа является важным вкладом в развитие методов обнаружения и идентификации объектов на видео и может быть использована в других областях, где требуется автоматическое обнаружение и классификация объектов в видеопотоке данных.

Использование радиолокационных спутниковых данных в мониторинге сельскохозяйственных культур является перспективным дополнением методов и технологий, базирующихся на анализе мультиспектральных изображений. К основным достоинствам радиолокационных вегетационных индексов относится их чувствительность к поляриметрическим свойствам принимаемого сигнала, а также независимость от облачности. Это особенно важно для территории юга российского Дальнего Востока, муссонный климат которого обеспечивает влажную и облачную погоду в период набора сельскохозяйственными культурами максимальной биомассы. Для оценки возможностей радиолокационных спутниковых данных на примере пахотных земель Хабаровского края и Амурской области были проанализированы 64 снимка космического аппарата Sentinel-1 за период наблюдений с мая по октябрь 2021 года. Для каждого снимка были рассчитаны значения индексов DpRVI, RVI, VH/VV и построены временные ряды для всего периода наблюдений по отдельным полям (всего 342 поля). По мультиспектральным снимкам Sentinel-2 с использованием маски облачности были построены временные ряды NDVI. Были рассчитаны характеристики экстремумов временных рядов для разных типов пахотных земель: сои, овса, и залежи. Показано, что для каждой сельхозкультуры кривые сезонного хода DpRVI, RVI, VH/VV имели характерный вид. Установлено, что индекс DpRVI продемонстрировал наиболее высокую устойчивость – коэффициенты вариации сезонного хода DpRVI были существенно ниже показателей для RVI и VH/VV. Также было выявлено, что сходство между сезонным ходом индексов сохранялось для удаленных друг от друга регионов – Хабаровского края и Амурской области. Были рассчитаны основные характеристики сезонного хода временных рядов радиолокационных индексов в сравнении с NDVI – величина максимума, дата наступления максимума и вариабельность этих показателей. Установлено, во-первых, что значения этих показателей в разных регионах схожи между собой; во-вторых, вариабельность максимума и дня наступления максимума для DpRVI ниже, чем для RVI и VH/VV; в-третьих, вариабельность максимума и дня наступления максимума для DpRVI сопоставима с NDVI. Таким образом, можно сделать вывод о том, что временные ряды радиолокационных индексов DpRVI, RVI, VH/VV для основных типов сельскохозяйственных земель Дальнего Востока имеют отличительные особенности и могут быть использованы в задачах классификации, моделирования урожайности и контроля севооборота.

Одним из направлений разработки практичных постквантовых криптографических алгоритмов с открытым ключом является использование конечных алгебр в качестве их алгебраического носителя. Рассматриваются два подхода в этом направлении: 1) построение алгоритмов электронной цифровой подписи со скрытой группой на некоммутативных ассоциативных алгебр и 2) построение алгоритмов многомерной криптографии с использованием операции экспоненцирования в векторном конечном поле (коммутативной алгебре, являющейся конечным полем) для задания нелинейного отображения с секретной лазейкой. Первый подход включает разработку криптосхем двух типов: основанных на вычислительной трудности а) скрытой задачи дискретного логарифмирования и б) решения большой системы квадратных уравнений. Для второго подхода возникают проблемы обеспечения полной рандомизации цифровой подписи и задания некоммутативных ассоциативных алгебр большой размерности. Обсуждаются способы решения данных проблем. Показана важность исследования строения конечных некоммутативных алгебр с точки зрения декомпозиции на множество коммутативных подалгебр. Другое направление использования конечных алгебр для разработки криптографических алгоритмов с открытым ключом связано с существенным (в 10 и более раз) уменьшением размера открытого ключа в алгоритмах многомерной криптографии. В нем возникает проблема разработки формализованных параметризуемых унифицированных способов задания векторных конечных полей больших размерностей (от 5 до 130) с достаточно большим числом потенциально реализуемых типов и модификаций (до 2 500 и более), задаваемых различными наборами структурных констант, с помощью которых определяется операция умножения векторов. Предложены варианты указанных способов и топологий нелинейных отображений на векторных конечных полях различных размерностей. Показано, что использование отображений, задающих операцию экспоненцирования в векторных конечных полях, потенциально обеспечивает устранение основного недостатка известных алгоритмов многомерной криптографии, связанного с большим размером открытого ключа.