Система и способ стабилизации последовательностей цифровых изображений
Текст
МИНИСТЕРСТВО ЮСТИЦИИ РЕСПУБЛИКИ КАЗАХСТАН ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ПАТЕНТУ либо внезапных скачкообразных смещений, из входной последовательности изображений,получаемой с помощью системы формирования изображений, линия визирования которой является постоянной, но может быть нестабильной во времени, с помощью эффективного обновления опорных кадров, которые используются для стабилизации изображений. Способ(100) стабилизации последовательностей изображений в основном включает этапы получения кадра,вычисления проекций,вычисления вектора смещения путем отыскания диапазона смещения с использованием сумм абсолютных разностей ,и этап деформирования входного изображения. Он также включает этапы обновления опорного кадра определения среднего значения векторов смещения для заранее определенного количества кадров классифицирования среднего значения вектора смещения как небольшого, среднего или большого формирования множества возможных вариантов опорного кадра выбора нового опорного кадра из возможных вариантов в соответствии с классификацией среднего значения вектора смещения.(73) АСЕЛСАН ЭЛЕКТРОНИК САНАЙИ ВЕ ТИДЖАРЕТ АНОНИМ ШИРКЕТИ(74) Русакова Нина Васильевна Жукова Галина Алексеевна Ляджин Владимир Алексеевич Ляджин Алексей Владимирович(54) СИСТЕМА И СПОСОБ СТАБИЛИЗАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ(57) Настоящее изобретение имеет отношение к области обработки изображений и способам стабилизации изображений, используемым в системах получения и обработки изображений. Представлены способ и устройство для создания выходной последовательности изображений,которая является стабильной и не содержит каких 31102 Область, к которой относится изобретение Настоящее изобретение имеет отношение к области обработки изображений и способам стабилизации изображений, используемым в системах получения и обработки изображений. Предпосылки к созданию изобретения Известно, что существуют способы и модели для стабилизации видеокадров, захватываемых с постоянной частотой кадров. Стабилизацию осуществляют для уменьшения или устранения вибраций в последовательности изображений,вызываемых,например,дрожанием рук пользователя камеры. Это уменьшение дрожания или вибраций имеет решающее значение, поскольку такие вибрации нарушают впечатления от просмотра, снижают качество изображений и эффективность возможных модулей последующей обработки изображений. Способы стабилизации предусматривают средства вычисления трансформаций в двух видеокадрах, связанных с дрожанием, и компенсацию этого перемещения посредством деформирования соответствующим образом текущего кадра. Даже последовательности видеокадров, снятые камерами с постоянной линией визирования, могут содержать дрожание в силу различных факторов окружающей среды, таких как ветер, воздействующих на платформу или крепление камеры. В дополнение к захвату видео в реальном времени, способы стабилизации могут также применяться к предварительно записанным видеозаписям или последовательностям изображений. В способах, используемых в настоящее время,последовательности изображений или видеокадры захватывают, как правило, с помощью датчиков изображения, состоящих из двухмерных массивов пикселей. В зависимости от датчика, изображения могут быть цветными или полутоновыми. Выходное изображение инфракрасных (ИК) камер может рассматриваться как полутоновое. По существу,алгоритмы стабилизации сопоставляют каждый кадр, полученный от источника изображения, с опорным кадром. Они выполняют это, как правило,путем вычисления параметров предполагаемого преобразования между двумя кадрами. Это преобразование может быть исключительно преобразованием поступательного смещения с двумя параметрами. Альтернативно могут быть задействованы более сложные модели, такие как аффинные или перспективные преобразования соответственно с шестью и восемью параметрами. Вариант преобразования, используемый в способе стабилизации, должен выбираться в зависимости от варианта применения. Кроме сопоставления опорного и текущего кадров, также необходимо обновление опорного кадра, особенно если стабилизация будет применяться в системах,которые,как предполагается, работают без перерыва в течение длительного времени. Эта необходимость возникает,даже если камера имеет постоянную линию визирования. Эта необходимость связана с тем, что,когда система работает в течение длительного 2 времени, могут иметь место перманентные смещения линии визирования. Кроме того,поскольку почти все способы сопоставления действуют по принципу сходства цветов/полутонов между опорным и текущим кадрами, любые изменения освещения в окружающей среде (или изменение температуры в случае инфракрасных камер) будут ухудшать это сходство. Таким образом, необходимо регулярно обновлять опорный кадр, чтобы обеспечить отражение текущего состояния окружающей среды. В патентном документе США 2006274156,который является частью уровня техники, раскрыты способ стабилизации последовательности изображений и камера, отличающиеся тем, что последовательность входных цифровых изображений захватывается и копируется для обеспечения соответствующей последовательности архивных изображений и соответствующей последовательности отображаемых изображений. Упомянутый способ имеет сходство с настоящим изобретением в том, что он может выполнять стабилизацию с использованием сопоставления проекций пикселей. Однако настоящее изобретение отличается от упомянутого способа в аспекте оптимизации для камеры с постоянной линией визирования. В патентном документе Кореи 20100050906,который является частью уровня техники, раскрыты способ стабилизации последовательности изображений и способ обновления опорного кадра в соответствии с величиной вектора движения. Настоящее изобретение отличается от указанного способа в том, что касается способа обновления опорного кадра. Настоящее изобретение не только решает, следует ли обновить опорный кадр в соответствии с величиной вектора движения,но и определяет, как его обновлять. Сущность изобретения Целью настоящего изобретения является создание выходной последовательности изображений, которая является стабильной и не содержит каких-либо внезапных скачкообразных смещений,из входной последовательности изображений, получаемой с помощью системы формирования изображений, линия визирования которой является постоянной, но может быть нестабильной во времени. Другой целью настоящего изобретения является создание эффективного и оптимизированного способа сопоставления (выравнивания) текущих кадров с опорными кадрами во входной последовательности изображений, получаемой с помощью системы формирования изображений,линия визирования которой является постоянной, но может быть нестабильной во времени. Еще одной целью настоящего изобретения является создание эффективного и оптимизированного способа обновления опорных кадров, которые используются в процессе стабилизации входной последовательности изображений, получаемой с помощью системы формирования изображений, линия визирования которой является постоянной, но может быть нестабильной во времени. Подробное описание изобретения Система и способ, делающие возможным достижение целей настоящего изобретения,иллюстрируются прилагаемыми фигурами, где Фиг.1 схематическое изображение предпочтительного варианта осуществления системы Фиг.2 концептуальная иллюстрация вычисления вертикальной проекции, выполняемого для каждой строки пикселей двухмерного изображения Фиг.3 - концептуальная иллюстрация множества проекций, вычисляемых из текущего и опорного кадров Фиг.4 - концептуальная иллюстрация обрезки изображения Фиг.5 - блок-схема предпочтительного способа по настоящему изобретению. Компоненты,показанные на фигурах,обозначены индивидуальными позициями, которые обозначают следующее 1 - Система стабилизации последовательностей цифровых изображений 2 - Датчик изображения 3 - Устройство обработки изображений 4 - Запоминающее устройство- Новая проекция- Опорная проекция- Отбрасываемые значения- Полученное изображение В - Ограничивающий прямоугольник Способ (100) стабилизации последовательностей изображений в основном включает следующие этапы- получение (101) текущего кадра,- создание (102) проекций для текущего кадра,отбрасывая заранее определенное количество пикселей от начала и конца проекций,- вычисление (103) вектора поступательного смещения для текущего кадра относительно опорного кадра путем вычисления сумм абсолютных разностей (известны специалистам как, ) посредством наложения соответствующих проекций с заранее определенным шагом смещения, не допуская выхода проекций текущего кадра за конечные точки соответствующих проекций опорного кадра,- запись (104) вектора смещения для текущего кадра относительно опорного кадра,- деформирование (105) текущего кадра в соответствии с вычисленным вектором смещения и вывод деформированного изображения,увеличение(106) значения счетчика обработанных кадров на единицу,- не превышает ли значение счетчика обработанных кадров некоторого первого заранее определенного значения (107),вычисление(108) среднего вектора поступательного смещения в отношении кадров,обработанных после последнего обновления опорного кадра,- существует ли на настоящий момент лучший записанный возможный вариант опорного кадра(109),превышает ли среднее значение поступательного смещения некоторое первое пороговое значение смещения (110),превышает ли среднее значение поступательного смещения некоторое второе пороговое значение смещения (111),- точнее ли вектор смещения текущего кадра соответствует вычисленному среднему значению вектора смещения, чем вектор смещения лучшего на настоящий момент возможного варианта опорного кадра (112),- меньше ли величина вектора смещения текущего кадра, чем величина вектора смещения лучшего на настоящий момент возможного варианта опорного кадра, и точнее ли вектор смещения текущего кадра соответствует вычисленному среднему вектору смещения, чем вектор смещения лучшего на настоящий момент возможного варианта опорного кадра (113),- меньше ли величина вектора смещения текущего кадра, чем величина вектора смещения лучшего на настоящий момент возможного варианта опорного кадра (114),- запись (115) текущего кадра как лучшего на настоящий момент возможного варианта опорного кадра, вместе с его вектором смещения и проекциями,- равно ли значение счетчика обработанных кадров некоторому второму заранее определенному значению (116),- установление (117) лучшего на настоящий момент возможного варианта опорного кадра в качестве нового опорного кадра,- инициализация (118) значения счетчика обработанных кадров и удаление данных, имеющих отношение к возможному варианту опорного кадра,- получение (119) нового кадра, установление его в качестве нового опорного кадра и инициализация значения счетчика обработанных кадров. В способе (100) существует основной цикл,который повторяют для каждого полученного или захваченного кадра. Сначала получают (101) данные, имеющие отношение к новому кадру, и затем вычисляют (102) проекции этого полученного кадра. В предпочтительном варианте реализации способа по настоящему изобретению проекции вычисляют путем суммирования значений интенсивности пикселей в горизонтальном и вертикальном направлениях на двухмерном изображении. Для двухмерного (М на ) изображения(Фиг.4) горизонтальную (РН) и вертикальнуюпроекции пикселей вычисляют по формулам Функция (,) отображает интенсивности пикселей по горизонтальной (х) и вертикальной (у) координатам. Р меняется в зависимости от индекса столбца, поскольку вычисляют сумму для каждого столбца. Параметр у имеет аналогичный смысл длят.е. вычисляют суммы интенсивностей для каждой строки пикселей (Фиг.2). Кроме того, проекции нормализуют путем вычитания их средней интенсивности. Нормализация делает процесс стабилизации более надежным, если между полученным и опорным изображениями существует разница в смещении или яркости. Соответствующие средние значения (и) вычисляют для двухмерного изображения, используя формулы где М иявляются количеством строк и столбцов соответственно. Нормализованные горизонтальная(Р) и вертикальнаяпроекции пикселей могут быть вычислены с помощью следующих уравнений При вычислении проекций отбрасывают заранее определенное количество пикселей от границ вновь захваченного кадра (например, горизонтальные проекции вычисляют не для столбцов от 1 до , а для столбцов от 5 до -4). Это эквивалентно отбрасыванию границ новых проекций (Р) изображения. Диапазон этих предпочтительно симметричных отбрасываемых значенийсоответствует максимальному значению смещения,которое обрабатывает система стабилизации. Это значение зависит от режима работы камеры, которая захватывает последовательность изображений. Затем множества нормализованных проекций используют для вычисления (103) вектора смещения для нового кадра относительно опорного кадра,используя суммы абсолютных разностеймежду проекциями текущего и опорного кадров. Вычисление параметров смещения осуществляют путем перемещения новой проекции (Р) по опорной проекциипосредством заранее определенного смещения на каждом этапе вычисления. Получают сумму абсолютных разностей для каждого положения новой проекции относительно опорной проекции, не допуская выхода проекций (Р) нового кадра за границы соответствующих проекцийопорного кадра. Смещение с минимальнойсоставляет величину смещения по этой оси (Фиг.3). Если количество отбрасываемых точек на концах новой проекции составляет,заранее определенный шаг смещения составляет один пиксель, и нижние индексыиобозначают опорную и текущую проекции соответственно, то для каждого возможного смещениямежду Значениес минимальнойпредставляет собой поступательное смещение между опорным и новым кадрами. Общее количество вычисленийзависит от значения , которое, в свою очередь, зависит от максимально возможного смещения для системы формирования изображений. В предпочтительном варианте реализации способа по настоящему изобретению вычислениявыполняют в субпиксельном масштабе путем интерполяции проекций для определения значений между дискретными точками данных. Субпиксельная обработка улучшает качество стабилизации,поскольку дрожание в последовательностях изображений, захватываемых камерами с постоянной линией визирования, как правило, небольшое по величине. Приведенные выше уравнения также применимы в случае субпиксельной обработки, только соответствующим образом изменяются параметры. В предпочтительном варианте реализации способа по настоящему изобретению применяют быстрые,наподобие поиска по методу золотого сечения,способы поиска, которые имеют вычислительную сложность ( ), в сравнении со сложностью О поиска методом полного перебора. В предпочтительном варианте реализации способа по настоящему изобретению используют иерархический поиск. Эмпирические исследования показали, что форма функцииподобна квадратичной форме, что дает возможность использования быстрых алгоритмов поиска для относительно быстрой сходимости к результату. Затем записывают (104) новый вектор смещения новых кадров относительно опорного кадра. Эти данные будут использованы для дальнейших расчетов. Используя вычисленный вектор смещения, входное изображение деформируют (105) и получают стабилизированное выходное изображение. После обработки каждого кадра увеличивают(106) число обработанных изображений,чтобы управлять последовательностью операций обработки. Эти этапы выполняются для каждого полученного или захваченного кадра, образуя основной цикл обработки. В предпочтительном варианте реализации способа по настоящему изобретению на этапе (101) для обрезки всех полученных изображенийиспользуют ограничивающий прямоугольник (В). Обрезка предотвращает любые искажения по краям, которые могут отрицательно влиять на качество стабилизации. Вычисление проекций для двухмерного изображения выполняют с помощью следующих уравнений 2 где 1 представляет собой количество не учитываемых пикселей от верхнего края изображения, 2 представляет собой количество не учитываемых пикселей от нижнего края изображения, 1 представляет собой количество не учитываемых пикселей от левого края изображения и 2 представляет собой количество не учитываемых пикселей от правого края изображения. После выполнения этапов (101), (102), (103),(104), (105) и (106) применяют проверку число обработанных кадров меньше первого заранее определенного значения или равно ему (107) для условного перехода цикла выполнения к этапу вычисления среднего значения вектора смещения. Усредненные статистические данные вектора смещения собирают на этапе (108) для кадров в пределах первого заранее заданного количества(этап определения отклонения). Усредненные данные вектора смещения используют на последующих этапах алгоритма. В предпочтительном варианте реализации способа по настоящему изобретению упомянутое среднее значение вектора смещения на этапе (108) рассчитывают не каждый раз, а только при достижении первого заранее определенного количества обработанных кадров. Если ответом на первоначальный вопрос (107) является нет, то это означает, что статистические данные вектора смещения были собраны, и может быть начат еще один цикл для определения нового опорного кадра. В этом втором цикле каждый кадр вплоть до второго заранее определенного количества кадров считается возможным опорным кадром, и их сравнивают между собой для определения лучшего возможного варианта опорного кадра для текущего случая. Этот второй цикл начинается с проверки существует ли лучший записанный на настоящий момент возможный вариант опорного кадра (109),чтобы убедиться, что первому лучшему возможному варианту присвоено начальное значение. Если возможного варианта еще нет (второй цикл выполняется впервые после завершения первого цикла), то на этапе (115) текущий кадр определяют как лучший возможный вариант. Начиная с последующего повторения цикла, на этапах (112),(113) и (114) вновь полученные кадры сравнивают с лучшим на настоящий момент возможным вариантом опорного кадра. Существует три основных категории (или подспособа) для определения порядка операций алгоритма выбора нового опорного кадра. Усредненные статистические данные вектора смещения, собранные на этапе (108), используют для оценки правильности последнего опорного кадра. Одну из трех упомянутых выше категорий выбирают на основе уровня правильности, который определяют посредством проверок превышает ли среднее значение поступательного смещения первое пороговое значение смещения (110) и превышает ли среднее значение поступательного смещения второе пороговое значение смещения (111),представленных в предпочтительном варианте реализации способа по настоящему изобретению. Если среднее значение поступательного смещения является большим относительно последнего опорного кадра (что означает, что ответом на проверку превышает ли среднее значение поступательного смещения первое пороговое значение смещения (110) является да), то применяют проверку точнее ли вектор смещения текущего кадра соответствует вычисленному среднему значению вектора смещения, чем вектор смещения лучшего на настоящий момент возможного варианта опорного кадра (112), чтобы итеративно определить возможный кадр, который наиболее точно соответствует новой линии визирования (то есть тот, у которого значение поступательного смещения наиболее точно соответствует среднему значению поступательного смещения, вычисленному для первого заранее определенного количества кадров). Этот случай означает, что линия визирования камеры значительно отклонилась от линии визирования предыдущего опорного кадра. Следовательно, для соответствия новой линии визирования следует выбрать новый опорный кадр. Если среднее значение поступательного смещения является меньшим относительно последнего опорного кадра (что означает, что ответом на проверку превышает ли среднее значение поступательного смещения второе пороговое значение смещения (111) является нет), то применяют проверку меньше ли величина вектора смещения текущего кадра, чем величина вектора смещения лучшего на настоящий момент возможного варианта опорного кадра(114), чтобы итеративно определить возможный кадр с наименьшим вектором смещения. Этот случай означает, что отклонение линии визирования камеры от линии визирования предыдущего опорного кадра является минимальным. Следовательно, новый опорный кадр следует выбрать наиболее точно соответствующим предыдущему опорному кадру,чтобы минимизировать визуальное дрожание, которое может возникнуть вследствие обновления опорного кадра. Если среднее значение поступательного смещения относительно последнего опорного кадра находится между первым и вторым пороговыми значениями смещения (что означает, что ответом на проверку (110) является нет и ответом на проверку (111) является да), то применяют проверку меньше ли величина вектора смещения текущего кадра, чем величина вектора смещения лучшего на настоящий момент возможного варианта опорного кадра, и точнее ли вектор смещения текущего кадра соответствует вычисленному среднему значению вектора смещения, чем вектор смещения лучшего на настоящий момент возможного варианта опорного кадра (113), чтобы итеративно определить возможный кадр, вектор 5 смещения которого является наименьшим и в то же время наиболее точно соответствующим среднему значению смещения, вычисленному для первого заранее определенного количества кадров. Значения смещения могут выражаться в любых единицах и даже в значениях субпикселей, как в предпочтительном варианте реализации способа(100) по настоящему изобретению, в котором для стабилизации изображения используют интерполяцию пикселей. В предпочтительном варианте реализации способа (100) по настоящему изобретению для вычисленного среднего значения смещения этап(110) и этап (111) выполняют только один раз, и категорию, определенную с их помощью,используют в последующих циклах до тех пор, пока не будет вычислено новое среднее значение. Таким образом предотвращаются ненужные проверки в каждом цикле до тех пор, пока не будет вычислено новое среднее значение и не появится необходимость в принятии нового решения Для этого записывают флаг, который указывает,является ли эта проверка первой или нет. Если ответом на проверки (112), (113), (114) является нет, то это означает, что новый кадр не является лучшим возможным вариантом опорного кадра, и способ продолжается получением нового кадра. После того, как лучшие возможные варианты опорного кадра будут определены для любого из этих случаев, на этапе (115) последний полученный кадр записывают как новый возможный опорный кадр вместе с его соответствующим вектором смещения и проекциями. И наконец, если достигнуто второе заранее определенное количество обработанных кадров(которое больше, чем первое заранее определенное значение), то цикл определения возможного варианта опорного кадра завершается, и лучший на настоящий момент возможный вариант опорного кадра на этапе (117) определяют в качестве нового опорного кадра, поскольку этот последний возможный вариант оказался лучшим возможным вариантом для этого конкретного случая. На этапе равно ли число обработанных кадров второму заранее определенному значению(116) определяют, будет ли определен новый опорный кадр или цикл будет продолжен. Кроме того, чтобы иметь возможность перезапуска всего процесса, на этапе (118) сбрасывают в исходное значение число обработанных кадров и удаляют данные, имеющие отношение к возможному варианту опорного кадра. В предпочтительном варианте реализации способа по настоящему изобретению на этапе (118) очищают или удаляют все записанные данные(имеющие отношение к любому записанному кадру,за исключением проекций нового опорного кадра). Подводя итог всего процесса, основные этапы 101, (102), (103), (104), (105) и (106 используют в каждом цикле для получения данных, имеющих отношение к новому кадру, и некоторое количество(первое заранее определенное значение) кадров получают для определения отклонения линии визирования. Последующие кадры вплоть до 6 второго заранее определенного значения интерпретируют как возможные варианты опорного кадра и используют для определения нового опорного кадра. Таким образом, можно сказать, что второе заранее заданное значение является большим, чем первое заранее определенное значение,чтобы сделать этот способ функциональным. При первом выполнении алгоритма по данному способу на этапе (119) начальный опорный кадр определяют путем получения нового кадра и определения его как опорного кадра, сбрасывают число обработанных кадров в исходное значение, и способ (100) продолжается с этапа (101). Система (1) стабилизации последовательностей изображений в основном включает в себя- по меньшей мере один датчик (2) изображения для получения,при необходимости,последовательностей цифровых изображений рассматриваемой сцены- по меньшей мере одно устройство (3) обработки изображений,выполненное с возможностью получения последовательности изображений,реализации способа(100) стабилизации последовательностей изображений,используя полученные изображения, и вывода стабилизированной последовательности изображений,используя деформированные изображения, созданные с помощью способа (100),- по меньшей мере одно запоминающее устройство (4), соединенное с устройством (3) обработки изображений и выполненное с возможностью хранения по меньшей мере одного полученного кадра, по меньшей мере одного опорного кадра, определенного способом (100), по меньшей мере одного возможного опорного кадра,определенного способом, количества обработанных изображений и любого значения, определенного в способе (100). В предпочтительном варианте осуществления настоящего изобретения датчик (2) изображения представляет собой тепловизионную камеру,которая способна различать разности температур в сцене. В предпочтительном варианте осуществления настоящего изобретения устройство (3) обработки изображений выполнено с возможностью получения последовательности изображений от датчика (2) изображения и вывода стабилизированной последовательности изображений. При этом кадры входной последовательности используют в способе(100) стабилизации последовательностей изображений, и этот способ, начинаясь с этапа (119),выполняется в цикле до тех пор, пока система (1) не будет остановлена. Способ (100) выполняется с использованием данных этих изображений, и он определяет опорные кадры с заранее определенной периодичностью и соответствующим образом деформирует входной кадр в выходной кадр. Когда способ (100) сохраняет набор данных, они будут записываться в запоминающее устройство (4) устройством (3) обработки изображений. Таким образом,в предпочтительном варианте осуществления настоящего изобретения устройство(3) обработки изображений выполнено с возможностью записи данных в запоминающее устройство (4). В другом предпочтительном варианте осуществления настоящего изобретения запоминающее устройство(4) фактически представляет собой буфер кадров, хранящий данные изображений, подлежащие обработке. В еще одном предпочтительном варианте осуществления настоящего изобретения последовательность изображений получают из записанного потока или потока прямой передачи. Выходной сигнал устройства (3) обработки изображений выводится в одном из известных форматов последовательностей изображений и может быть просмотрен на дисплее или подан в другое устройство обработки изображений. Таким образом, путем деформирования входных изображений в соответствии с поступательным смещением относительно определенного опорного кадра на субпиксельной основе создают выходную последовательность изображений, которая является стабильной и не содержит каких-либо внезапных скачкообразных смещений. Эффективный и оптимизированный способ сопоставления опорного кадра с текущим кадром реализован с помощью алгоритмов быстрого поиска. Процесс обновления опорного кадра оптимизирован путем разделения среднего значения перемещения на три категории. Эти оптимизации особенно применимы к последовательностям изображений с постоянной линией визирования, учитывая то, что они могут быть нестабильными во времени. В пределах этих основных концепций могут быть разработаны разнообразные варианты реализации системы (1) и способа (100) стабилизации последовательностей изображений по настоящему изобретению. Настоящее изобретение не может быть ограничено раскрытыми в этом описании примерами, но определяется формулой изобретения. ФОРМУЛА ИЗОБРЕТЕНИЯ 1. Способ(100) стабилизации последовательностей изображений, отличающийся тем, что включает такие этапы- получение (101) текущего кадра,- создание (102) проекций для текущего кадра,отбрасывая заранее определенное количество пикселей от начала и конца проекций,- вычисление (103) вектора поступательного смещения для текущего кадра относительно опорного кадра путем вычисления сумм абсолютных разностейпосредством наложения соответствующих проекций с заранее определенным шагом смещения, не допуская выхода проекций текущего кадра за конечные точки соответствующих проекций опорного кадра,- запись (104) вектора смещения для текущего кадра относительно опорного кадра,- деформирование (105) текущего кадра в соответствии с вычисленным вектором смещения и вывод деформированного изображения,увеличение(106) значения счетчика обработанных кадров на единицу,- не превышает ли значение счетчика обработанных кадров некоторого первого заранее определенного значения (107),вычисление(108) среднего вектора поступательного смещения в отношении кадров,обработанных после последнего обновления опорного кадра,- существует ли на настоящий момент лучший записанный возможный вариант опорного кадра(109),превышает ли среднее значение поступательного смещения некоторое первое пороговое значение смещения (110),превышает ли среднее значение поступательного смещения некоторое второе пороговое значение смещения (111),- точнее ли вектор смещения текущего кадра соответствует вычисленному среднему значению вектора смещения, чем вектор смещения лучшего на настоящий момент возможного варианта опорного кадра (112),- меньше ли величина вектора смещения текущего кадра, чем величина вектора смещения лучшего на настоящий момент возможного варианта опорного кадра, и точнее ли вектор смещения текущего кадра соответствует вычисленному среднему вектору смещения, чем вектор смещения лучшего на настоящий момент возможного варианта опорного кадра (113),- меньше ли величина вектора смещения текущего кадра, чем величина вектора смещения лучшего на настоящий момент возможного варианта опорного кадра (114),- запись (115) текущего кадра как лучшего на настоящий момент возможного варианта опорного кадра, вместе с его вектором смещения и проекциями,- равно ли значение счетчика обработанных кадров некоторому второму заранее определенному значению (116),- установление (117) лучшего на настоящий момент возможного варианта опорного кадра в качестве нового опорного кадра,- инициализация (118) значения счетчика обработанных кадров и удаление данных, имеющих отношение к возможному варианту опорного кадра,- получение (119) нового кадра, установление его в качестве нового опорного кадра и инициализация значения счетчика обработанных кадров. 2. Способ(100) стабилизации последовательностей изображений по п.1,отличающийся тем, что на этапе (102) вычисляют горизонтальную и вертикальную проекции для двухмерного изображения путем вычитания их соответствующих средних значений. 3. Способ(100) стабилизации последовательностей изображений по п.1 или п.2,отличающийся тем, что на этапе (103) значение 7 для каждого возможного смещениямежду- ивычисляют с помощью следующей формулы, отбрасываязначений на обоих концах новой проекции(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что на этапе (103) выполняют вычисления для определения значений субпиксельного масштаба путем интерполяции проекций между дискретными точками данных. 5. Способ(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что на этапе (103) применяют способ быстрого поиска с вычислительной сложностью . 6. Способ(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что на этапах (101) и (119) для обрезки полученного изображенияиспользуют ограничивающий прямоугольник (В). 7. Способ(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что вычисление среднего на этапе (108) рассчитывают не каждый раз, а только при достижении упомянутого первого заранее определенного значения счетчика обработанных кадров. 8. Способ(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что для вычисленного среднего значения смещения этап(110) выполняют только один раз посредством протоколирования результатов выполнения этой проверки с использованием флага, и полученный результат первой итерации используют в последующих циклах до тех пор, пока не будет вычислено новое среднее значение смещения. 9. Способ(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что для вычисленного среднего значения смещения этап(111) выполняют только один раз посредством протоколирования результатов выполнения этой проверки с использованием флага, и полученный результат первой итерации используют в последующих циклах до тех пор, пока не будет вычислено новое среднее значение смещения. 10. Способ(100) стабилизации последовательностей изображений по одному из предшествующих пунктов, отличающийся тем, что на этапе (118) удаляют все записанные данные, за исключением проекций нового опорного кадра. 11. Система- по меньшей мере один датчик (2) изображения для получения последовательностей цифровых изображений соответствующей сцены в случае возникновения такой необходимости,которая отличается тем, что также включает в себя- по меньшей мере одно устройство (3) обработки изображений,выполненное с возможностью приема последовательности изображений,реализации способа(100) стабилизации последовательностей изображений с использованием принятых изображений и вывода стабилизированной последовательности изображений с использованием деформированных изображений, созданных с помощью способа (100) по одному из предшествующих пунктов,- по меньшей мере одно запоминающее устройство (4), соединенное с устройством (3) обработки изображений и выполненное с возможностью хранения по меньшей мере одного принятого кадра, по меньшей мере одного опорного кадра, определенного упомянутым способом (100),по меньшей мере одного возможного варианта опорного кадра, определенного способом (100),любого вычисленного вектора смещения, любого значения , значения счетчика обработанных изображений и любого значения, определяемого в упомянутом способе (100). 12. Система(1) стабилизации последовательностей изображений по п.11,отличающаяся тем, что датчик (2) изображения представляет собой тепловизионную камеру,которая способна различать разности температур в сцене. 13. Система(1) стабилизации последовательностей изображений по п.11 или п.12,отличающаяся тем, что устройство (3) обработки изображений выполнено с возможностью приема по меньшей мере последовательности изображений от датчика (2) изображения. 14. Система(1) стабилизации последовательностей изображений по п.п.11-13,отличающаяся тем, что устройство (3) обработки изображений выполнено с возможностью получения изображения из записанной последовательности изображений или последовательности изображений прямой передачи.
МПК / Метки
МПК: G06T 7/20
Метки: цифровых, система, последовательностей, способ, изображений, стабилизации
Код ссылки
<a href="https://kz.patents.su/10-31102-sistema-i-sposob-stabilizacii-posledovatelnostejj-cifrovyh-izobrazhenijj.html" rel="bookmark" title="База патентов Казахстана">Система и способ стабилизации последовательностей цифровых изображений</a>
Предыдущий патент: Когнитивная сеть для обнаружения и отслеживания объектов
Следующий патент: Способ междурядной обработки бахчевых культур
Случайный патент: Способ сублимационной сушки молока