Когнитивная сеть для обнаружения и отслеживания объектов

(51) 06 3/063 (2006.01) 06 7/20 (2006.01) МИНИСТЕРСТВО ЮСТИЦИИ РЕСПУБЛИКИ КАЗАХСТАН ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ПАТЕНТУ высокоскоростных сверхбольших интегральных схем (СБИС), обеспечивающих функциональные возможности коры человеческого мозга и может быть применено в качестве аппаратной архитектуры,выполняющей сложные опознавательные функции, как обнаружение и отслеживание подвижных объектов. В предлагаемом изобретении описан метод обнаружения и отслеживания объектов, который может быть реализован практически с помощью(СБИС) при помощи когнитивной ячейки,созданной по подобию простой корковой моделью нейрона.(54) КОГНИТИВНАЯ СЕТЬ ДЛЯ ОБНАРУЖЕНИЯ И ОТСЛЕЖИВАНИЯ ОБЪЕКТОВ(57) Когнитивная сеть для обнаружения и отслеживания объектов относится к области Изобретение относится к области высокоскоростных сверхбольших интегральных схем (СБИС), обеспечивающих функциональные возможности коры человеческого мозга и может быть применено в качестве аппаратной архитектуры,выполняющей сложные опознавательные функции, как обнаружение и отслеживание подвижных объектов. В предлагаемом изобретении описан метод обнаружения и отслеживания объектов, который может быть реализован практически с помощью(СБИС) при помощи когнитивной ячейки,созданной по подобию простой корковой моделью нейрона, которая имеет несколько входов с соответствующими входными резисторами и один цифровой выход. Когнитивная ячейка,установленная модульным и иерархическим образом, образует когнитивные сети, настраиваемые с помощью набора входных резисторов, таким образом,что может использоваться для практического применения в обнаружении и отслеживании перемещаемых объектов. В зависимости от логики выбора значений резисторов формируются различные когнитивные сети. Когнитивные функции высшего уровня, такие как объект отслеживания, реализуются сочетанием параллельных когнитивных сетей с использованием цифрового логического элемента в наиболее удаленном слое когнитивной сети. Известно устройство,включающее использование резисторов, мемрезисторов, МОПтранзисторов и инвенторной логической схемы(Патент США,20110106742 А 1, 2011). Однако данное устройство имеет следующие недостатки- использование одного входного резистора и отсутствие использования когнитивных сетей с параллельными ячейками склонность мемрезисторов и МОПтранзисторов к значительной переменчивости и тепловыделению- инверторные логические схемы, используемые наряду с входным сопротивлением, требуют более большей площади и создают проблемы при реализации огромных структур для обработки большого объема данных. Известен способ, наиболее близкий по технической сущности к предлагаемому техническому решению,включающий использование камеры видения, резисторов,мемрезисторов, МОП-транзисторов и инвенторной логической схемы (Патент США,7684592,2013). Однако данный способ имеет следующие недостатки- использование одного входного резистора и отсутствие использования когнитивных сетей с параллельными ячейками склонность мемрезисторов и МОПтранзисторов к значительной переменчивости и тепловыделению большей площади и создают проблемы при реализации огромных структур для обработки большого объема данных- обнаружение и отслеживание объекта в целом имеют общий алгоритмический характер,вследствие чего осуществляется лишь частичная обработка данных и не реализуется полная аппаратная структура. Известные устройства этого типа отличаются в функциональных и структурных свойствах. см.,например, Патент США. 2011/0106742 А 1,20120217994 А 1, 7684592. В патенте США 2011/0106742 А 1 и 20120217994 А 1 раскрытая ячейка имеет 1 входной резистор, подключенный к синапс-входу. Дополнительные логические схемы НЕ (инверторы) использованные наряду с входным сопротивлением требуют больше площади и создают проблемы при реализации огромных структур для обработки большого объема данных. Патент США 7684592 описывает общее обнаружение объекта реального времени и систему отслеживания, которые во многом имеют алгоритмический характер и не предлагают полную аппаратную структуру. Это частичная реализация оборудования будет выступать в качестве узкого места при обработке на более высокой частоте кадров. Патент США 2011/0106742 А 1 выявляет резисторы с переменным входом, вслед за инвертором, который преобразует сигнал в цифровую форму, ограничивая применимость цепи к цифровому выходу. Нагрузочные способности по входу и по выходу в цепях также ограничены диапазоном значений входных резисторов. Патент США 2011/0106742 А 1 и 20120217994 А 1 используют мемрезисторы и МОП-транзисторы в качестве переменных резисторов, которые склонны к переменчивости. Общими свойствами настоящего изобретения и Нейроморфного компьютера (Патент США 2011/0106742 А 1) являются использование обучаемых нагрузок, которые реализуются с помощью мемрезисторов или МОП-транзисторов и использование инвертора, который отражает концепцию возбуждения нейрона. Основные ячейки аналогичны на концептуальном уровне, однако они отличаются функционально и конструктивно. Нейроморфный компьютер (Патент США 2011/0106742 А 1) и Самоконфигурируемый аналоговый компьютер на основе мемрезисторов(Патент США 20120217994 А 1) используют мемрезисторы и МОП-транзисторы, которые склонны к переменчивости в качестве переменных резисторов и они, тогда как настоящее изобретение требует всего два значения резистора и расширяет применимость различных видов памяти, таких как флэш память, память с изменением фазового состояния,что приводит к действию функциональную устойчивость к изменчивости в устройствах. Нагрузочная способности по входу и по выходу в цепях в нейроморфном компьютере (Патент США 2011/0106742 А 1) ограничены диапозоном значений входных резисторов, в то время как настоящее изобретение преодолевает эту проблему размещением буферов памяти и ограничением числа выходов на ячейку единицей. Как известно, существуют изобретения, где когнитивные ячейки используются для разработки обнаружения объектов и систем слежения. В этом аспекте, предлагаемое изобретение является уникальным и передовым. Ближайшими родственными подходами являются технологии слежения и обнаружения объектов в реальном времени. Например, такие системы как в патенте США 7684592, где излагается алгоритмический подход обнаружения и отслеживания объектов,который может быть реализован в оборудования режима реального времени. Однако эти подходы не соответствуют уровню реализации цепи, как предлагается в этом изобретении, так как являются большими из-за ограничения во времени необходимого для выполнения алгоритма обработки изображений. В настоящем изобретении схемы обработки непосредственно прикреплены к датчику массивов и, следовательно, не требует операций обработки сигналов, тем самым имея возможность близкого к непрерывному обнаружению и отслеживанию объектов. Задачей предлагаемого изобретения является создание СБИС для обнаружения и отслеживания подвижных объектов в реальном времени на основе когнитивных сетей с возможностью развертывания параллельных друг другу когнитивных ячеек для обнаружения изменения пикселей черного к белому и наоборот. Техническим результатом предлагаемого изобретения является повышение скорости обработки огромного объема познавательных данных в гораздо меньшем пространстве внутри чипа, уменьшение количества неоднородности платформы. Данная задача достигается за счет того,что интегральная схема включает структурное оборудование с использованием двух значений резистора, когнитивные ячейки с одним выходом и с делителями напряжения и инвертор, флэш-памяти с мемрезисторами, поддерживающих цифровые и аналоговые сигналы. Для более полного понимания изобретения,делается ссылка на следующие описания и сопроводительные рисунки, в которых- фиг.1 показывает блок-схему системы, которая использует когнитивные сети для обнаружения и отслеживания объекта.- фиг.2 показано развертывание когнитивных сетей для обнаружения объектов, изображены также внутренняя структура когнитивной сети и когнитивные ячейки.- фиг.3 показана возможность наличия разделений области различных размеров в изначальной картинке и пример результата, полученного от когнитивной сети для реальной ситуации. Блок-схема на фиг.1 показывает систему,которая использует когнитивные сети для обнаружения объектов и отслеживания в видео. Вопервых, данные датчика чтения (указанные в точке 1) подаются в упорядоченные параллельные когнитивные сети. Обработка происходит в точке 2,где сети могут брать аналоговый/цифровой ввод. В случае видео входа, первый кадр рассматривается как опорный кадр и используется для обучения когнитивной сети. Последующие кадры,рассматриваются как тестовые изображения. Результаты, полученные из параллельных сетей когнитивных, затем объединяются в точке 3. Совокупным результатом является двоичная матрица, которая анализируется на наличие объектов. Когнитивная сеть может использоваться для запоминания или полного кадра или суб-региона в пределах кадра. Сеть, которая используется для запоминания полного кадра, называется кадровая сеть, а сеть, используемая для запоминания объекта(суб-региона) называется объектная сеть. Как кадровая, так и объектная сеть совпадают с точки зрения структуры и конфигурации за исключением схемы использования. Для отслеживания объектов,суб-регионы (представляющих объекты) в кадре запоминаются в объектной сети, и эти запомненные объектные сети используются для обозначения неизвестных объектов,обнаруженных в последующих кадрах. Фиг.2 показывает базовую настройку для обнаружения объектов. Две параллельных кадровые сети (сети от черного к белому и от белого к черному) приводятся в действие для получения опорных входных сигналов во время 0 в первоначальной и инвертированной формах,указанных в точке 4 и 5 соответственно. Из фиг.2 можно понять, что когнитивная сеть только способна обнаруживать изменения интенсивности пикселей от чрного к белому. Параллельные кадровые сети, где один из них берет инвертированный входной сигнал, будет решать эту проблему. Выходы из параллельных кадровых сетей(показанные в точках 6 и 7), объединяются с помощью логической схемы (элемента) и/или(показанной в точке 12). Тип логической схемы определяется количеством слоев в когнитивной сети. Выходные данные, полученные в точке 13,используется для дальнейшей обработки. Входное изображение в точке 8 представляет собой тестовый образ, его инвертированная форма показана с помощью указателя 9. Применяя тестовые данные к когнитивной сети, произошедшие изменения пикселей обозначаются соответствующим изменением в результате, показанном в точке 14. Промежуточные результаты, полученные в точках 10 и 11 показывают обнаружение изменений интенсивности пикселей от черного к белому. Фиг.2 также включает иерархическую структуру когнитивной сети и структуру когнитивной ячейки. Как показано на фиг.2, когнитивная сеть образована из когнитивных ячеек, распределенных по слоям. 3 Когнитивные ячейки 16 и 17 находятся в иерархии на уровнях 1 и 2 соответственно. Ячейки на уровне 1 могут иметь аналоговые/цифровые входы. Однако,ячейки на внутреннем слое могут иметь только цифровые входы. Выходные данные, полученные из когнитивной сети, будут цифровыми. Структура когнитивных ячеек,которая принимает три входных данных, также показана на фиг.2. Когнитивная ячейка может иметь множество цифровых/аналоговых входов и только один цифровой выход. Вход когнитивной ячейки подсоединен к цепи делителя, выходное напряжение которого приходится на точку 22, и подсоединено к инвертору. Подобно механизму возбуждения нейрона, когнитивная ячейка будет задействована,когда напряжение в точке 22 достигает порога ожидаемого на инверторе. Возбуждение когнитивной ячейки относится к изменению выхода ячейки и показывает значительные изменения на входе ячейки. Это свойство когнитивной ячейки используется для обнаружения объектов. Рассмотрим ячейку с тремя входами для описания работы. Входными значениями напряжения для когнитивной ячейки являются 1,2, и 3 и соответствующие параметры сопротивления 1, 2, и 3. Параметры сопротивления 1, 2, и 3 показаны в точках 18, 19 и 20 соответственно. Когнитивная ячейка обычно обрабатывает небольшой отрывок в изображении и группы нескольких таких параллельных ячеек используются для обработки всего изображения. Параметры входного сопротивления задаются Н или , в зависимости от входных значений. Значения О в точке 21,иявляются постоянными значениями резистора. Параметры резистора в когнитивной ячейке задаются только тогда, когда применяется опорное изображение. Как правило для - входной когнитивной ячейки,значения сопротивлений 1, 2, 3 для соответствующего набора входных значений 1, 2, 3 устанавливаются в зависимости от (1)(1) где- пороговое значение. Выходное напряжение в точке 22 делителя ячейки свходов задается через (2).(2) Выход инвертора задается как(3) где- пороговое значение напряжения на инверторе. Уравнения (3) - это упрощенная форма более реалистической логической функции, и по умолчанию подразумевается, что в практической реализации используются логические функции. Ячейка может быть преображена в усредняющую цепь при удалении соединения к заземлению через 0. Это преобразование ячейки может быть использовано для суммирования нескольких значений. В образцовой реализации обнаружения объекта,используется один слой когнитивных ячеек, где каждая ячейка обрабатывает несколько пикселей входного изображения. Самый первый кадр видео рассматривается как опорный кадр, для которого будут сконфигурированы параметры резистора в когнитивной ячейке. Последующие кадры из видео рассматриваются как тестовые кадры и сети ячеек будет реагировать на значительные изменения интенсивности на входе. При перемещении объектов в картинке, матрица когнитивных ячеек показывает о движущемся объекте, изменяя его вывод. Объекты отслеживаются запоминанием(подготовкой) их в раздельные наборы сетей. Параметры резисторов для объектов сети постоянно обновляются для размещения последнего состояния объекта. Фиг.3. показывает, как видеокадры разделены на секции для применения к когнитивной сети. Следует отметить, что входное изображение, указанное с помощью указателя 24 может быть разделено на блоки неравных размеров, как показано указателем 25. Случаи, когда интересующие участки локализованы в определенной области в видео,входное изображение может быть разделено на неравные участки, как показано указателем 25. Для обнаружения изменений в пределах очень малого количества пикселей, изображение может быть разделено на участки поменьше в противном случае изображение можно разделить на крупные участки. С помощью фиг.3 можно также увидеть пример выхода полученного в реальной ситуации. Первое изображение (время 0) применяемое к когнитивной сети является справочным (показанное с помощью указателя 26) и второе изображение (время 1) является тестовым изображением (показанное с помощью указателя 27). Изменения, обнаруженные в тестовом изображении, были отмечены красным цветом. Красные линии образуют границу вокруг обнаруженных объектов. Изобретение может также применяться для цветных изображений, используя сети для каждого индивидуального канала. Обработка отдельных каналов улучшит количество обнаруженных изменений. Изобретение решает проблему обнаружения и отслеживания объектов в режиме реального времени с высокой частотой кадров. Изобретение обеспечивает только аппаратный метод обнаружения отслеживание и обнаружения объектов,на распознавательную производительность которого не воздействуют изображения с высоким разрешением или высокие частоты кадров. Изобретение включает повторные оценки свойств объекта основанных на изменении интенсивности от одного кадра к другому кадру. Изобретение предоставляет различные конструкции,сделанные на основе примитивного элемента обработки под названием когнитивная ячейка, 31101 которая требует только небольшую поверхность на чипе. Когнитивные ячейки, которые формируют примитивный уровень компонентов познавательной сети могут иметь несколько цифровых или аналоговых входов, но могут иметь только один цифровой выход. Такая ячейка используется для формирования сети, которая в свою очередь может обнаружить изменения интенсивности пикселей в изображениях - как во времени так и в пространстве. Вдохновленная функциональностью человеческого глаза, когнитивная сеть разработана для обнаружения изменений интенсивности света,светлые в темные и темные в светлые через последовательность изображений в режиме реального времени. Когнитивные ячейки в сети распределяются через несколько слоев для уменьшения входной пространственной информации. Кадры изображений могут быть запомнены в сети, регулируя параметры входа когнитивной ячейки. Изменение текущего кадра относительно сохраненного кадра могут быть определены с выхода сети. Сравнения между кадрами изображения выполняются с использованием кадра сетей, тогда как обнаруженные объекты могут отслеживаться далее, и классифицированы с использованием другого набора сетей, под названием как объектные сети. Этот подход может быть расширен до трехмерного обнаружения и отслеживания движения. Следует отметить,что преимущество,предоставляемым аппаратным подходом включают в себя высокую скорость и возможность использовать все доступные кадры изображения от датчиков изображения без ущерба для объекта потери актуального и точного изображения отслеживания в режиме реального времени. Аппаратное свойство строения ячейки делает ее футуристической альтернативой алгоритмических подходов и весьма привлекательной для практического использования высоких частоты кадров, что может привести к практически непрерывному отслеживанию объектов в реальном времени, что может превзойти человеческие способности слежения объектов. Что касается аппаратной реализации, требуются резистивные запоминающие элементы, которые могут выполнять большое количество циклов, меньшую площадь и долгое время хранения данных, что может стать возможным с появлением новых технологий памяти. ФОРМУЛА ИЗОБРЕТЕНИЯ 1. Когнитивная сеть для обнаружения и отслеживания объектов, отличающаяся тем, что содержит в себе когнитивные ячейки, которые распределяются через несколько слоев, формируя электрическую цепь для обнаружения изменений интенсивности пикселя, светлые в темные и темные в светлые через последовательность изображений в режиме реального времени. 2. Когнитивная сеть по п.1, отличающаяся тем,что выполнена параллельно повторяющейся, где входными данными когнитивной ячейки являются значения пикселей изображения. 3. Когнитивная сеть по п.1, отличающаяся тем,что устанавливает значения входного резистора- высоким,- низким в зависимости от входного значения пикселя запомненного изображения где запомненное изображение определяется по первому образцу изображения в последовательности изображений, так как из видео. 4. Когнитивная сеть по п.1, отличающаяся тем,что состоит из когнитивных ячеек таким образом,что- вводные резисторы,входное напряжения ипредставляет собой среднее из входных значений когнитивной ячейки. 5. Когнитивная сеть по п.1, отличающаяся тем,что именуется сетью обнаружения изменения интенсивности из черного в белый, которые могут быть преобразованы в сеть обнаружения изменения интенсивности из белого в черный, путем изменения указанного входного напряжения в 1 - . 6. Когнитивная сеть по п.1, отличающаяся тем,что ее элементы по п.п.4 и 5 объединяются с помощью использования выходов когнитивных ячеек в последнем последующем слое когнитивных сетей, с помощью логических элементов и/или, что позволяет решать проблемы распознавания 2/3 изображения в режиме реального времени таких как распознавание символов, распознавание речи и распознавание лица человека, причем как чернобелые изображения, так и цветные изображения с помощью применения нескольких каналов, имея несколько когнитивных сетей для обнаружения изменения пикселей в отдельных цветовых каналах. 7. Когнитивная сеть по п.1, отличающаяся тем,что состоит из когнитивных ячеек, каждая из которых имеет многочисленные аналоговые или цифровые входы с соответствующими входными резисторами и один цифровой выход. 8. Когнитивная сеть по п.1, отличающаяся тем,что в каждой ее когнитивной ячейке ее входные и выходные буферы могут быть заменены элементами памяти. 9. Когнитивная сеть по п.1, отличающаяся тем,что состоит из структурно и функционально идентичных когнитивных ячеек, и предназначена для обнаружения изменения интенсивности пикселей в изображениях - как во времени, так и в пространстве. 10. Когнитивная сеть по п.1, отличающаяся тем, что входящие в ее состав когнитивные ячейки распределяются через несколько последовательных слоев для уменьшения входной пространственной информации путем уменьшения количества когнитивных ячеек,чем предыдущая последовательность слоев, в зависимости от количества входов на ячейку в последовательных слоях. 5 11. Когнитивная сеть по п.1, отличающаяся тем, что может быть развернута для запоминания полного кадра или суб-региона внутри кадра,который представляет собой объект интереса. 12. Когнитивная сеть по п.1, отличающаяся тем, что сеть, которая используется для запоминания полного кадра называется кадровой сетью, а сеть используемая для запоминания объекта называется объектной сетью. 13. Когнитивная сеть по п.1, отличающаяся тем, что содержит вход, выход, входные резистивные элементы с входом и выходом,выходной резистивный элемент в качестве нагрузки на входные резисторы и цепь на выходе с выходом и входом, где вход электрической цепи соединен к входу входного резистивного элемента, выход входного резистивного элемента соединен к входу инвертора с переменным пороговым уровнем и к выходному резистору. 14. Когнитивная сеть по п.1, отличающаяся тем, что ее каждая когнитивная ячейка имеет входной резистор, который включает любые другие устройства памяти с двухуровневыми резистивными значениями. 15. Когнитивная сеть по п.1, отличающаяся тем, что инвертор каждой ее когнитивной ячейки является чувствительным к выходу резистивной цепи для произведения минимума и максимума выходного напряжения, основанного на пороговом уровне инвертора. 16. Когнитивная сеть по п.1, отличающаяся тем, что цепь инвертора каждой ее когнитивной ячейки состоит из р-полевого транзистора,имеющего затвор, сток, и исток и -полевого транзистора, имеющего затвор, сток, и исток, где затвор р-полевого транзистора подключен к затвору-полевого транзистора и входной цепи инвертора,причем исток р-полевого транзистора подключен к стоку -полевого транзистора и выходной цепи инвертора и пороговый уровень контролируется регулированием ширины и длины транзисторов.