Способ автоматического определения соответствия электронного изображения нормированному изображению лица

КОМИТЕТ ПО ПРАВАМ ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ МИНИСТЕРСТВА ЮСТИЦИИ РЕСПУБЛИКИ КАЗАХСТАН ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ПАТЕНТУ Технический результат применения изобретения- повышение достоверности при автоматическом обнаружения лица на электронном цифровом изображении в режиме реального времени. Способ автоматического обнаружения лица на электронном оцифрованном изображении осуществляется в два этапа. На первом этапе проводят определение наиболее вероятного положения головы. Для этого сначала проводят фильтрацию по направлению верхних частей контура головы, затем происходит их дальнейшее выделение за счет свойств других частей контура плеч, боковых сторон, глаз. После определения наиболее вероятных положений головы, в их окрестности проводят поиск по шаблонам модели контура головы. А затем проводят их усиление и подтверждение путем использования методов РСА и . Таким путем достигается надежность и высокая скорость поиска глаз на изображении.(72) Куленов Даулет Нильевич Лобанов Александр Федорович Ча Валерий Леонидович(73) Куленов Даулет Нильевич , Лобанов Александр Федорович(54) СПОСОБ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ СООТВЕТСТВИЯ ЭЛЕКТРОННОГО ИЗОБРАЖЕНИЯ НОРМИРОВАННОМУ ИЗОБРАЖЕНИЮ ЛИЦА(57) Изобретение относится к способам распознавания образов путем выделения деталей или характеристик изображения и может быть использовано для автоматического обнаружения лица на электронном оцифрованном изображении, полученного с цифровой камеры или фотоаппарата в реальных,специально неконтролируемых условиях съемки. 17014 Изобретение относится к способам распознавания образов путем выделения деталей или характеристик изображения и может быть использовано для автоматического обнаружения лица на электронном оцифрованном изображении, полученного с цифровой камеры или фотоаппарата в реальных, специально неконтролируемых условиях съемки. Быстрое, надежное и точное автоматическое нахождение лица и его элементов глаз, рта, носа и др. на изображении при неконтролируемых условиях по освещенности, дальности до объекта, типа используемой аппаратуры, присутствию или отсутствию шумов, искажающих элементы лица очков, усов,бороды, волос и т. п. является одной из важнейших задач предварительной обработки изображений и служит необходимой основой для успешного выполнения дальнейших преобразований по сравнению и идентификации личности. В настоящее время предложено множество способов по решению этой важной и сложной задачи. Среди них отметим основные способы, использующие Метод Принципиальных Компонент (- РСА) способы применения шаблонов элементов лица и способы, использующие нейронные сети. Каждый из этих способов имеет как сильные стороны, так и недостатки. Известен способ статистического обучения для обнаружения объекта на изображении ( В.,А., , . 20-23, 1995, . 786-793), в котором использован способ РСА для поиска элементов лица на изображении. В нем вычисляются собственные векторы и собственные числа из ковариационной матрицы набора заданных изображений. Известно, что собственные векторы такой системы образуют ортонормированное множество, разложение по которым приводит к значительному сжатию данных. На основе такого представления изображений строятся способы обнаружения объектов на изображении, которые по своей робастности превосходят методы с использованием шаблонов и нормированной корреляции. Однако проведенные эксперименты показали,что использование этого способа даже в случае небольшой области поиска и среднего количества используемых коэффициентов разложения (приблизительно 100), требует больших вычислительных и временных затрат, что становится неприемлемым для обработки изображений в реальном времени. Кроме того, данный способ оказался чувствительным к искажениям отдельных элементов лица (очки с бликами). Известен также способ поиска лица на цифровом изображении (патент 6128397, кл. 06 9/00,2000), основанный на использовании нейронных сетей ( ). Способ состоит из двух этапов. На первом этапе происходит определение угла поворота по нейронным сетям, обученным на различные повороты изображения лица. На втором этапе повернутое на определенный угол изображение проверяется на присутствие на нем изображения лица с помощью других нейронных сетей, которые 2 предварительно обучены на изображениях лиц и нелиц. Известно однако, что использование методов,основанных на нейронных сетях связано с большими временными затратами, которые препятствуют их широкому применению в задачах реального времени. Отметим так же, что сам процесс обучения,выбора образцов, типа нейронных сетей для обучения является очень сложным и неоднозначным. Наиболее близким к предлагаемому техническому решению является способ обнаружения лица с помощью шаблонов (патент 5835616, кл. 06 9/00, 1994), осуществляющийся в два этапа. На первом этапе производят процедуры предварительной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров и фильтров по выявлению краев изображения и последующей фильтрации контуров, предположительно принадлежащих элементам лица овала, глаз, рта и т. д. Второй этап включает в себя процедуры поиска и подтверждения элементов лица нахождения элементов лица по способу Модели Активного Контура (- АСМ) ( М.,А..//,1988, . 321-331) и подтверждение этих элементов путем проверки статистических связей и соотношений между ними. Нахождение области головы в данном способе не выделяется в отдельную часть, и поэтому он приемлем в основном для изображений, на которых лицо занимает значительную часть и оно хорошего качества. А для изображений с неконтролируемыми условиями по дальности, освещению, окружающему фону и т. п. способ дает большое число ложных откликов. Таким образом, из изложенного выше следует,что все приведенные способы применимы в режиме реального времени для тех задач, где уже выделены области предполагаемого расположения лица и его элементов, или изображение лица занимает значительную долю на изображении, в иных случаях время определения положения лица на изображении становится неприемлемо большим. Технический результат предлагаемого изобретения - повышение достоверности при автоматическом обнаружения лица на электронном цифровом изображении в режиме реального времени. Такой технический результат достигается тем,что в способе, осуществляющемся в два этапа, на первом этапе производят процедуры предварительной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров и фильтров по выявлению краев изображения и последующей фильтрации контуров, предположительно принадлежащих элементам лица овала, глаз, рта и т.д. Второй этап включает в себя процедуры поиска и подтверждения этих элементов путем проверки статистических связей и соотношений между ними. Причем, процедуры, их обоснование и способы реализации коренным образом отличаются. Так, например, поиск и подтверждение элементов лица происходит по методу Дискриминантного Анализа(- ) и методу РСА. Кроме того, в начале первого этапа вводится отдельная процедура по выделению и обнаружению наиболее вероятного расположения, головы на изображении путем использования модели контура головы, что позволяет значительно сократить район и время поиска элементов лица и подавить при этом влияние шумов окружающего фона. Такой способ обработки изображения обеспечивает существенное повышение эффективности обнаружения лица на изображении, а также значительно уменьшает время поиска, что позволяет использовать предлагаемый способ для решения задач в режиме реального времени. Сущность изобретения поясняется приведенными рисунками. Фиг. 1 отображает общую блок-схему способа. Фиг. 2 показывает блок-схему обнаружения головы. Фиг. 3 отображает блок-схему обнаружения глаз. На фиг. 4 изображена грубая модель контура головы, используемая в представленном способе 1 а контур левой верхней половины 1 - контур правой верхней половины 2 а - контур левой стороны 2 контур правой стороны 3 а - контур левого плеча 3 - контур правого плеча. На фиг. 5 показана модель лица 1 - контур головы в виде эллипса 2 а - левый глаз, 2 - правый глаз 3 а - левая бровь, 3 - правая бровь 4 - нос 5 - рот На фиг. 6 представлено реальное изображение,полученное с фотокамеры, размером 640 на 480 пикселов. На фиг. 7 - уменьшенное в 16 раз и размером 40 на 12 пикселов то же самое изображение (фиг. 6). На изображении такого размера производится поиск головы. Найденное положение головы показано белой линией. Фиг. 8-13 показывают результаты последовательной фильтрации верхних контуров головы с нахождением других элементов контура и элементов лица боковых сторон головы, плеч, возможных кандидатов на глаза. Светлые точки показывают возможные левые части контура, темные - правые части контура. На фиг. 14 отображена взвешенная сумма результатов предыдущих фильтров выделения верхних фрагментов контура головы. На фиг. 15 белой чертой отмечены возможные положения головы на изображении. На фиг. 16 изображен результат применения маски эталонов головы в местах обнаружения возможных кандидатов на голову. На фиг. 17 показан результат применения фильтра низких частот к изображению, показанному на фиг. 16. По такому изображению (фиг. 17) производят поиск максимума, который показывает положение середины верха головы, а ее ширину определяют по результатам фильтрации по маскам контура головы. Положение верха головы показано белой чертой на фиг. 7. На фиг. 18 представлено вырезанное изображение лица с разрешением в 4 раза меньшим его пер воначального разрешения. На таком изображении производится дальнейший поиск глаз. На фиг. 19 - результат применения фильтра по усилению элементов лица на изображении фиг. 14. Светлые точки соответствуют элементам лица. На фиг. 20 - результат применения фильтра по выделению вертикальных сторон лица. Светлые линии соответствуют левой стороне лица, а темные,соответственно, правой. Фиг. 21-22 показывают результаты применения выделения левого и правого глаз, соответственно,основанных на использовании результатов поиска других элементов лица рта, подбородка, контуров верхней части головы. Фиг. 23-24 показывают результаты дальнейшей фильтрации, основанные на применении РСА для выделения области глаз на изображении. Фиг. 25 показывает положение левого и правого глаз на вырезанном изображении. Фиг. 26 отображает результат фильтрации на основе определения внешних и внутренних краев глаза. Фиг. 27 показывает результат применения фильтра левого глаза на основе . Фиг. 28 показывает результат применения фильтра правого глаза на основе . Фиг. 29 - результат уточнения положения левого и правого глаз на вырезанном изображении. Реализация способа осуществляется в два этапа. Выделение и обнаружение наиболее вероятного расположения головы на изображении происходит на первом этапе (фиг. 2) следующим образом. Формируют пирамиду изображений путем последовательного усреднения исходного изображения. Пирамида изображений представляет собой ряд изображений с последовательно уменьшающимся разрешением в 2, 4, и т. д. раза, по сравнению с исходным. На фиг. 6 показано исходное изображение размера 640 на 480 пикселов, фиг. 7 показывает одно из изображений пирамиды. На изображении с наименьшим разрешением в пирамиде вычисляют разности по вертикали и горизонтали по оператору Собеля. Затем производится фильтрация по соответствующим направлениям с целью выделения левых-верхних и правых- верхних частей контура головы. Фильтрация по направлению выделяет точки, в которых рельефы в направлении, ортогональном к направлению фильтрации, максимально похожи между собой. Результат фильтрации в случае исходного изображения (фиг. 6) показан на фиг. 8. Темные точки на этих изображениях показывают левые части контура головы, светлые, соответственно, правые. Результат предыдущих процедур фильтрации далее преобразуют с помощью усредняющих фильтров по соответствующим направлениям и заданных порогов. Результат таких преобразований показан на фиг. 9. Далее применяют фильтры, в которых производится дальнейшее выделение верхних боковых сторон контура головы путем последовательного поиска элементов лица кандидатов на глаза, на боковые 3 17014 стороны и плечи, подбородок, взаимное положение которых должно удовлетворять некоторым статистическим закономерностям. Фильтрация удовлетворяет следующему принципу точки, относительно которых такие элементы найдены, подлежат усилению, в противном случае, они ослабляются. Модель контура головы показана на фиг. 4. Результаты применения таких фильтров показаны на фиг. 10-13. Результаты работы фильтров по выделению верхнего левого и верхнего правого фрагментов контура головы суммируются с определенными опытным путем коэффициентами и представляются в виде результирующего изображения фиг. 14, по которому происходит поиск нескольких наиболее вероятных положений головы. Результатом поиска являются координаты верхней левой и верхней правой частей контура головы. Возможные положения головы при таком поиске показаны белыми черточками на фиг. 15. В случае, если не обнаружено ни одного кандидата на голову, происходит прерывание процесса и начинается обработка следующего поступающего изображения. В окрестности наиболее вероятных положений головы происходит дальнейшая фильтрация, основанная на использовании предварительно сформированных эталонов контура головы. За модель контура головы принят эллипс с изменяющимися значениями ширины и высоты в определенном диапазоне. Фиг. 16 показывает результат работы такого фильтра. Затем полученное изображение суммируется с результирующим изображением фиг. 14 и усредняется. Таким образом, формируется суммарное изображение (фиг. 17), по которому окончательно определяется место наиболее вероятного положения головы. В том случае, если положение головы не определено, происходит автоматическое прерывание процесса и начинается обработка следующего изображения. На первом этапе проводится определение наиболее вероятного положения головы. Для этого сначала проводится фильтрация по направлению верхних частей контура головы, затем происходит их дальнейшее выделение за счет свойств других частей контура плеч, боковых сторон, глаз. Затем, после определения наиболее вероятных положений головы, в их окрестности проводится поиск по шаблонам модели контура головы. Такой подход позволяет значительно сократить область поиска лица, повысить надежность и скорость поиска. На втором этапе (фиг. 3) происходит определение положения левого и правого глаз на изображении, вырезанном в окрестности определенного на первом этапе положения головы на изображении более высокого разрешения. Пример вырезанного изображения показан на фиг. 18. Второй этап состоит из выполнения следующих последовательных процедур. Используя оператор Собеля, вычисляют разности изображения по вертикали и горизонтали. Производят фильтрацию некоторых элементов лица глаз, рта, носа, подбородка и др. посредством поис 4 ка верхних и нижних границ контура этих элементов и их последующего усреднения в горизонтальном направлении. Результат такой фильтрации показан на фиг. 19. Светлые точки этого изображения показывают некоторые элементы лица. Используя конечные разности Собеля в горизонтальном направлении и усредняющие фильтры в вертикальном направлении, проводят фильтрацию с целью выделения вертикальных боковых составляющих контура лица. На фиг. 20 показан результат работы такого фильтра, светлые линии на нем показывают вертикальный боковой контур левой стороны лица, темные - контур правой стороны. Затем производят фильтрацию точек, соответствующих левому и правому глазам, посредством поиска рта, носа, подбородка, боковых вертикальных и верхних частей контура лица. При этом точки, относительно которых найдены соответствующие элементы лица, удовлетворяющие статистическим соотношениям лица, подлежат усилению, в противном случае, эти точки ослабляются. Результаты фильтров по отдельным элементам лица суммируют с коэффициентами, определенными опытным путем. Результирующие изображения показывают области наиболее вероятного положению на изображении левого глаза (фиг. 21) и правого глаза (фиг. 22). По данным изображениям формируются множества наиболее вероятных кандидатов на левый и правый глаз. Затем проводят дальнейшую фильтрацию левого и правого глаз с использованием метода РСА. Для этого организуют процесс обучения с целью вычисления собственных векторов и собственных чисел ковариационной матрицы по обширной выборке лиц. Известно, что собственные вектора образуют ортогональный базис, по которому вычисляют коэффициенты ортогонального разложения для среднего вектора выборки лиц. Коэффициенты разложения делятся на соответствующие собственные числа. Таким образом, среднее лицо выборки представлено в виде векторакоэффициентов разложения по ортогональному базису. Процесс фильтрации глаз можно представить следующим образом. Для входного изображения,представленного в виде одномерного вектора, вычисляют коэффициенты ортогонального разложения, которые делятся на соответствующие собственные числа. Затем вычисляют нормированный коэффициент корреляции полученного вектора с вектором , который показывает насколько данное изображение похоже на среднее лицо из выборки. Фильтр последовательно применяется для всех кандидатов на левый и правый глаз. Результат фильтрации показан на фиг. 23 для левого глаза и на фиг. 24 - для правого. Степень фильтрации можно оценить, сравнивая изображения на фиг. 21 и 23 и фиг. 22 и 24, соответственно. По результатам фильтрации среди кандидатов на глаза определяют положения левого и правого глаза - фиг. 25. Положения глаз отмечены белыми крестиками. Выделяют окрестности левого и правого глаз для изображения более высокого разрешения. В них 17014 вычисляются горизонтальные и вертикальные конечные производные по операторам Собеля. Для каждой точки из окрестности проверяются условия существования выпуклых границ вокруг нее, то есть в определенных областях вокруг этой точки должны существовать точки с значением и направлением градиента внутри заданных интервалов. Фиг. 26 показывает результат такой фильтрации. Темные точки отображают левый глаз, светлые точки показывают правый. Для дальнейшего уточнения положения глаз используют метод дискриминантного анализа - . Типичными ошибками определения положения глаз являются ошибки, когда кандидаты на глаза располагаются на краях глаз или бровях. Поэтому для предотвращения таких ошибок в качестве одного из множеств в процессе обучения по методупринято изображение брови или краев глаза, а в качестве другого множества - изображение самого глаза. Таким образом, мы проводим вначале фильтрацию в классах глаз - край глаза, затем - в классах глаз - бровь. Результаты фильтрации суммируем с определенными опытным путем коэффициентами. На фиг. 27-28 показаны результаты такого преобразования для левого и правого глаз, соответственно. Используя результаты предыдущих процедур,находят положения левого и правого глаз на изображении (фиг. 29). Таким образом, при нахождении глаз сначала проводится их фильтрация за счет использования их свойств и свойств других элементов лица. А затем проводится их усиление и подтверждение путем использования методов РСА и . Таким путем достигается надежность и высокая скорость поиска глаз на изображении. Новизна предлагаемого способа состоит в том,что контур головы ищется не сразу целиком с использованием эталонов, (обычно в качестве эталона используется эллипс), а поэтапно с последовательным определением и фильтрацией элементов контура головы с использованием статистических связей между ними, что позволяет значительно сократить вычислительные и временные затраты и повысить достоверность поиска. Внедрение способа позволило обрабатывать 4-5 изображений в секунду при сохранении высокой достоверности обнаружения лица на электронном оцифрованном изображении. ФОРМУЛА ИЗОБРЕТЕНИЯ 1. Способ автоматического обнаружения лица на электронном оцифрованном изображении, осуществляемый в два этапа, причем на первом этапе производят процедуры предварительной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров и фильтров по выявлению краев изображения, и процедуры последующей фильтрации контуров, предположительно принадлежащих элементам лица овала, глаз, рта и т. д., а на следующем этапе проводят поиск элементов лица с последующим их удостоверением посредством проверки статистических соотношений между ними,отличающийся тем, что предварительно сужают область поиска лица путем определения области расположения головы с помощью предварительной фильтрации верхних фрагментов контура головы. 2. Способ по п. 1, отличающийся тем, что проводят фильтрацию верхних фрагментов контура головы путем поиска наиболее вероятных кандидатов на другие фрагменты контура головы боковых сторон, глаз, плеч, проверки статистических соотношений между ними и последующего поиска в областях наиболее вероятного расположения с помощью шаблонов модели контура головы. 3. Способ по п. 1, отличающийся тем, что для определения положения глаз на изображении в окрестности найденного положения головы проводят предварительную фильтрацию элементов лица с помощью фильтров горизонтальных и вертикальных краев. 4. Способ по п. 3, отличающийся тем, что производят дальнейшее усиление области глаз путем поиска кандидатов на другие элементы лица рот,нос, подбородок, боковые края лица и проверки статистических соотношений между ними. 5. Способ по пп. 3 или 4, отличающийся тем,что для дальнейшей фильтрации и удостоверения области глаз на изображениях низкого разрешения применяют методы, основанные на РСА и . 6. Способ по п. 5, отличающийся тем, что для использования метода РСА организуют процесс обучения по обширной выборке лиц, с целью определения ортонормированного базиса собственных векторов, собственных чисел ковариационной матрицы и коэффициентов разложения по ортогональному базису среднего лица по выборке, определяют степень похожести изображения на среднее лицо,вычисляя вектор, состоящий из коэффициентов ортогонального разложения, и нормированный коэффициент корреляции этого вектора и вектора коэффициентов среднего лица, фильтрацию глаз проводят путем формирования изображений для различных кандидатов на глаза и вычисления соответствующих коэффициентов корреляции, в окрестности наиболее вероятного положения глаз проводят фильтрацию, с целью выделения точек, принадлежащих области с выпуклыми краями. 7. Способ по п. 5, отличающийся тем, что для методапроводят предварительное обучение по обширной выборке лиц, с целью подавления точек,принадлежащих областям бровей и краев глаз, а фильтрацию глаз проводят, последовательно устраняя точки, принадлежащие областям бровей и краев глаз.