Object Detection in Images

(1)

VYSOK ´

E U ˇ

CEN´I TECHNICK ´

E V BRN ˇ

E

BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMA ˇ

CN´ICH TECHNOLOGI´I

´

USTAV PO ˇ

C´ITA ˇ

COV ´

E GRAFIKY A MULTIM ´

EDI´I

FACULTY OF INFORMATION TECHNOLOGY

DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA

DETEKCE OBJEKT ˚

U V OBRAZE

BAKAL ´

A ˇ

RSK ´

A PR ´

ACE

BACHELOR’S THESIS

AUTOR PR ´

ACE

TOM ´

A ˇ

S PT ´

A ˇ

CEK

(2)

VYSOK ´

E U ˇ

CEN´I TECHNICK ´

E V BRN ˇ

E

BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMA ˇ

CN´ICH TECHNOLOGI´I

´

USTAV PO ˇ

C´ITA ˇ

COV ´

E GRAFIKY A MULTIM ´

EDI´I

FACULTY OF INFORMATION TECHNOLOGY

DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA

DETEKCE OBJEKT ˚

U V OBRAZE

OBJECT DETECTION IN IMAGES

BAKAL ´

A ˇ

RSK ´

A PR ´

ACE

BACHELOR’S THESIS

AUTOR PR ´

ACE

TOM ´

A ˇ

S PT ´

A ˇ

CEK

AUTHOR

VEDOUC´I PR ´

ACE

Ing. MIROSLAV ˇ

SVUB

SUPERVISOR

(3)

(4)

(5)

Abstrakt

Tato práce pojednává o problematice detekce objekt˚u a popisuje teoretická východiska de-tekce zaloˇzené na boostingu, algoritmu AdaBoost a Haarových pˇr´ıznac´ıch v roli slabých klasifikátor˚u. Dále se tato práce zabývá návrhem a implementac´ı trénovac´ı a detekˇcn´ı apli-kace zaloˇzené na knihovnách OpenCV a wxWidgets. K závˇeru popisuje test trénován´ı a detekce obliˇcej˚u provedený v implementované aplikaci.

Kl´ıˇ

cov´

a slova

Detekce objekt˚u, detekce obliˇcej˚u, zpracov´an´ı obrazu, boosting, AdaBoost, Haarovy pˇr´ıznaky, OpenCV, wxWidgets.

Abstract

This work deals with the problem of object detection in images and describes theoretical backgrounds of detection based on boosting, AdaBoost algorithm and Haar-like features as weak classifiers. Further this work engages in design and implementation of a training and detection application based on OpenCV and wxWidgets libraries. To the end it shows a training and face detection test performed in the implemented application.

Keywords

Object detection, face detection, image processing, boosting, AdaBoost, Haar-like features, OpenCV, wxWidgets.

(6)

Detekce objekt˚

u v obraze

Prohl´

aˇ

sen´ı

Prohlaˇsuji, ˇze jsem tuto bakaláˇrskou práci vypracoval samostatnˇe pod veden´ım pana Ing. Miroslava ˇSvuba. Uvedl jsem vˇsechny literárn´ı prameny a publikace, ze kterých jsem ˇcerpal. . . . .

Tom´aˇs Pt´aˇcek 11. kvˇetna 2008

Podˇ

ekov´

an´ı

T´ımto bych chtˇel podˇekovat vedouc´ımu práce panu Ing. Miroslavu ˇSvubovi za poskytnutou odbornou pomoc a podporu pˇri vývoji aplikace a psan´ı této technické zprávy.

c

Tom´aˇs Pt´aˇcek, 2008.

Tato práce vznikla jako ˇskoln´ı d´ılo na Vysokém uˇcen´ı technickém v Brnˇe, Fakultˇe in-formaˇcn´ıch technologi´ı. Práce je chránˇena autorským zákonem a jej´ı uˇzit´ı bez udˇelen´ı oprávnˇen´ı autorem je nezákonné, s výjimkou zákonem definovaných pˇr´ıpad˚u.

(7)

Obsah

1 Uvod´ 3

1.1 Motivace. . . 3

1.2 Obsah pr´ace. . . 3

2 Z´akladn´ı pojmy 4 2.1 Obraz a jeho vlastnosti. . . 4

2.2 Zpracov´an´ı obrazu . . . 4

2.3 Klasifikace . . . 5

2.4 Boosting . . . 5

2.5 Slab´y klasifik´ator . . . 6

2.6 Haarovy pˇr´ıznaky. . . 6

3 Detekce objekt˚u v obraze 7 3.1 V´yznam a pouˇzit´ı. . . 7

3.2 Tˇr´ıda objekt˚u . . . 7

3.3 Principy detekce . . . 8

3.3.1 Detekce podle barvy . . . 8

3.3.2 Detekce podle pohybu . . . 8

3.3.3 Detekce podle hran. . . 8

3.3.4 Detekce podle vzoru . . . 9

4 Detekce obliˇcej˚u a metoda AdaBoost 10 4.1 Princip algoritmu AdaBoost . . . 10

4.2 Kask´ada klasifik´ator˚u . . . 11

4.3 Faleˇsn´e odezvy . . . 11

4.4 Postup detekce . . . 11

5 Návrh aplikace 13 5.1 Trénován´ı . . . 13

5.2 Nastaven´ı tr´enov´an´ı . . . 14

5.3 Detekce . . . 14

5.4 Testov´an´ı ´uspˇeˇsnosti . . . 14

5.5 Vizualizace klasifik´atoru . . . 15

6 Implementace aplikace 16 6.1 Pouˇzit´e n´astroje . . . 16

(8)

6.1.3 wxWidgets . . . 16

6.2 Popis vlastn´ı implementace . . . 17

6.2.1 Tr´enovac´ı ˇc´ast . . . 17

6.2.2 Detekˇcn´ı ˇc´ast . . . 18

6.2.3 C´ˇast testov´an´ı ´uspˇeˇsnosti . . . 19

6.2.4 C´ˇast vizualizace klasifik´atoru . . . 19

7 Testován´ı 20 7.1 Podm´ınky trénován´ı . . . 20

7.2 Pr˚ubˇeh tr´enov´an´ı . . . 21

7.3 V´ysledn´e detektory . . . 21

7.4 Uk´azka detekce . . . 22

7.5 Testovac´ı sady . . . 22

7.6 Uspˇ´ eˇsnost detektor˚u . . . 22

7.7 Rychlost v detekci . . . 23

8 Z´avˇer 24

A N´avod k pouˇzit´ı aplikace 28

(9)

Kapitola 1

´

Uvod

1.1 Motivace

Detekce objekt˚u v obraze je v souˇcasnosti aktuáln´ı a rozv´ıjej´ıc´ı se vˇedn´ı obor. Své uplatnˇen´ı nalézá vˇsude, kde po poˇc´ıtaˇci nebo jiném výpoˇcetn´ım zaˇr´ızen´ı poˇzadujeme schopnost

”vidˇet“ objekty urˇcitého druhu. D´ıky rostouc´ımu výkonu poˇc´ıtaˇc˚u a cenové dostupnosti hardware se tento obor prosazuje v r˚uzných oblastech informaˇcn´ıch technologi´ı, mimo jiné v biometrii a kybernetice, a zastává nenahraditelnou roli v odliˇsných oblastech výzkumu a pr˚umyslu.

1.2 Obsah pr´

ace

C´ılem mé bakaláˇrské práce bylo navrhnout a implementovat detektor urˇcitého typu a testo-vat jeho vlastnosti. Prvn´ı ˇcást této technické zprávy je zamˇeˇrena na problematiku detekce objekt˚u v obraze a jej´ı teoretická východiska. Druhá ˇcást se zabývá samotnou detekˇcn´ı aplikac´ı. Zde je shrnut´ı toho, o ˇcem pojednávaj´ı jednotlivé kapitoly:

1. kapitola - str´anka, kterou pr´avˇe ˇctete

2. kapitola - vymezen´ı pojm˚u a teorie nutná k pochopen´ı dalˇs´ıho textu 3. kapitola - seznámen´ı s r˚uznými pˇr´ıstupy k detekci objekt˚u v obraze 4. kapitola - popis metody zvolené pro implementaci aplikace

5. kapitola - popis aplikace z hlediska jej´ıho návrhu 6. kapitola - popis d˚uleˇzitých ˇcást´ı implementace aplikace

7. kapitola - pˇredstaven´ı provedeného testován´ı a namˇeˇrených hodnot 8. kapitola - závˇer a nástin moˇzného budouc´ıho vývoje aplikace

(10)

Kapitola 2

Z´

akladn´ı pojmy

V této kapitole vymez´ım základn´ı pojmy, na nˇeˇz bude pozdˇeji v textu odkazováno. Jde o pojmy týkaj´ıc´ı se zpracován´ı obrazu, klasifikace a boostingu. Pojmy na sebe navazuj´ı v poˇrad´ı, v jakém jsou uvedeny.

2.1 Obraz a jeho vlastnosti

V celé této práci je obrazem m´ınˇena digitáln´ı rastrová grafika z´ıskaná fotoaparátem, video-kamerou nebo jiným sn´ımac´ım zaˇr´ızen´ım. V oblasti detekce objekt˚u je pojem obraz zcela bˇeˇznˇe uˇz´ıván se stejným významem a prakticky nikdy nen´ı myˇslen jinak, takˇze nem˚uˇze doj´ıt k nedorozumˇen´ı.

Obraz v naˇsem pojet´ı je grafická informace v podobˇe rastrové matice o urˇcitém poˇctu ˇrádk˚u a sloupc˚u. Nejmenˇs´ı stavebn´ı jednotkou této matice je tzv. pixel. Kaˇzdý pixel je nositelem barevné informace. Obraz lze vn´ımat také jako dvourozmˇerný diskrétn´ı signál.

Pro téma detekce objekt˚u je d˚uleˇzité uvˇedomit si, ˇze rastrový obraz v sobˇe nenese ˇ

zádnou informaci o vzájemném vztahu svých hodnot, pixel˚u. Nen´ı tedy moˇzné pˇr´ımou cestou z obrazu z´ıskat napˇr. jednotlivé objekty na nˇem vyobrazené, jejich tvar ani jejich poˇcet.

2.2 Zpracov´

an´ı obrazu

Jde o aplikaci algoritm˚u na obrazová data. Vˇetˇsinou tyto algoritmy pracuj´ı s jasovou ˇci barevnou informac´ı, nebo data filtruj´ı. Mnoho aplikac´ı uvaˇzuje vstupn´ı obraz jako dvou-rozmˇerný signál a tak s n´ım pˇri zpracován´ı i zacház´ı. Výstupem m˚uˇze být nový obraz nebo zjiˇstˇená informace.

Obraz se ˇcasto zpracovává za úˇcelem snadnˇejˇs´ıho z´ıskán´ı informac´ı z nˇej. To má zásadn´ı význam v detekci objekt˚u, kde algoritmy ze sn´ımk˚u potˇrebuj´ı extrahovat jen urˇcité vˇetˇsinou jednoduché informace (napˇr. hrany, oblasti, rozd´ıly svˇetlosti) a obt´ıˇznˇe by nakládaly s p˚ u-vodn´ım obrazem obsahuj´ıc´ım obrovské mnoˇzstv´ı barevných informac´ı.

Výhodami zpracován´ı digitáln´ıho obrazu jsou n´ızké náklady a oproti analogovému zpra-cován´ı nevzniká ˇzádný ˇsum.

(11)

2.3 Klasifikace

Statistická klasifikace je proces, pˇri kterém se rozhoduje o pˇr´ısluˇsnosti poloˇzek k urˇceným tˇr´ıdám na základˇe kvantitativn´ı znalosti jejich charakteristických vlastnost´ı [6]. Tato znalost vzniká trénován´ım na trénovac´ı mnoˇzinˇe pˇr´ıklad˚u s pˇredem známou pˇr´ısluˇsnost´ı. Jde tedy o formu uˇcen´ı s uˇcitelem (anglicky supervised learning).

Totéˇz nyn´ı vysvˇetl´ım formálnˇe. Mˇejme napˇr´ıklad klasifikaci o dvou tˇr´ıdách:

Y = {−1, +1} (2.1)

Taková klasifikace se nazývá dvou-tˇr´ıdn´ı nebo binárn´ı klasifikace a m˚uˇze znaˇcit napˇr. zda o poloˇzce plat´ı (tˇr´ıda +1) ˇci neplat´ı nˇejaké tvrzen´ı (tˇr´ıda −1). Prvek této klasifikaˇcn´ı mnoˇziny budeme znaˇcit yi, nabývat m˚uˇze hodnot −1 a +1. Dále mˇejme mnoˇzinu poloˇzek X a jej´ı prvky xi. Trénovac´ı mnoˇzina definovaná následuj´ıc´ı rovnic´ı je pak mnoˇzinou dvojic poloˇzek a jejich pˇr´ısluˇsnost´ı k tˇr´ıdám.

{(x1, y1), . . . , (xn, yn)}, x ∈ X, y ∈ Y (2.2) Výstupem trénován´ı na této trénovac´ı mnoˇzinˇe pak bude tzv. klasifikátor

h : X → Y, (2.3)

který prom´ıtá poloˇzku x do pˇr´ısluˇsné klasifikaˇcn´ı tˇr´ıdy y. Jinými slovy, klasifikátor je hle-daná funkce, která by pro dané vstupn´ı xi pˇredepisovala správné výstupn´ı yi. Nalezen´ı této funkce, nebo-li nalezen´ı pˇresného klasifikátoru, je hlavn´ı problém.

2.4 Boosting

Boosting je metoda strojového uˇcen´ı s uˇcitelem. Myˇslenkou boostingu je vytvoˇrit velmi pˇresný klasifikátor (nazýván jako silný) kombinac´ı relativnˇe jednoduchých klasifikátor˚u (nazývaných jako slabé).

Boosting ke své ˇcinnosti vyˇzaduje popsanou trénovac´ı mnoˇzinu, tedy s pˇredem známou pˇr´ısluˇsnost´ı jednotlivých pˇr´ıklad˚u do tˇr´ıd. Na tuto mnoˇzinu je aplikován algoritmus, jehoˇz výstupem je natrénovaný silný klasifikátor.

Existuje nˇekolik boostingových algoritm˚u. Vˇetˇsina z nich pracuje v iterac´ıch. V kaˇzdé iteraci je hledán nový slabý klasifikátor, který by minimalizoval chybu na trénovac´ı mnoˇzinˇe. Kdyˇz je takový klasifikátor nalezen, je mu na základˇe jeho chyby pˇriˇrazena urˇcitá váha. Pak je klasifikátor pˇridán do skupiny budouc´ıho silného klasifikátoru, obvykle proveden´ım operace lineárn´ı kombinace. Na konci iterace jsou jeˇstˇe spoˇcteny nové váhy jednotlivých prvk˚u trénovac´ı mnoˇziny.

Váhy prvk˚u trénovac´ı mnoˇziny maj´ı podstatný vliv na to, jakým zp˚usobem jsou vyb´ırány slabé klasifikátory. Boostingové algoritmy tyto váhy utváˇr´ı postupnˇe v pr˚ubˇehu celého trénován´ı a reflektuj´ı v nich úspˇeˇsnost klasifikace kaˇzdého prvku trénovac´ı mnoˇziny. ˇC´ım menˇs´ı je tato úspˇeˇsnost, t´ım vˇetˇs´ı z´ıskává prvek váhu a naopak. To umoˇzˇnuje algoritmu zamˇeˇrit se v trénován´ı na prvky dˇr´ıve chybnˇe klasifikované a nalézt v nich nové urˇcuj´ıc´ı vlastnosti zlepˇsuj´ıc´ı jejich klasifikaci.

(12)

2.5 Slab´

y klasifik´

ator

Pojem slabý klasifikátor se uˇz´ıvá ve spojen´ı s klasifikac´ı a boostingem. Jde o klasifikátor, který jen velmi vzdálenˇe odpov´ıdá správné klasifikaci, ale zato je obvykle relativnˇe jedno-duchý a rychle spoˇcitatelný.

K detekci objekt˚u se pouˇz´ıvaj´ı r˚uzné druhy slabých klasifikátor˚u citlivých na urˇcité informace extrahované z obrazu (napˇr. svˇetlost, barva). V této práci bude ˇreˇc pouze o tzv. Haarových pˇr´ıznac´ıch, které reaguj´ı na vzájemný vztah sousedn´ıch pixel˚u.

2.6 Haarovy pˇ

r´ıznaky

Haarovy pˇr´ıznaky (anglicky Haar-like features) jsou velmi rychlou alternativou k dˇr´ıve pouˇz´ıvané klasifikaci pracuj´ıc´ı se svˇetlost´ı obrazu. Nevýhoda tohoto pˇr´ıstupu spoˇc´ıvala v jeho ˇcasové sloˇzitosti.

Haarovy pˇr´ıznaky pracuj´ı s obdéln´ıkovými oblastmi p˚uvodn´ıho obrazu. V nich jsou poˇc´ıtány sumy pixel˚u a výsledek pˇr´ıznaku je dán jako rozd´ıl tˇechto sum. Na obrázku

2.1 jsou znázornˇeny nˇekteré Haarovy pˇr´ıznaky. Nejjednoduˇsˇs´ı varianta se skládá ze dvou osovˇe soumˇerných obdéln´ık˚u stejných velikost´ı. Sloˇzitˇejˇs´ı se pak skládaj´ı ze tˇr´ı nebo ˇctyˇr obdéln´ık˚u, pˇr´ıpadnˇe jsou nav´ıc otoˇceny o 45◦.

Obrázek 2.1: Ukázka Haarových pˇr´ıznak˚u vˇcetnˇe nˇekterých diagonáln´ıch variant.

Vysoká rychlost Haarova pˇr´ıznaku souvis´ı s výpoˇctem sum pixel˚u a s pojmem in-tegráln´ı obraz, který byl poprvé zaveden v publikaci autor˚u Viola a Jones [4]. Integráln´ı obraz lze definovat jako dvourozmˇernou matici o rozmˇerech p˚uvodn´ıho obrazu. Kaˇzdý pr-vek této matice obsahuje sumu vˇsech pixel˚u p˚uvodn´ıho obrazu v obdéln´ıku um´ıstˇeném nad a vlevo od tohoto prvku. Integráln´ı obraz takto umoˇzˇnuje v konstantn´ım ˇcase spoˇc´ıtat sumu pixel˚u kterékoliv obdéln´ıkové ˇcásti obrazu pouhým vyhledán´ım 4 hodnot a jejich seˇcten´ım/odeˇcten´ım. Napˇr´ıklad suma pixel˚u ve zvýraznˇeném obdéln´ıku z obrázku 2.2 je vypoˇctena následovnˇe:

SU M = S1− S2− S3+ S4 (2.4)

Obrázek 2.2: Výpoˇcet sumy pixel˚u vnitˇrn´ıho obdéln´ıku integráln´ım obrazem. Body S1 aˇz S4 pˇredstavuj´ı hodnoty v integráln´ım obraze.

(13)

Kapitola 3

Detekce objekt˚

u v obraze

Nyn´ı se zamˇeˇr´ım na popis detekce objekt˚u v obraze, jej´ıch princip˚u a existuj´ıc´ıch metod.

3.1 V´

yznam a pouˇ

zit´ı

Detekce objekt˚u v obraze je poˇc´ıtaˇcová technologie vyhledáván´ı objekt˚u urˇcité tˇr´ıdy v ob-raze. C´ılem je zjistit pozici a velikost kaˇzdého nalezeného objektu.

Detekce objekt˚u se uˇz´ıvá hlavnˇe ve spojen´ı s videokamerou nebo jiným sn´ımac´ım zaˇ r´ıze-n´ım. Takto vybavený poˇc´ıtaˇc je schopen ve sn´ımaném obraze automaticky lokalizovat daný objekt a na jeho výskyt nebo vlastnost dále reagovat. ˇCasto se pouˇz´ıvaj´ı detektory lidských obliˇcej˚u v identifikaˇcn´ıch systémech, kde detektor slouˇz´ı jako pˇredstupeˇn rozpoznáván´ı obliˇcej˚u. Dále jsou detektory objekt˚u uplatˇnovány v oblasti automatizace výrobn´ıch pro-ces˚u, kde mohou slouˇzit jako zaˇr´ızen´ı kontroly výstupn´ı kvality. Jinou aplikac´ı jsou inteli-gentn´ı roboti s videokamerami schopn´ı interakce se svým okol´ım nebo napˇr´ıklad inteligentn´ı videokamery sleduj´ıc´ı pohyb sn´ımané osoby. V mnohých tˇechto aplikac´ıch prob´ıhá detekce v reálném ˇcase, coˇz umoˇzˇnuje stále rostouc´ı výkon výpoˇcetn´ı techniky a jej´ı vysoká dostup-nost.

Aˇckoliv detekce objekt˚u poskytuje poˇc´ıtaˇci schopnost

”vidˇet“ urˇcité objekty, zdaleka nejde o napodoben´ı lidského vidˇen´ı, které je ve své podstatˇe mnohem sloˇzitˇejˇs´ı a kom-plexnˇejˇs´ı. Hloubˇeji se t´ımto zabývá obor poˇc´ıtaˇcové vidˇen´ı, kde detekce objekt˚u figuruje jako jeden z mnoha otevˇrených problém˚u.

3.2 Tˇ

r´ıda objekt˚

u

ˇ

Zádný univerzáln´ı postup jak detekovat libovolné objekty nen´ı. Proto se soustˇred’ujeme vˇzdy na konkrétn´ı tˇr´ıdu objekt˚u, které chceme detekovat.

Objektem dané tˇr´ıdy m˚uˇze být napˇr. automobil nebo lidský obliˇcej, obecnˇe jakýkoliv objekt, který lze pˇri sn´ımán´ı opticky rozliˇsit od okol´ı a který je charakteristický svým vzhle-dem. Stejnˇe jako vˇetˇsina automobil˚u je typických svým tvarem, maj´ı i obliˇceje své charak-teristické znaky, jeˇz sd´ıl´ı a d´ıky nimˇz je lze zároveˇn odliˇsit od objekt˚u, které obliˇceji v˚ubec nejsou. Povaha tˇechto spoleˇcných znak˚u má také vliv na výbˇer vhodného typu detektoru.

(14)

3.3 Principy detekce

Hlavn´ım probl´emem je, jak objekty v obraze detekovat. Obraz je totiˇz pouhou matic´ı ˇ

c´ıselných hodnot bez jakékoliv pˇr´ımé informace o objektech v nˇem.

K detekci vyuˇz´ıváme r˚uzných princip˚u zpracován´ı obrazu a znalost´ı o lidském vidˇen´ı objekt˚u.

3.3.1 Detekce podle barvy

Pokud je objekt význaˇcný svou barvou a za pˇredpokladu, ˇze máme k dispozici barevné sn´ımac´ı zaˇr´ızen´ı, lze pouˇz´ıt tuto jednoduchou metodu detekce. Jej´ı princip se zakládá na zpracován´ı obrazu filtrac´ı barevné informace s vhodnou toleranc´ı odchylky barvy a svˇetlosti. Jakákoliv obrazová data mimo urˇcený rozsah barev a svˇetlosti jsou z obrazu odstranˇena a hledaný objekt z˚ustává.

Problém samozˇrejmˇe nastává v momentˇe, kdy se na sn´ımc´ıch objev´ı jiný objekt stejné barvy. V pˇr´ıpadˇe, ˇze nˇeco takového bˇeˇznˇe nenastane, lze detektor pouˇz´ıt bez pot´ıˇz´ı. V o-statn´ıch pˇr´ıpadech je moˇzné tuto metodu spojit s nˇejakou jinou metodou, která dokáˇze v mnoˇzinˇe zjiˇstˇených objekt˚u eliminovat neˇzádouc´ı pˇr´ıpady.

Detekce podle barvy objektu m˚uˇze být vyuˇzita napˇr´ıklad v kombinaci s detektory obliˇcej˚u, kde pˇredem známe barvu lidské pokoˇzky. V praxi se ale tato kombinace pˇr´ıliˇs nepouˇz´ıvá. Jednak proto, ˇze nefunguje se vˇsemi typy pokoˇzky, a také kv˚uli zkreslen´ı barev vlivem r˚uzných svˇetelných podm´ınek.

3.3.2 Detekce podle pohybu

V pˇr´ıpadˇe aplikace s videosekvenc´ı nebo videokamerou a obrazem sn´ımaným v reálném ˇ

case lze pouˇz´ıt detekci objekt˚u podle pohybu. Jeden z moˇzných princip˚u této metody je zaloˇzen na porovnáván´ı dvou posledn´ıch zachycených sn´ımk˚u a vyhodnocován´ı zmˇen hodnot jednotlivých pixel˚u [2]. Objekty jsou nalezeny vyhledán´ım celistvých oblast´ı, ve kterých doˇslo ke zmˇenˇe dostateˇcnˇe velkého mnoˇzstv´ı pixel˚u.

Podobnˇe jako u metody detekce podle barvy zde nastává problém, kdyˇz se v obraze m˚uˇze pohybovat v´ıce objekt˚u. ˇReˇsen´ım je opˇet pouˇzit´ı tohoto detektoru v kombinaci s dalˇs´ı detekˇcn´ı metodou.

Ve sn´ımaném obraze je potˇreba zohlednit i ˇsum, který zde m˚uˇze vzniknout a který by mohl být detektorem mylnˇe vyhodnocen jako pohybuj´ıc´ı se objekt. K ˇreˇsen´ı je moˇzné pouˇz´ıt jednoduchý filtr ˇsumu, který z vyhodnocených zmˇen pixel˚u odstran´ı malé osamocené oblasti.

3.3.3 Detekce podle hran

Tato metoda je zaloˇzena na zpracován´ı obrazových dat pomoc´ı segmentace. Výstupem seg-mentace jsou nalezené významné oblasti v obraze zjiˇstˇené pomoc´ı detektoru hran nebo napˇr. zkoumán´ım oblast´ı s pˇribliˇznˇe stejnými vlastnostmi pixel˚u. Zjiˇstˇené oblasti jsou ob-vykle dále zkoumány jiným algoritmem. Ten se uplatn´ı v pˇr´ıpadˇe ˇclenitého obraz, kde je potˇreba rozhodnout, která oblast obsahuje hledaný objekt.

Existuje mnoho metod segmentace, detekce hran je jednou z nich. Spoleˇcným c´ılem tˇechto metod je zjednoduˇsit dalˇs´ı zpracován´ı obrazu. Kdyˇz je obraz rozdˇelen do nˇekolika celk˚u, je následná analýza snazˇs´ı. Lze se tak nam´ısto celého obrazu vˇenovat konkrétn´ım vzniklým segment˚um a ty pak tˇreba dále klasifikovat.

(15)

3.3.4 Detekce podle vzoru

V oblasti poˇc´ıtaˇcového vidˇen´ı je detekce objekt˚u podle vzoru tou nejvýˇse postavenou a zároveˇn nejsloˇzitˇejˇs´ı metodou. Vyuˇz´ıvá se zde princip˚u strojového uˇcen´ı na mnoˇzinˇe trénovac´ıch dat.

Detektor mus´ı být nejdˇr´ıve na trénovac´ıch datech nacviˇcen, v ˇcemˇz se tato metoda liˇs´ı od ostatn´ıch. Obvykle se detektor trénuje na sadˇe obrazových dat rozdˇelené do dvou tˇr´ıd s pˇredem známým významem: tˇr´ıda sn´ımk˚u daného objektu a tˇr´ıda sn´ımk˚u bez výskytu tohoto objektu.

Obecnˇe slouˇz´ı trénovac´ı data v procesu trénován´ı k vyhledán´ı informac´ı, vˇetˇsinou za-loˇzených na statistickém pˇr´ıstupu. V oblasti detekce objekt˚u jde o vyhledáván´ı informac´ı popisuj´ıc´ıch vzory v trénovac´ıch datech. Tyto vzory jsou z obrazu z´ıskávány pomoc´ı ma-tematicky spoˇcitatelných pˇr´ıznak˚u. Pokud jsou informace o vzorech nalezeny, je na jejich základˇe vytvoˇren výsledný klasifikátor pouˇzitelný k detekci objekt˚u. Bˇeˇznˇe jde o binárn´ı klasifikátor rozliˇsuj´ıc´ı pouze dvˇe tˇr´ıdy: nacviˇcený objekt a nˇeco jiného neˇz nacviˇcený objekt. Mezi nejznámˇejˇs´ı pˇr´ıstupy k této metodˇe detekce patˇr´ı v souˇcasné dobˇe neuronové s´ıtˇe a boosting. Charakteristické jsou pˇredevˇs´ım svou robustnost´ı, ˇsirokým uplatnˇen´ım a vysokou ´

uspˇeˇsnost´ı. D´ıky tˇemto i dalˇs´ım pˇrednostem si metody detekce objekt˚u podle vzoru z´ıskaly ve svˇete velkou oblibu. Jejich vývoj je stále pˇredmˇetem výzkumu.

Poznámka: Zm´ınˇenou metodou boostingu se budu podrobnˇeji zabývat v následuj´ıc´ı kapitole na stranˇe 10.

(16)

Kapitola 4

Detekce obliˇ

cej˚

u a metoda

AdaBoost

Pro svou práci jsem jako tˇr´ıdu detekovaných objekt˚u zvolil obliˇceje. D˚uvod˚u je nˇekolik. Ze vˇsech tˇr´ıd objekt˚u je detekce obliˇcej˚u pravdˇepodobnˇe nejrozˇs´ıˇrenˇejˇs´ı, coˇz znamená také existenci vˇetˇs´ıho mnoˇzstv´ı literatury na toto téma. Dalˇs´ım d˚uvodem jsou volnˇe dostupné, kvalitn´ı a rozsáhlé databáze trénovac´ıch dat s pˇredzpracovanými sn´ımky obliˇcej˚u. D´ıky exis-tenci tˇechto databáz´ı odpadá potˇreba vytváˇret vlastn´ı trénovac´ı data, coˇz je s ohledem na potˇrebné mnoˇzstv´ı a variabilitu vzork˚u ˇcasovˇe nároˇcný proces. Jiným d˚uvodem je samotná zaj´ımavost obliˇcej˚u jako tˇr´ıdy objekt˚u daná specifickými vlastnostmi, které se u jiných tˇr´ıd obt´ıˇznˇe hledaj´ı.

Obrázek 4.1: Ukázka trénovac´ı mnoˇziny se sn´ımky obliˇcej˚u (zdroj: Yale Face Database)

Jako metodu jsem zvolil detekci podle vzoru zaloˇzenou na algoritmu AdaBoost a na detekˇcn´ım systému Viola & Jones [4]. Tento systém má nˇekolik kl´ıˇcových vlastnost´ı: klasi-fikaci provád´ı pˇres relativnˇe rychlé Haarovy pˇr´ıznaky, k jejich výbˇeru a trénován´ı vyuˇz´ıvá silný algoritmus AdaBoost a m´ısto jediného výsledného klasifikátoru vytváˇr´ı kaskádu klasi-fikátor˚u. Tyto vlastnosti zajistily detekˇcn´ımu systému Viola & Jones znatelnˇe vyˇsˇs´ı rychlost detekce a umoˇznily jeho nasazen´ı v real-time aplikac´ıch, coˇz bylo u podobných systém˚u dˇr´ıve nemyslitelné.

4.1 Princip algoritmu AdaBoost

AdaBoost, aneb adaptivn´ı boosting, je algoritmus strojového uˇcen´ı. Jeho vstupem je po-psaná trénovac´ı mnoˇzina a výstupem silný klasifikátor sestavený ze slabých klasifikátor˚u nalezených v pr˚ubˇehu trénován´ı. Adaptivnost tohoto algoritmu spoˇc´ıvá v jeho schopnosti pˇrizp˚usobit trénován´ı nových klasifikátor˚u dˇr´ıve chybnˇe klasifikovaným pˇr´ıpad˚um.

Mˇejme trénovac´ı mnoˇzinu {(x1, y1), . . . , (xn, yn)}, xi ∈ X, yi ∈ Y = {−1, +1}. Nejdˇr´ıve je inicializována distribuˇcn´ı funkce D1(i) váhuj´ıc´ı pˇr´ıklady v trénovac´ı mnoˇzinˇe. Pak pro iterace t = 1, . . . , T je provádˇena následuj´ıc´ı posloupnost operac´ı [3,5]:

(17)

1. Najdi slabý klasifikátor ht minimalizuj´ıc´ı chybu s ohledem k distribuˇcn´ı funkci Dt(i) 2. Spoˇc´ıtej chybu tohoto klasifikátoru tjako pravdˇepodobnost chybné klasifikace 3. Podle chyby t urˇci váhu αt tohoto klasifikátoru

4. Spoˇc´ıtej novou distribuˇcn´ı funkci Dt+1 pro pˇr´ıˇst´ı iteraci

Nakonec je vytvoˇrena lineárn´ı kombinace slabých klasifikátor˚u ht(x) a jejich vah αt. Vznikne suma: f (x) = T X t=1 αtht(x) (4.1)

Výsledný klasifikátor je pak dán znaménkem této sumy:

H(x) = sign (f (x)) (4.2)

4.2 Kask´

ada klasifik´

ator˚

u

Algoritmus Viola & Jones je charakteristický pouˇzit´ım kaskády klasifikátor˚u. Nen´ı zde pouze jeden silný klasifikátor, ale celá jejich ˇrada (bˇeˇznˇe 10 aˇz 30).

D˚uvodem k pouˇzit´ı kaskády klasifikátor˚u je dosaˇzen´ı vysoké rychlosti detekce objekt˚u. Obraz je totiˇz v naprosté vˇetˇsinˇe pˇr´ıpad˚u tvoˇren velkým mnoˇzstv´ım pozic, kde se nenacház´ı ˇ

zádný hledaný objekt. Detektor obliˇcej˚u m˚uˇze m´ıt aˇz tis´ıce rozhodovac´ıch element˚u. Kdyby vˇsechny tyto elementy musely být spoˇcteny v kaˇzdé pozici v obraze, zpracován´ı celého obrazu by bylo nároˇcnˇejˇs´ı.

Kaskáda klasifikátor˚u umoˇzˇnuje velmi rychle pˇreskoˇcit neˇzádouc´ı pozice v obraze a soustˇredit se tak na oblasti s potenciáln´ım výskytem hledaného objektu. V prvn´ıch stádi´ıch kaskády bývá obvykle jen nˇekolik málo klasifikátor˚u a s dalˇs´ımi stádii jejich poˇcet stoupá. Prvn´ı stádia jsou tedy vyhodnocena rychleji, d´ıky ˇcemuˇz lze aktuáln´ı pozici dˇr´ıve oznaˇcit za neˇzádouc´ı a pˇreskoˇcit ji bez vyhodnocen´ı zbývaj´ıc´ıch stádi´ı, coˇz je kl´ıˇcová vlastnost.

4.3 Faleˇ

sn´

e odezvy

Jedn´ım z d˚uleˇzitých c´ıl˚u pˇri trénován´ı je dosaˇzen´ı co nejniˇzˇs´ıho pod´ılu faleˇsnˇe pozitivn´ıch a také faleˇsnˇe negativn´ıch odezev. Pokud uváˇz´ıme, ˇze v celém obraze je napˇr´ıklad jeden hledaný obliˇcej, znamená to pro detektor velké mnoˇzstv´ı pozic bez obliˇceje, kde by tud´ıˇz nemˇel být ˇzádný obliˇcej faleˇsnˇe detekován. Z tohoto pohledu má velký význam n´ızký pod´ıl faleˇsnˇe pozitivn´ıch odezev. Pro reálné pouˇzit´ı detektoru jde o d˚uleˇzitý parametr, který se v koneˇcném d˚usledku m˚uˇze projevit i v jeho vyˇsˇs´ı rychlosti.

N´ızkého pod´ılu faleˇsnˇe pozitivn´ıch odezev se dosahuje volbou kvalitn´ı a rozsáhlé tr´ enova-c´ı mnoˇziny a dostateˇcnˇe dlouhým trénován´ım. Pro kvalitn´ı detektor by mˇelo být trénován´ı ukonˇceno aˇz po dosaˇzen´ı pod´ılu faleˇsnˇe pozitivn´ıch odezev alespoˇn 0,000005 [1]. Takový detektor v milionu pozic´ıch bez obliˇceje chybnˇe detekuje jen 5 pozic.

(18)

znamená to, ˇze toto okno pˇredstavuje hledaný objekt. V takovém pˇr´ıpadˇe je pozice a velikost okna zaznamenána nebo i vyznaˇcena pˇr´ımo v obraze.

Protoˇze vˇsak neznáme velikost hledaného objektu a chceme, aby detektor byl k velikosti objektu invariantn´ı, mus´ı být procházen´ı obrazu provedeno nˇekolikrát v r˚uzných mˇeˇr´ıtkách. Nemˇen´ı se vˇsak velikost okna, kterým obraz procház´ıme, ale transformuje se velikost celého obrazu. Obraz je po kaˇzdém pr˚uchodu podvzorkován (viz obrázek 4.3) s daným pomˇerem nové a pˇredchoz´ı velikosti a kdyˇz uˇz je tak malý, ˇze jej nelze naˇs´ım oknem procházet, detekce skonˇc´ı.

Pomˇer podvzorkován´ı má vliv na úspˇeˇsnost detekce. Pokud je jeho hodnota nastavena pˇr´ıliˇs n´ızko, je obraz zmenˇsován po velmi malých kroc´ıch. To sice zvyˇsuje pravdˇepodobnost správné detekce vˇsech objekt˚u v obraze, ale detekce je ˇcasovˇe nároˇcnˇejˇs´ı, protoˇze je nutné pr˚uchod obrazem provést v´ıcekrát. Nastaven´ı pˇr´ıliˇs vysoké hodnoty zase vede k rychlé de-tekci, ale detektor ˇcastˇeji nˇejaký objekt v˚ubec nezaznamená, protoˇze jej zkrátka

”pˇrehlédne“. Pˇri implementaci detektoru je snaha minimalizovat poˇcet krok˚u nutných k pr˚uchodu obrazem. K urychlen´ı detekce se vyuˇz´ıvá napˇr. poznatku, ˇze v m´ıstˇe, kde jiˇz byl detekován objekt, nebude pˇr´ıtomen dalˇs´ı objekt stejného druhu. Takovou oblast tedy lze bez obav pˇreskoˇcit.

Jiným pˇr´ıstupem k urychlen´ı detekce je vyuˇzit´ı poznatku, ˇze pokud detekˇcn´ı okno právˇe obsahuje pˇr´ıliˇs ˇclenitou strukturu (napˇr. vˇetvˇe strom˚u), urˇcitˇe nep˚ujde o hledaný objekt. Takové oblasti v obraze jsou m´ıstem s vysokým potenciálem faleˇsnˇe pozitivn´ıch odezev, kde m˚uˇze být klasifikace pomalá. Zde popisovaný pˇr´ıstup spolupracuje s vhodným detektorem hran, který dokáˇze zm´ınˇené oblasti rychle rozpoznat a umoˇzn´ı jim pˇri detekci pˇredej´ıt.

Obr´azek 4.2: Pr˚uchod obrazu pomysln´ym oknem pˇri detekci.

(19)

Kapitola 5

N´

avrh aplikace

V pˇredchoz´ıch kapitolách jsem probral teoretický základ problematiky detekce objekt˚u v ob-raze. Také jsem uvedl a zd˚uvodnil své rozhodnut´ı vˇenovat se detekci obliˇcej˚u s pouˇzit´ım metody AdaBoost. V této a dalˇs´ıch kapitolách se jiˇz budu vˇenovat praktické ˇcásti své práce, formulaci c´ıle, jeho realizaci a testován´ı.

C´ılem mé bakaláˇrské práce bylo navrhnout a implementovat detektor objekt˚u urˇcitého typu a testovat jeho vlastnosti. Jelikoˇz existuj´ı kvalitn´ı a volnˇe dostupné implementace r˚uzných detekˇcn´ıch algoritm˚u, bylo jiˇz od zaˇcátku poˇc´ıtáno s pouˇzit´ım jedné z nich. Mým ´

ukolem tud´ıˇz bylo soustˇredit se na návrh a proveden´ı aplikace, která by nad pouˇzitou knihovnou vytváˇrela intuitivn´ı grafické rozhran´ı poskytuj´ıc´ı funkce spojené s pˇr´ısluˇsnou metodou detekce objekt˚u.

Celá aplikace byla v návrhu rozdˇelena do nˇekolika samostatných ˇcást´ı. Hlavn´ı jsou ˇ

c´asti

”Trénován´ı“ a ”Detekce“. Mimo tyto byly v aplikaci navrhnuty jeˇstˇe ˇcásti ” Nasta-ven´ı trénován´ı“,

”Testován´ı úspˇeˇsnosti“ a ”Vizualizace klasifikátoru“. Vyjmenované ˇcásti zde nyn´ı pop´ıˇsi.

5.1 Tr´

enov´

an´ı

´

Uˇcelem této ˇcásti je umoˇznit uˇzivateli vytvoˇrit vlastn´ı klasifikátor. Trénován´ı vyˇzaduje mnoˇzinu trénovac´ıch dat s pˇredem známým pˇriˇrazen´ım prvk˚u do tˇr´ıd. Pˇredpokládá se exis-tence dvou adresáˇr˚u s obrazovými soubory, jeden s pozitivn´ımi pˇr´ıklady - sn´ımky daného objektu - a druhý s negativn´ımi pˇr´ıklady - sn´ımky bez výskytu daného objektu. Aplikace nab´ıdne uˇzivateli moˇznost volby tˇechto adresáˇr˚u.

Pomoc´ı pˇr´ısluˇsného tlaˇc´ıtka dá uˇzivatel pokyn k pˇr´ıpravˇe na trénován´ı. Aplikace pro-vede kontrolu a naˇcte obrazové soubory ze zvolených adresáˇr˚u. O pˇr´ıpadných problémech s naˇc´ıtán´ım sn´ımk˚u je uˇzivatel informován prostˇrednictv´ım výpisu. Jakmile tato pˇr´ıprava skonˇc´ı, informuje aplikace uˇzivatele kolik bylo úspˇeˇsnˇe naˇcteno sn´ımk˚u.

Dále aplikace nab´ıdne uˇzivateli volbu c´ıle, kam bude po dokonˇcen´ı trénován´ı uloˇzen výsledný klasifikátor v podobˇe konfiguraˇcn´ıho souboru. Trénován´ı pak uˇzivatel spust´ı tla-ˇ

c´ıtkem. V pr˚ubˇehu trénován´ı budou zobrazovány podrobné informace, napˇr. aktuáln´ı chyba klasifikátoru.

Jelikoˇz je trénován´ı dlouhodobý proces, který m˚uˇze trvat i na výkonném stroji nˇekolik dn´ı, pˇredpokládá se, ˇze do c´ılového adresáˇre budou pr˚ubˇeˇznˇe ukládány hotové ˇcásti tr´

(20)

eno-Obrázek 5.1: Blokové schema trénovac´ı ˇcásti aplikace.

5.2 Nastaven´ı tr´

enov´

an´ı

Trénován´ı klasifikátoru lze ovlivnit nˇekolika parametry, jako poˇcet stádi´ı, c´ılový pod´ıl faleˇsnˇe pozitivn´ıch odezev, rozmˇery vzorku a dalˇs´ımi. Aplikace poskytne uˇzivateli pˇrehled o tˇechto parametrech a umoˇzn´ı mu tyto pˇred trénován´ım upravit dle potˇreby. Aplikace mus´ı kont-rolovat správnost zadaných parametr˚u. V pˇr´ıpadˇe chybného parametru upozorn´ı uˇzivatele a znemoˇzn´ı mu spuˇstˇen´ı trénován´ı, dokud nebude parametr zadán správnˇe.

5.3 Detekce

Detekˇcn´ı ˇcást aplikace slouˇz´ı k proveden´ı detekce objekt˚u v konkrétn´ım obraze. Pouˇzije se zde jiˇz hotový natrénovaný klasifikátor. Aplikace nab´ıdne uˇzivateli volbu soubor s konfigu-rac´ı klasifikátoru a volbu vstupn´ıho obrazového souboru. Prostˇrednictv´ım zvoleného kla-sifikátoru jsou následnˇe ve zvoleném obraze detekovány vˇsechny výskyty objekt˚u té tˇr´ıdy, na které byl klasifikátor nacviˇcen. Obraz je pak uˇzivateli zobrazen s vyznaˇcen´ım vˇsech zjiˇstˇených pozic a jejich velikost´ı. Aplikace pro uˇzivatel˚uv pˇrehled uvede celkový poˇcet ob-jekt˚u detekovaných v obraze.

C´ılem této ˇcásti aplikace je umoˇznit uˇzivateli otestovat natrénovaný klasifikátor na konkrétn´ıch sn´ımc´ıch a ovˇeˇrit tak jeho správné chován´ı. K testován´ı úspˇeˇsnosti detekce nad v´ıce sn´ımky je vhodné pouˇz´ıt ˇcást

”Testov´an´ı ´uspˇeˇsnosti“.

Obrázek 5.2: Blokové schema detekˇcn´ı ˇcásti aplikace.

5.4 Testov´

an´ı ´

uspˇ

eˇ

snosti

Tato ˇcást slouˇz´ı k zmˇeˇren´ı úspˇeˇsnosti daného klasifikátoru. Mˇeˇren´ı se provád´ı na mnoˇzinˇe testovac´ıch pozitivn´ıch pˇr´ıklad˚u. Pˇredpokládá se existence adresáˇre s obrazovými soubory,

(21)

na kterých má být testován´ı provedeno. Uˇzivatel v aplikaci zvol´ı tento adresáˇr a sou-bor s konfigurac´ı klasifikátoru, který má být testován. Kliknut´ım na tlaˇc´ıtko je testován´ı spuˇstˇeno a po jeho skonˇcen´ı je uˇzivateli zobrazena informace o namˇeˇrené úspˇeˇsnosti.

Zpracován´ı vˇetˇs´ıho mnoˇzstv´ı obrazových dat m˚uˇze trvat delˇs´ı dobu. Proto bude v pr˚ u-bˇehu testován´ı zobrazena informace o postupu, aby uˇzivatel mˇel pˇrehled o poˇctu jiˇz zpra-covaných sn´ımk˚u a mohl odhadnout dobu zbývaj´ıc´ı do konce testován´ı.

Obrázek 5.3: Blokové schema testován´ı úspˇeˇsnosti.

5.5 Vizualizace klasifik´

atoru

Tato funkce aplikace je urˇcena sp´ıˇse k výukovým nebo demonstraˇcn´ım úˇcel˚um. Slouˇz´ı k znázornˇen´ı toho, co je výsledkem celého procesu trénován´ı klasifikátoru. Zobraz´ı totiˇz vnitˇrn´ı stavbu kaskády klasifikátoru a znázorn´ı rozloˇzen´ı jednotlivých pˇr´ıznak˚u, tak jak budou pouˇzity pˇri detekci objekt˚u.

Aplikace si od uˇzivatele vyˇzádá volbu souboru s konfigurac´ı klasifikátoru. Po jeho naˇcten´ı nab´ıdne seznam jednotlivých stádi´ı kaskády, v kaˇzdém stádiu jednotlivé klasifikátory a pro kaˇzdý z nich pˇr´ısluˇsné pˇr´ıznaky. Uˇzivatel má moˇznost mezi jednotlivými stádii, klasifikátory a pˇr´ıznaky libovolnˇe pˇrep´ınat, pˇriˇcemˇz mu vˇzdy bude zobrazena vizualizace momentálnˇe zvoleného pˇr´ıznaku a dalˇs´ı údaje jako levá a pravá hodnota prvku rozhodovac´ıho stromu, prahová hodnota a váhy jednotlivých ˇcást´ı pˇr´ıznaku.

(22)

Kapitola 6

Implementace aplikace

Navrˇzenou aplikaci jsem implementoval v programovac´ım jazyce C++ s pouˇzit´ım knihovny OpenCV pro detekci objekt˚u v obraze a s pouˇzit´ım GUI knihovny wxWidgets pro realizaci uˇzivatelsk´eho rozhran´ı. Pro implementaci ˇc´asti

”Trénován´ı“ jsem pouˇzil zdrojový kód pro-gramu haartraining, který je dodáván s knihovnou OpenCV. Vˇsechny ˇcásti, jichˇz nejsem autorem, byly pouˇzity v souladu s licenˇcn´ımi ujednán´ımi tˇechto ˇcást´ı.

Popsané ˇreˇsen´ı jsem zvolil kv˚uli mé znalosti jazyka C++ a kv˚uli pˇredeˇslé kladné zku-ˇsenosti s knihovnou wxWidgets. Knihovnu OpenCV jsem zvolil na základˇe doporuˇcen´ı ve-douc´ıho této práce.

Výhodami zvoleného ˇreˇsen´ı jsou pˇrenositelnost kódu mezi r˚uznými operaˇcn´ımi systémy a snadná pouˇzitelnost, pˇr´ıpadnˇe i moˇznost dalˇs´ıho rozˇs´ıˇren´ı. Aplikaci lze provozovat na majoritn´ıch operaˇcn´ıch systémech Linux, Windows a zˇrejmˇe i Mac OS X. Funkˇcnost byla ovˇeˇrena pouze pod operaˇcn´ım systémem Linux, ve kterém byla aplikace vyv´ıjena, a ˇcásteˇcnˇe pod systémem Windows.

6.1 Pouˇ

zit´

e n´

astroje

6.1.1 OpenCV

OpenCV (Open Source Computer Vision) je rozsáhlá volnˇe pouˇzitelná knihovna zamˇeˇrená na aplikace v oboru poˇc´ıtaˇcového vidˇen´ı. Kromˇe mnoha jiných úˇcel˚u, ke kterým se pouˇz´ıvá, ji lze vyuˇz´ıt k detekci objekt˚u v obraze. Pouˇzita byla knihovna OpenCV verze 1.0.0. Aktuáln´ı verzi lze z´ıskat na URLhttp://opencvlibrary.sourceforge.net/.

6.1.2 Haartraining

Knihovna OpenCV je dodávána se zdrojovým kódem programu haartraining. Tento pro-gram slouˇz´ı k natrénován´ı klasifikátoru pomoc´ı nˇekteré z variant algoritmu AdaBoost. Knihovna OpenCV samotná nedisponuje funkcemi pro trénován´ı klasifikátoru. Aby vlastn´ı aplikace mohla uˇzivateli nab´ıdnout tuto funkcionalitu, vyuˇz´ıvá právˇe programu haartraining a jeho definovaného rozhran´ı.

6.1.3 wxWidgets

Knihovna wxWidgets je volnˇe pouˇzitelný multiplatformn´ı nástroj pro tvorbu grafického uˇzivatelského rozhran´ı (GUI - Graphical user interface). Poskytuje jednotné aplikaˇcn´ı

(23)

roz-hran´ı (API - Application programming interface) a umoˇzˇnuje tak vytváˇret aplikace pro r˚uzné operaˇcn´ı systémy, aniˇz by bylo potˇreba pro kaˇzdý systém psát odliˇsný zdrojový kód. Pˇri vývoji aplikace byla pouˇzita knihovna wxWidgets (konkrétnˇe wxGTK) verze 2.8.7. Aplikace je vˇsak pˇreloˇzitelná i s niˇzˇs´ımi verzemi knihovny.

Knihovnu wxWidgets lze z´ıskat na URL http://www.wxwidgets.org/.

6.2 Popis vlastn´ı implementace

V této podkapitole proberu jednotlivé ˇcásti aplikace a zp˚usob jejich implementace. Pouˇzité funkce a jiné symboly jsou v textu vyznaˇceny zvláˇstn´ım zp˚usobem. V jejich názvech se lze orientovat podle poˇcáteˇcn´ıch p´ısmen. V´ıce viz následuj´ıc´ı tabulka.

prefix v´yznam

cv funkce knihovny OpenCV icv funkce programu haartraining

wx funkce nebo tˇr´ıda knihovny wxWidgets

jin´e vlastn´ı funkce nebo standardn´ı funkce C/C++

Tabulka 6.1: Významy poˇcáteˇcn´ıch p´ısmen (prefix˚u) v názvech symbol˚u.

6.2.1 Tr´enovac´ı ˇc´ast

Tato ˇcást vyuˇz´ıvá rozhran´ı programu haartraining k vytvoˇren´ı konfiguraˇcn´ıch soubor˚u trénovac´ı mnoˇziny a ke spuˇstˇen´ı trénován´ı, jehoˇz výstupem je konfiguraˇcn´ı soubor kla-sifikátoru. Program haartraining vyˇzaduje k trénován´ı data trénovac´ı mnoˇziny, ale ne-umoˇzˇnuje pouˇz´ıt pˇr´ımo adresáˇre s obrazovými soubory. Je potˇreba vytvoˇrit dva pomocné soubory - VEC soubor pro pozitivn´ı pˇr´ıklady a BG soubor pro negativn´ı pˇr´ıklady.

VEC soubor obsahuje pˇredzpracované vzorky pozitivn´ıch pˇr´ıklad˚u. Dˇel´ı se na hlaviˇcku s údaji o svém obsahu a tˇelo, které obsahuje vzorky pozitivn´ıch pˇr´ıklad˚u, napˇr. sn´ımky obliˇcej˚u. Tyto vzorky jsou vytvoˇreny z p˚uvodn´ıch sn´ımk˚u jejich pˇreveden´ım do ˇsedé ˇskály a zmenˇsen´ım na poˇzadované rozmˇery. Rozmˇery vzork˚u postaˇcuj´ı velmi malé, napˇr´ıklad jen 20×20 pixel˚u (lze nastavit). D´ıky tomu je VEC soubor i pˇri velkém mnoˇzstv´ı sn´ımk˚u relativnˇe malý. Pro zápis vzork˚u vyuˇz´ıvám dvou funkc´ı z rozhran´ı programu haartraining - funkce icvWriteVecHeader zap´ıˇse hlaviˇcku a icvWriteVecSample zap´ıˇse konkrétn´ı vzorek. Celý postup vytvoˇren´ı VEC souboru, od z´ıskán´ı seznamu soubor˚u, pˇres jejich pˇrevod a zmˇenu velikosti, aˇz po zápis, obstarává vlastn´ı funkce MakeVecFile. Jako argumenty tato funkce pˇrij´ımá cestu k adresáˇri s pozitivn´ımi pˇr´ıklady, cestu k výslednému VEC souboru a poˇzadované rozmˇery vzork˚u.

BG soubor obsahuje výˇcet soubor˚u adresáˇre s negativn´ımi pˇr´ıklady. Oproti binárn´ımu VEC souboru je v textovém formátu. K vytvoˇren´ı BG souboru slouˇz´ı vlastn´ı funkce Make-BgFile. Ta ze zadaného adresáˇre z´ıská seznam soubor˚u, ovˇeˇr´ı, zda jde o obrazové soubory, a do výstupn´ıho souboru zaznamená jejich cesty. Argumenty této funkce jsou pouze cesta k adresáˇri s negativn´ımi pˇr´ıklady a cesta k výstupn´ımu BG souboru.

(24)

e-cesty k pˇripraveným VEC a BG soubor˚um. Dále funkce pˇrij´ımá velké mnoˇzstv´ı jiných argu-ment˚u ovlivˇnuj´ıc´ıch pr˚ubˇeh trénován´ı. Tˇemito parametry jsou zejména poˇcet pozitivn´ıch a negativn´ıch pˇr´ıklad˚u, poˇcet stádi´ı trénován´ı, rozmˇery vzork˚u ve VEC souboru, c´ılový pomˇer faleˇsnˇe pozitivn´ıch odezev, varianta algoritmu AdaBoost, sada Haarových pˇr´ıznak˚u a dalˇs´ı. Vˇsechny parametry je moˇzné nastavit v grafickém rozhran´ı aplikace v ˇcásti

”Nastaven´ı trénován´ı“. Funkci jsou pak tyto parametry pˇredány pˇri jej´ım zavolán´ı.

Funkce cvCreateTreeCascadeClassifier spouˇst´ı proces trénován´ı. Bˇehem nˇej jsou funkc´ı printf pr˚ubˇeˇznˇe tisknuty informace na standardn´ı výstup. Aby mohly být tyto informace m´ısto standardn´ıho výstupu zobrazeny v oknˇe vlastn´ı aplikace, musel jsem m´ırnˇe zasáhnout do zdrojových kód˚u programu haartraining. Do dvou soubor˚u jsem pˇridal definici makra C++ prekompilátoru, které pˇri kompilaci pˇrep´ıˇse volán´ı standardn´ı funkce printf na volán´ı mé vlastn´ı pˇripravené funkce MyPrintf. Tato funkce se stará o pˇredáván´ı veˇskerého výstupu do pˇr´ısluˇsné komponenty wxTextCtrl.

Prosté zavolán´ı tak nároˇcné funkce jako cvCreateTreeCascadeClassifier nen´ı v grafické aplikaci vhodné. Doˇslo by k pˇreruˇsen´ı zpracováván´ı veˇskerých událost´ı rozhran´ı a aplikace by dlouhou dobu nereagovala na uˇzivatelské vstupy ani by nedocházelo k pˇrekreslován´ı jej´ıho okna. Tento problém jsem se rozhodl vyˇreˇsit vyhrazen´ım nového vlákna v bˇeˇz´ıc´ı aplikaci pouze pro potˇreby trénovac´ı funkce. Vlákno je definováno jako vlastn´ı tˇr´ıda odvozená z tˇr´ıdy wxThread. Vytvoˇreno a spuˇstˇeno je pˇri kaˇzdém trénován´ı. Kdyˇz trénován´ı skonˇc´ı, vlákno samo zanikne a uvoln´ı vyuˇzité prostˇredky. Pozastaven´ı ani pˇreruˇsen´ı bˇeˇz´ıc´ıho vlákna jsem vˇsak neimplementoval, aˇckoliv by to bylo velmi uˇziteˇcné. Implementace tˇechto funkc´ı by totiˇz vyˇzadovala vˇetˇs´ı zásah do zdrojových kód˚u programu haartraining nebo úplnˇe jiný pˇr´ıstup.

6.2.2 Detekˇcn´ı ˇc´ast

Detekˇcn´ı ˇcást aplikace vykonává detekci objekt˚u v daném obraze. K ˇcinnosti je potˇreba natrénovaný klasifikátor. Soubor s konfigurac´ı klasifikátoru je nejdˇr´ıve naˇcten funkc´ı Lo-adClassifier, která jen zapouzdˇruje funkci cvLoad. Dále mus´ı být naˇcten samotný obraz, coˇz je provedeno funkc´ı cvLoadImage. Detekce objekt˚u je pak vyvolána vlastn´ı funkc´ı De-tectObjects, která pˇri úspˇechu vrát´ı souˇradnice vˇsech nalezených objekt˚u. Do obrazu tyto souˇradnice vyznaˇc´ı v podobˇe obdéln´ık˚u funkce DrawRectangles. Výsledný obraz je nakonec zobrazen uˇzivateli v oknˇe odvozeném od tˇr´ıdy wxScrolledWindow.

V této ˇcásti aplikace je zásadn´ı funkce DetectObjects. V p˚uvodn´ım návrhu aplikace se poˇc´ıtalo s vlastn´ı implementac´ı detekce objekt˚u postupným pr˚uchodem obrazu, ale zvo-lená knihovna OpenCV disponuje jednoduˇse pouˇzitelnou funkc´ı cvHaarDetectObjects, která tento úkon jiˇz implementuje. Funkce DetectObjects tedy jen vytváˇr´ı podm´ınky pro pouˇzit´ı knihovn´ı funkce (pˇriprav´ı poˇzadované promˇenné, struktury, alokuje a uvoln´ı pamˇet’), volá tuto funkci s pˇrednastavenými parametry a výstup, tedy seznam souˇradnic, pˇredává do snadno zpracovatelného C++ typu vector.

Pˇrednastavenými parametry funkce cvHaarDetectObjects jsou pomˇer podvzorkován´ı ob-razu, minimáln´ı poˇcet soused˚u detekovaných oblast´ı pro vyˇrazen´ı nˇekolikanásobné detekce stejného objektu v r˚uzných mˇeˇr´ıtkách a zapnut´ı ˇci vypnut´ı detektoru hran, který pˇredcház´ı oblastem v obraze s pˇr´ıliˇs ˇclenitou strukturou.

Vlastn´ı funkce DetectObjects ve svém tˇele vstupn´ı obraz pˇrevzorkuje na poloviˇcn´ı veli-kost. Dle OpenCV manuálu [7] je d´ıky tomu moˇzné zvýˇsit rychlost detekce.

Jako argumenty funkce DetectObjects pˇrij´ımá ukazatel na naˇctený klasifikátor, ukazatel na vstupn´ı obraz a ukazatel na vector pro zaznamenán´ı z´ıskaných souˇradnic.

(25)

6.2.3 C´ˇast testov´an´ı ´uspˇeˇsnosti

Testován´ı úspˇeˇsnosti klasifikátoru je zaloˇzeno na proveden´ı detekce nad mnoˇzinou pozi-tivn´ıch testovac´ıch pˇr´ıklad˚u. Mˇeˇr´ı se poˇcet sn´ımk˚u, v nichˇz byl detekován právˇe jeden ob-jekt (obliˇcej). Úspˇeˇsnost klasifikátoru je pak dána pomˇerem celkového poˇctu sn´ımk˚u k poˇctu správnˇe detekovaných sn´ımk˚u.

Implementace této ˇcásti aplikace je podobná ˇcásti

”Detekce“. Nejdˇr´ıve je naˇcten daný klasifikátor, opˇet pomoc´ı funkce LoadClassifier. Dále je z´ıskán seznam vˇsech soubor˚u v ad-resáˇri s testovac´ımi sn´ımky a na kaˇzdém z nich se provede detekce funkc´ı DetectObjects, která vrac´ı poˇcet detekovaných objekt˚u. Zároveˇn je mˇeˇrena statistika úspˇeˇsnosti detekce, jak byla vysvˇetlena v tomto textu výˇse.

6.2.4 C´ˇast vizualizace klasifik´atoru

V této ˇcásti aplikace je úkolem znázornit vnitˇrn´ı strukturu souboru s konfigurac´ı natr´ e-novaného klasifikátoru. Tento soubor je programem haartraining ukládán v obecném XML formátu. K z´ıskán´ı struktury klasifikátoru je potˇreba tento soubor pˇreˇc´ıst a obsah vhodným zp˚usobem interpretovat. Nemus´ıme k tomu vˇsak pouˇz´ıt dalˇs´ı knihovnu pro zpracován´ı XML soubor˚u. Knihovna OpenCV má vestavˇen potˇrebný interpret, coˇz vlastnˇe vyplývá i z toho, ˇ

ze um´ı klasifikátor z XML souboru naˇc´ıst a zpracovat sama. Tuto funkcionalitu skrývá v´ıceúˇcelová funkce cvLoad, která daný XML soubor naˇcte do pˇredem definovaných da-tových struktur. Odtud je jiˇz moˇzné z´ıskat popis klasifikátoru pˇr´ımoˇcaˇre. Jednotlivé datové struktury jsou zdokumentovány v manuálu OpenCV [7] a z´ıskan´ı jejich údaj˚u je jen otázkou pˇr´ıstupu k záznam˚um a pol´ım.

Kaskádový klasifikátor se v OpenCV skládá ze stádi´ı, stádium z jednotlivých klasi-fikátor˚u a klasifikátor z Haarových pˇr´ıznak˚u. Jednotlivá stádia jsou z´ıskána ze struktury Cv-HaarClassifierCascade, jednotlivé klasifikátory pˇr´ısluˇsné kaskády nab´ızi struktura CvHaar-StageClassifier, Haarovy pˇr´ıznaky klasifikátoru jsou k nalezen´ı ve struktuˇre CvHaarClas-sifier a konkrétn´ı ˇcásti jednoho pˇr´ıznaku obsahuje struktura CvHaarFeature. Informacemi z tˇechto struktur jsou naplnˇeny ovladatelné prvky wxList, z kterých si uˇzivatel m˚uˇze vyb´ırat poloˇzky.

Vizualizace Haarových pˇr´ıznak˚u spoˇc´ıvá v naˇcten´ı údaj˚u konkrétn´ıho pˇr´ıznaku a jejich pˇreveden´ı do grafické formy. O kaˇzdém pˇr´ıznaku jsou v pˇr´ısluˇsných strukturách zazna-menány souˇradnice, velikosti a váhy jeho d´ılˇc´ıch obdéln´ık˚u. Obdéln´ıky m˚uˇzou být dva nebo tˇri. Dále jsou k pˇr´ıznak˚um vedeny informace o jejich pootoˇcen´ı o 45◦, tedy zda jsou dia-gonáln´ı ˇci nikoliv. Vˇsechny tyto informace kromˇe váhy (ta nen´ı pro vizualizaci potˇrebná) jsou vyuˇzity vlastn´ı funkc´ı DrawFeature k zakreslen´ı obdéln´ık˚u do rastrového obrazu. Kres-len´ı je umoˇznˇeno provést v libovolném mˇeˇr´ıtku. Funkce DrawFeature vrac´ı obraz daných rozmˇer˚u jako objekt tˇr´ıdy wxBitmap. Obraz je v aplikaci dále zobrazen v oknˇe odvozeném od tˇr´ıdy wxScrolledWindow.

(26)

Kapitola 7

Testov´

an´ı

Na implementované aplikaci nyn´ı pˇredstav´ım provedené testován´ı. Jedná se o srovnán´ı dvou detektor˚u: jednoho s pouˇzit´ım kaskády klasifikátor˚u a druhého bez této kaskády. C´ılem bylo ovˇeˇrit, zda kaskáda v praxi opravdu pˇrináˇs´ı znatelnˇe vyˇsˇs´ı rychlost detekce, a pˇr´ıpadnˇe zmˇeˇrit, jak je toto zrychlen´ı veliké.

7.1 Podm´ınky tr´

enov´

an´ı

Trénovac´ı mnoˇzina zvolená k trénován´ı obsahovala asi 2400 pozitivn´ıch pˇr´ıklad˚u obliˇcej˚u o rozmˇerech 19 x 19 pixel˚u a zhruba 23500 negativn´ıch pˇr´ıklad˚u o stejných rozmˇerech. Tento témˇeˇr desetinásobný poˇcet negativn´ıch pˇr´ıklad˚u jsem zvolil z toho d˚uvodu, ˇze v dobˇe tes-tován´ı jsem nemˇel k dispozici jinou databázi sn´ımk˚u s vˇetˇs´ım rozliˇsen´ım. Jinak by postaˇcilo napˇr´ıklad asi 4000 aˇz 5000 negativn´ıch pˇr´ıklad˚u s rozliˇsen´ım 384 x 288 pixel˚u.

Pˇred samotným trénován´ım bylo nutné nastavit parametry obou detektor˚u a kritérium ukonˇcen´ı trénován´ı. Pˇri volbˇe parametr˚u jsem vycházel z pˇrednastavených hodnot pro-gramu haartraining. Pro oba detektory jsem zvolil jako boostingový algoritmus obecnˇe doporuˇcovaný Gentle AdaBoost, mnoˇzinu Haarových pˇr´ıznak˚u jsem nastavil na svislé a vodorovné (diagonáln´ı pˇr´ıznaky se projevily jako podstatnˇe nároˇcnˇejˇs´ı na výkon poˇc´ıtaˇce), rozmˇery detekˇcn´ıho okna jsem nastavil na 19 x 19 pixel˚u (celá trénovac´ı mnoˇzina je v tomto rozliˇsen´ı), povolil jsem optimalizaci pro symetrické objekty (obliˇceje lze povaˇzovat za syme-trické) a zbylé parametry jsem ponechal ve výchoz´ım nastaven´ı.

Kritéria pro ukonˇcen´ı trénován´ı byla nastavena s c´ılem dosaˇzen´ı pˇribliˇznˇe stejné úspˇeˇ s-nosti detekce obou detektor˚u. Prvn´ı detektor jsem tedy nastavil tak, aby pomˇer faleˇsnˇe pozitivn´ıch odezev v kaˇzdém stádiu byl menˇs´ı jak 0,5 a poˇcet stádi´ı jsem zvolil 10. To by mˇelo ve výsledku dát detektor s pomˇerem faleˇsnˇe pozitivn´ıch odezev minimálnˇe 0,510, tedy 0,000976562. Nejde o ˇzádnou vysokou pˇresnost, pro testován´ı vˇsak postaˇcuje. Druhý detektor byl nastaven pro vytvoˇren´ı jediného stádia s t´ım, ˇze by trénován´ı mˇelo v tomto stádiu dosáhnout stejného pomˇeru faleˇsnˇe pozitivn´ıch odezev jako celá kaskáda prvn´ıho detektoru.

Trénován´ı jsem provozoval na poˇc´ıtaˇci s procesorem Intel Celeron M 1,3 GHz a operaˇcn´ı pamˇet´ı 512 MB. Pro trénován´ı detektoru nejde o pˇr´ıliˇs vhodnou konfiguraci. K dispozici jsem sice mˇel výkonnˇejˇs´ı stroj, ale na nˇem se mi nepodaˇrilo trénovac´ı aplikaci vˇcas zprovoznit.

(27)

7.2 Pr˚

ubˇ

eh tr´

enov´

an´ı

Trénován´ı prvn´ıho detektoru s kaskádami bylo v pozdˇejˇs´ıch stádi´ıch problematické. Jak se dalo oˇcekávat, potýkal jsem se pˇredevˇs´ım s nedostateˇcným výkonem poˇc´ıtaˇce a nedostat-kem operaˇcn´ı pamˇeti. Vlivem toho byl postup v trénován´ı pomalý. Pˇredevˇs´ım ve fáz´ıch mezi stádii, kde trénovac´ı algoritmus zpracovával sn´ımky, docházelo k neúnosnˇe dlouhým prodlevám. Po pˇreruˇsen´ı a opˇetovném spuˇstˇen´ı trénován´ı od m´ısta pˇreruˇsen´ı vˇsak k ˇzádné prodlevˇe jiˇz nedoˇslo. Pˇr´ıˇcinu se mi nepodaˇrilo objasnit. Nicménˇe i pˇresto jsem trénován´ı dokonˇcil. Jen pro zaj´ımavost uvád´ım, ˇze doba zpracován´ı negativn´ıch pˇr´ıklad˚u se s kaˇzdým novým stádiem zdvojnásobovala a v desátém stádiu dosahovala témˇeˇr 4 hodin. Pro dalˇs´ı dvˇe stádia by jen toto zpracován´ı trvalo témˇeˇr celý den. A v tomto ˇcase jeˇstˇe nen´ı zapoˇcteno samotné trénován´ı.

Abych trénován´ı urychlil, experimentoval jsem s niˇzˇs´ım poˇctem negativn´ıch pˇr´ıklad˚u (stále na stejné mnoˇzinˇe sn´ımk˚u 19 x 19 pixel˚u), ale v tomto pˇr´ıpadˇe trénován´ı pravidelnˇe selhávalo, protoˇze algoritmus po nˇejaké dobˇe jiˇz nenalézal dobré slabé klasifikátory, které by dále minimalizovaly chybu detektoru.

Trénován´ı druhého detektoru bez kaskády bylo podstatnˇe rychlejˇs´ı a bezproblémové. Doˇslo zde jen k jednomu zpracován´ı negativn´ıch pˇr´ıklad˚u (pokud nepoˇc´ıtám závˇereˇcné mˇeˇren´ı pˇresnosti detektoru), takˇze problémy spojené s trénován´ım prvn´ıho detektoru se nestihly projevit. Bˇehem trénován´ı byly stále nalézány nové slabé klasifikátory a chyba ´

uspˇeˇsnˇe klesala aˇz pod stanovenou mez.

Pokud zanedbám zm´ınˇené pot´ıˇze s prvn´ım detektorem, trvalo jeho natrénován´ı odhadem asi 16 hodin. Druhý detektor se podaˇrilo na stejném stroji natrénovat bez pˇreruˇsován´ı za necelé 4 hodiny.

7.3 V´

ysledn´

e detektory

Výsledky trénován´ı jsou popsány v tabulce 7.1. Sloupec HR (hit rate) v tabulce oznaˇcuje pomˇer kladných odezev pro pozitivn´ı pˇr´ıklady trénovac´ı mnoˇziny (ideálnˇe 1,0) a sloupec FA (false alarm rate) oznaˇcuje pomˇer faleˇsnˇe pozitivn´ıch odezev pro negativn´ı pˇr´ıklady trénovac´ı mnoˇziny (ideálnˇe 0,0).

detektor stádi´ı pˇr´ıznak˚u HR FA ˇcas trénován´ı 1. s kaskádou 10 89 0,958419 0,000127269 16h? 2. bez kaskády 1 43 0,995060 0,000593915 4h

Tabulka 7.1: Výsledné parametry trénovaných detektor˚u.

V tabulce stoj´ı za povˇsimnut´ı rozd´ıl v pomˇeru kladných odezev (HR), na nˇejˇz má vliv pouˇzit´ı kaskády klasifikátor˚u. Pˇred trénován´ım byl nastaven tento pomˇer na minimáln´ı poˇzadovanou hodnotu 0,995. Detektoru bez kaskády se tento poˇzadavek podaˇrilo dodrˇzet, protoˇze po celou dobu trénován´ı pracoval s kompletn´ı trénovac´ı mnoˇzinou a algoritmus mohl vyb´ırat nové pˇr´ıznaky s ohledem na dodrˇzen´ı této hodnoty. Detektor s kaskádou ovˇsem tento pomˇer nedodrˇzel. Je to dáno t´ım, ˇze pˇri vytváˇren´ı nových stádi´ı kaskády docház´ı k redukci trénovac´ı mnoˇziny. Jakmile dˇr´ıvˇejˇs´ı stádia nˇejaký pˇr´ıklad klasifikuj´ı zápornˇe, je

(28)

kumuluje a v pozdˇejˇs´ıch stádi´ıch ji nelze ovlivnit ani t´ım nejlepˇs´ım výbˇerem pˇr´ıznak˚u. Odliˇsné hodnoty dosaˇzených pomˇer˚u faleˇsnˇe pozitivn´ıch odezev (FA) jsou dány jen t´ım, jaké se podaˇrilo nalézt posledn´ı pˇr´ıznaky pˇred dosaˇzen´ım kritéria pro ukonˇcen´ı trénován´ı.

Dále tabulka 7.1 ukazuje poˇcty stádi´ı, které odpov´ıdaj´ı nastaveným parametr˚um, a celkové mnoˇzstv´ı pˇr´ıznak˚u v detektorech. Prozkoumán´ı pˇr´ıznak˚u ve vizualizaˇcn´ı ˇcásti im-plementované aplikace ukázalo, ˇze pˇr´ıznaky v prvn´ım stádiu detektoru s kaskádou pˇresnˇe odpov´ıdaj´ı prvn´ım pˇr´ıznak˚u detektoru bez kaskády. Ze zaˇcátku totiˇz prob´ıhalo trénován´ı obou detektor˚u na stejné kompletn´ı trénovac´ı mnoˇzinˇe. Dalˇs´ı pˇr´ıznaky se jiˇz vzájemnˇe liˇs´ı, protoˇze detektor s kaskádou byl od druhého stádia trénován na redukované mnoˇzinˇe.

7.4 Uk´

azka detekce

Na následuj´ıc´ım sn´ımku je ukázka výstupu detekce obliˇcej˚u na skupinové fotografii. Vlevo je výstup detektoru s kaskádou a vpravo výstup detektoru bez kaskády. Na sn´ımku vpravo je vidˇet vˇetˇs´ı mnoˇzstv´ı faleˇsnˇe pozitivn´ıch odezev (dáno témˇeˇr 5× vyˇsˇs´ım pomˇerem faleˇsnˇe pozitivn´ıch odezev tohoto detektoru).

Obrázek 7.1: Ukázka výstupu detektor˚u (zdroj p˚uvodn´ıho sn´ımku: Bao Face Database)

7.5 Testovac´ı sady

K otestován´ı detektor˚u jsem pouˇzil tˇri r˚uzné sady pozitivn´ıch pˇr´ıklad˚u. Pro vˇsechny sady plat´ı, ˇze na kaˇzdém sn´ımku je právˇe jeden obliˇcej.

• Sada A - 149 barevných sn´ımk˚u, témˇeˇr ˇzádné pozad´ı, pr˚umˇernˇe cca 170×170 pixel˚u • Sada B - 1521 ˇsedotónových sn´ımk˚u, 384×286 pixel˚u

• Sada C - 450 barevn´ych sn´ımk˚u, mnoho pozad´ı, 896×592 pixel˚u

7.6 Uspˇ

´

eˇ

snost detektor˚

u

Zde pro zaj´ımavost uvád´ım orientaˇcn´ı úspˇeˇsnosti detektor˚u zmˇeˇrené v implementované aplikaci na zm´ınˇených testovac´ıch sadách (viz tabulka 7.2). Za úspˇeˇsnˇe detekovaný sn´ımek byl povaˇzován takový, v nˇemˇz byl nalezen právˇe jeden objekt. Nejde o nijak pˇresný zp˚usob

(29)

mˇeˇren´ı, protoˇze detektor m˚uˇze ve sn´ımku detekovat i nˇeco, co ve skuteˇcnosti nen´ı obliˇcej, ale vˇeˇr´ım, ˇze namˇeˇrené výsledky se bl´ıˇz´ı pravdˇe alespoˇn ve vzájemných vztaz´ıch.

´

Uspˇeˇsnost jsem mˇeˇril jednou s podvzorkován´ı vˇsech sn´ımk˚u na poloviˇcn´ı rozmˇery a podruhé bez tohoto podvzorkován´ı s p˚uvodn´ımi rozmˇery sn´ımk˚u.

Výsledky v tabulce ukazuj´ı, ˇze oba detektory jsou na tom s úspˇeˇsnost´ı vˇetˇsinou podobnˇe. Za n´ızkou úspˇeˇsnost u sady C m˚uˇze pˇr´ıtomnost vˇetˇs´ıch oblast´ı s pozad´ım ve sn´ımc´ıch, kde se projevuj´ı faleˇsnˇe pozitivn´ı odezvy detektor˚u. Dále je ve výsledc´ıch vidˇet, ˇze podvzorkován´ı sn´ımk˚u na poloviˇcn´ı rozmˇery pomáhá lepˇs´ı detekci. Zˇrejmˇe je to zp˚usobeno ztrátou ˇcásti informac´ı z podvzorkovaného obrazu.

testovac´ı sada s podvzorkován´ım bez podvzorkován´ı s kaskádou bez kaskády s kaskádou bez kaskády

Sada A 42 % 48 % 52 % 43 %

Sada B 56 % 47 % 33 % 12 %

Sada C 30 % 12 % 1 % 0 %

Tabulka 7.2: Výsledné úspˇeˇsnosti detektor˚u zmˇeˇrené na testovac´ıch sadách s a bez podvzor-kován´ı sn´ımk˚u na poloviˇcn´ı rozmˇery.

7.7 Rychlost v detekci

Na závˇer pˇredstav´ım výsledky mˇeˇren´ı rychlosti detekce (tabulka 7.3). Tyto výsledky pro-kázaly, ˇze v praxi dosahuje detektor s kaskádou skuteˇcnˇe vyˇsˇs´ı rychlosti detekce. Pr˚umˇernˇe detektor s kaskádou detekoval 1, 35× rychleji, neˇz detektor bez kaskády.

V tabulce byly namˇeˇrené doby detekce pˇrepoˇc´ıtány na poˇcet sn´ımk˚u za vteˇrinu a kv˚uli r˚uzným velikostem sn´ımk˚u testovac´ıch sad také na poˇcet megapixel˚u za vteˇrinu (Mpx/s).

testovac´ı sada rozmˇery sn´ımku s kask´adou bez kask´ady sn´ımk˚u/s Mpx/s sn´ımk˚u/s Mpx/s

Sada A cca 170×170 px 53,2 1,5 48,1 1,4

Sada B 384×286 px 25,1 2,8 18,8 2,1

Sada C 896×592 px 5,2 2,8 3,2 1,7

(30)

Kapitola 8

Z´

avˇ

er

Navrhovaná aplikace byla úspˇeˇsnˇe implementována a vˇsechny jej´ı ˇcásti odzkouˇseny. Apli-kace je plnˇe funkˇcn´ı, vˇse co bylo navrˇzeno, se podaˇrilo vˇcas implementovat a v rámci této vývojové etapy nez˚ustala ˇzádná ˇcást nedokonˇcená.

V aplikaci by samozˇrejmˇe ˇslo navrhnout a implementovat celou ˇradu dalˇs´ıch rozˇs´ıˇren´ı. V budouc´ı práci bych se tak mohl pokusit napˇr´ıklad o vytvoˇren´ı nástroje pro pˇr´ıpravu trénovac´ıch dat. Jednalo by se o souˇcást aplikace umoˇzˇnuj´ıc´ı vytvoˇrit z dostupných sn´ımk˚u sadu výˇrez˚u konkrétn´ıho objektu. Vˇetˇsinou se totiˇz nepodaˇr´ı k trénován´ı z´ıskat nebo vy-tvoˇrit sn´ımky, které by obsahovaly pouze daný objekt bez ruˇsivého pozad´ı. Dalˇs´ım rozˇs´ıˇren´ım by mohla být hloubˇeji propracovaná ˇcást

”Testován´ı úspˇeˇsnosti“. Tato ˇcást by dispono-vala nastavitelnými parametry, napˇr. kolik výskyt˚u objektu se pˇredpokládá na testovac´ıch sn´ımc´ıch. Také by pˇriˇsel vhod detailn´ı popis výsledk˚u testován´ı, napˇr. toho, v kterých konkrétn´ıch sn´ımc´ıch testovac´ı sady detektor selhal. Dalˇs´ı rozˇs´ıˇren´ı by se mohlo týkat detekˇcn´ı ˇcásti aplikace a jej´ıho vybaven´ı ovládac´ım prvkem pro rychlé pˇrep´ınán´ı mezi sn´ımky v aktuáln´ım adresáˇri. Nˇekdy je potˇreba kontrolovat úspˇeˇsnost detektoru manuálnˇe prohl´ıˇzen´ım jeho výstup˚u na v´ıce sn´ımc´ıch. Souˇcasná jediná cesta volby vstupn´ıho sn´ımku pˇres dialog výbˇeru souboru je pro tyto úˇcely pˇr´ıliˇs pomalá. Posledn´ı rozˇs´ıˇren´ı, které zm´ın´ım, spadá do jiné kategorie. Jednalo by se o modifikaci detekˇcn´ıho algoritmu umoˇzˇnuj´ıc´ı dete-kovat obliˇceje ˇci jiné objekty v polohách, s jakými p˚uvodn´ı detektor nepoˇc´ıtá. Napˇr´ıklad detekce obliˇcej˚u naklonˇených o r˚uzné úhly m˚uˇze být zaj´ımavým námˇetem k ˇreˇsen´ı.

(31)

Literatura

[1] Florian A. How-to build a cascade of boosted classifiers based on Haar-like features [online], 2003-09-02. Dostupn´e na URL

http://robotik.inflomatik.info/other/opencv/OpenCV ObjectDetection HowTo.pdf (duben 2008).

[2] Hjelm˚as E., Lerøy C. B., Johansen H. Detection and Localization of Human Faces in the ICI System: A First Attempt [online]. Report #6, pages 2–3. Gjøvik College, 1998. Dostupné na URL http://www.ansatt.hig.no/erikh/papers/hig98 6.pdf (kvˇeten 2008). [3] Hradiˇs M. AdaBoost v poˇc´ıtaˇcovém vidˇen´ı. Diplomová práce, Ústav poˇc´ıtaˇcové grafiky

a multimédi´ı FIT VUT v Brnˇe, 2007. Vedouc´ı diplom. práce Ing. Igor Potúˇcek, Ph.D. [4] Viola P., Jones M. Rapid object detection using a boosted cascade of simple features. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 511–518, 2001. ISSN 1063-6919, ISBN 0-7695-1272-0.

[5] Adaboost. Wikipedia: The Free Encyclopedia [online]. Dostupn´e na URL http://en.wikipedia.org/wiki/AdaBoost (kvˇeten 2008).

[6] Statistical classification. Wikipedia: The Free Encyclopedia [online]. Dostupn´e na URL http://en.wikipedia.org/Statistical classification (kvˇeten 2008).

[7] OpenCV Reference Manual [online]. Dostupn´e na URL http://opencvlibrary.sourceforge.net (kvˇeten 2008).

(32)

Seznam zkratek

AdaBoost Adaptive boosting

API Application programming interface BG Background file

FA False alarm rate

GTK GIMP Toolkit

GUI Graphical user interface

HR Hit rate

OpenCV Open Source Computer Vision URL Uniform resource locator VEC Vector file

(33)

Seznam pˇ

r´ıloh

A N´avod k pouˇzit´ı aplikace B Sn´ımky aplikace

(34)

Pˇ

r´ıloha A

Kompilace a spuˇ

stˇ

en´ı

Aplikaci je moˇzné zprovoznit na systémech Windows, Linux a údajnˇe i Mac OS X (nebylo vyzkouˇseno). Tyto systémy jsou podporovány knihovnami OpenCV a wxWidgets souˇcasnˇe. S aplikac´ı je dodáván Makefile, ale pouze pro operaˇcn´ı systémy Linux. Pro ostatn´ı systémy bude nutné Makefile nejdˇr´ıve vyrobit, napˇr´ıklad s pomoc´ı nástroje Bakefile.

Vyˇzadovány jsou nainstalované knihovny OpenCV verze 1.0.0 a wxWidgets nejlépe verze 2.8.7. Pro zkompilován´ı pod systémem Linux je potˇreba GNU kompilátor GCC nejlépe verze 3.x a vyˇsˇs´ı. Kompilaci lze spustit pˇr´ıkazem make.

Aplikaci lze po zkompilován´ı v Linuxu spustit pˇr´ıkazem ./adaboost. Detekci je moˇzné vyzkouˇset na jiˇz existuj´ıc´ıch klasifikátorech, které jsou dodávány s knihovnou OpenCV a nacházej´ı se v jej´ım adresáˇri v podadresáˇri

”data“. Jinak lze v aplikaci vytvoˇrit vlastn´ı klasifikátor pomoc´ı trénován´ı.

Tr´

enovac´ı data

Pro trénován´ı jsou potˇreba dvˇe sady sn´ımk˚u - sada s pozitivn´ımi pˇr´ıklady a sada s ne-gativn´ımi pˇr´ıklady. Pozitivn´ı pˇr´ıklady by mˇely být sn´ımky s výˇrezy zvoleného objektu, které chceme detektor nauˇcit detekovat. Negativn´ı pˇr´ıklady m˚uˇzou být libovolné sn´ımky bez výskytu zvoleného objektu.

Napˇr´ıklad pro natrénován´ı detektoru hruˇsek bude sada pozitivn´ıch pˇr´ıklad˚u tvoˇrena sn´ımky hruˇsek ze stejného úhlu pohledu a pˇri stejné poloze hruˇsek (hruˇska napˇr. nesm´ı být nasn´ımána jednou naleˇzato a jednou nastojato). Negativn´ı pˇr´ıklady budou libovolné sn´ımky, v kterých nejsou vyobrazeny podobné nebo pro jistotu ˇzádné hruˇsky.

Dobré pozitivn´ı pˇr´ıklady obsahuj´ı jen daný objekt a co nejménˇe pozad´ı. Um´ıstˇen´ı ob-jektu na sn´ımc´ıch by mˇelo být nemˇenné a jeho významné znaky by mˇely být vˇzdy na pˇribliˇznˇe stejných m´ıstech v obraze v rámci celé sady sn´ımk˚u. Sn´ımky nemusej´ı být pˇr´ıliˇs rozmˇerné. Pˇred trénován´ım se totiˇz pˇrevádˇej´ı do ˇsedotónových vzork˚u o malé velikosti kolem 24×24 pixel˚u (záleˇz´ı na nastaven´ı a konkrétn´ım pˇr´ıpadu). Negativn´ı pˇr´ıklady mo-hou m´ıt rozmˇery napˇr. 384×288 pixel˚u i v´ıce. Vˇsechny sn´ımky jsou aplikac´ı podporovány v následuj´ıc´ıch obrazových formátech:

• Windows bitmap (*.bmp, *.dib) • JPEG (*.jpeg, *.jpg, *.jpe)

• Portable Network Graphics (*.png)

• Portable image format (*.pbm, *.pgm, *.ppm) • Sun rasters (*.sr, *.ras)

• TIFF (*.tiff, *.tif) • OpenEXR HDR (*.exr) • JPEG 2000 (*.jp2)

(35)

Sn´ımky je potˇreba rozdˇelit do dvou adres´aˇr˚u - jeden s pozitivn´ımi a druh´y s negativn´ımi pˇr´ıklady.

Nastaven´ı tr´

enov´

an´ı

Jeˇstˇe pˇred trénován´ım lze v aplikaci pod záloˇzkou Tr.Nastaven´ı vybrat parametry trénován´ı. Pˇr´ıpadnˇe lze ponechat pˇrednastavené hodnoty. Zde vysvˇetl´ım nˇekteré parametry. Poloˇzky Pozitivn´ıch pˇr´ıklad˚u a Negativn´ıch pˇr´ıklad˚u urˇcuj´ı, kolik má být pouˇzito pˇr´ıklad˚u z pˇr´ısluˇsných adresáˇr˚u s trénovac´ımi daty. Pokud je nˇekterá poloˇzka nastavena na nulu, pouˇzij´ı se vˇsechny pˇr´ıklady. Poˇcet stádi´ı urˇcuje maximáln´ı poˇcet stádi´ı, jaký m˚uˇze být v kaskádˇe klasifikátor˚u vytvoˇren. Vyuˇzit´ı pamˇeti v MB urˇcuje maximáln´ı mnoˇzstv´ı operaˇcn´ı pamˇeti vyuˇzitelné k pˇredzpracován´ı trénovac´ıch dat. Tuto hodnotu je potˇreba volit pˇrimˇeˇrenˇe podle aktuáln´ıho mnoˇzstv´ı volné pamˇeti v systému. Vhodným na-staven´ım lze dosáhnout vyˇsˇs´ı rychlosti trénován´ı. Nastaven´ı pˇr´ıliˇs vysoké hodnoty (napˇr. celá kapacita RAM) vˇsak m˚uˇze trénován´ı naopak zpomalit. Minimáln´ı pod´ıl pozitivn´ıch odezev urˇcuje minimáln´ı pod´ıl pozitivn´ıch pˇr´ıklad˚u, jaký mus´ı být v trénován´ı pozitivnˇe klasifikován. Maximáln´ı pod´ıl faleˇsnˇe pozitivn´ıch odezev pak urˇcuje maximáln´ı pod´ıl pˇr´ıpad˚u faleˇsnˇe pozitivn´ı klasifikace v mnoˇzinˇe negativn´ıch pˇr´ıklad˚u. Mnoˇzina Haar fea-tur nastavuje sadu Haarových pˇr´ıznak˚u pouˇzitých jako slabé klasifikátory. Symetrické objekty lze nastavit na ANO, pokud budou trénovány symetrické objekty jako tˇreba hruˇsky, obliˇceje, dopravn´ı znaˇcky, aj. ˇS´ıˇrka a Výˇska okna v pixelech urˇcuj´ı rozmˇery detekˇcn´ıho okna a t´ım i velikost vzork˚u, na jakou budou pˇred trénován´ım pˇrevedeny pozi-tivn´ı pˇr´ıklady. Parametrem Typ boostingu lze nastavit konkrétn´ı variantu boostingového algoritmu pouˇzitého k trénován´ı.

Spuˇ

stˇ

en´ı tr´

enov´

an´ı

V záloˇzce Trénován´ı je nutno zvolit adresáˇr s pozitivn´ımi pˇr´ıklady, adresáˇr s nega-tivn´ımi pˇr´ıklady a dále adresáˇr, kam bude uloˇzen výstupn´ı XML soubor s natrénovaným klasifikátorem. Poté kliknut´ım na tlaˇc´ıtko Konfiguruj se prohledaj´ı zvolené adresáˇre a z nalezených sn´ımk˚u se vytvoˇr´ı pomocné konfiguraˇcn´ı soubory. Nakonec je moˇzné tlaˇc´ıtkem Start spustit samotné trénován´ı. Výstupy trénován´ı se budou postupnˇe objevovat v oknˇe pod záloˇzkou Tr.Výstup.

Aplikace neumoˇzˇnuje zastavit bˇeˇz´ıc´ı trénován´ı. Pˇreruˇsit jej lze jen tlaˇc´ıtkem pro zavˇren´ı aplikace v záhlav´ı jej´ıho okna nebo násilným ukonˇcen´ım.

Nav´

az´

an´ı tr´

enov´

an´ı

V aplikaci lze návázat na pˇredchoz´ı trénován´ı, které bylo pˇreruˇseno uˇzivatelem nebo pádem aplikace. Pokraˇcovat lze i v trénován´ı, které jiˇz úspˇeˇsnˇe skonˇcilo. Postup je podobný jako pˇri spuˇstˇen´ı nového trénován´ı. Opˇet je nejdˇr´ıve nutno nastavit parametry trénován´ı pod záloˇzkou Tr.Nastaven´ı. Parametry se m˚uˇzou liˇsit od tˇech pˇredchoz´ıch. Pod záloˇzkou Trénován´ı je dále potˇreba znovu zvolit adresáˇre s pozitivn´ımi a negativn´ımi pˇr´ıklady. Výstupn´ı adresáˇr se mus´ı nastavit stejný jako v pˇredchoz´ım trénován´ı. Pak lze pokraˇcovat