The Use of Random Forests for Recognising Objects in Images

(1)

Fakulta elektrotechniky a informatiky

Katedra informatiky

Vyuˇzit´ı ”random forest ˚

u” pro

rozpozn ´av ´an´ı objekt ˚

u v obrazech

The Use of Random Forests for

Recognising Objects in Images

(2)

(3)

(4)

(5)

C´ılem této diplomové práce je popsat vyuˇzit´ı Random forestu a jeho schopnost roz-poznán´ı objekt ˚u v obrazech. Teoretická ˇcást se zab ývá názvoslov´ım a postupy pˇri se-stavován´ı rozhodovac´ıho stromu a Random forestu. Praktická ˇcást má za úkol porovnat úspˇeˇsnost a rychlost vyhodnocován´ı obrazu pomoc´ı metody Random forestu a metody SVM. Následnˇe je vytvoˇren program pro detekci vozidel na kˇriˇzovatce.

Kl´ıˇcov á slova: Zpracován´ı obrazu, Rozhodovac´ı strom, Náhodn ý les, Random forest, SVM, HOG, OpenCV, C++

Abstract

The aim of this master’s thesis is to describe use of Random Forest and its ability to recognize objects in images. The theoretical part deals with terminology and process of assembling decision tree and Random forest. The practical part compares success rate and duration of image classification using Random forest and SVM methods. Thereafter a program for detecting vehicles at the junction is created.

(6)

N – pˇrirozen´a ˇc´ısla {1, 2, 3, ..., +∞}

Z – cel´a ˇc´ısla

Rn – n-rozmˇern ý euklidovsk ý reáln ý prostor

A−1 – inverzn´ı matice k matici A

AT _– _{transponovan´a matice k matici A}

■ – konec d ˚ukazu, vˇety nebo pˇr´ıkladu

RF – Random forest (N´ahodn ´y les)

LBP – Lok´aln´ı bin´arn´ı vzor

HOG – Histogramy orientovan ´ych gradient ˚u

SVM – Support vector machine

ROI – Region Of Interest (Oblast z´ajmu)

px – Pixel

TP – True positive

TN – True negative

FP – False positive

FN – False negative

ACC – Accuracy, pˇresnost

TPR – True positive rate

FPR – False positive rate

PPV – Positive predictive value

NPV – Negative predictive value

(7)

Obsah

1 Uvod´ 6

2 Z´akladn´ı pojmy 8

2.1 Rozhodovac´ı strom . . . 8

2.2 N´ahodn ´y les . . . 9

2.3 Support Vector Machine . . . 10

2.4 Entropie . . . 14

2.5 Klasifikaˇcn´ı a regresn´ı probl´em . . . 14

2.6 Hodnocen´ı bin´arn´ıch klasifik´ator ˚u . . . 15

3 Popis vlastnost´ı obrazov´e funkce 17 3.1 Haarovy pˇr´ıznaky . . . 17

3.2 Lok´aln´ı bin´arn´ı vzor . . . 18

3.3 HOG . . . 19

4 Vhodné problémy pro ˇreˇsen´ı rozhodovac´ım stromem 21 5 Algoritmy vyuˇz´ıvané pˇri sestavován´ı rozhodovac´ıho stromu 22 5.1 Algoritmus TDIDT . . . 22

5.2 Algoritmus ID3 . . . 26

5.3 Algoritmus C4.5 a C5.0 . . . 26

6 Sestaven´ı Random forestu 28 6.1 Vytvoˇren´ı Random forestu . . . 28

7 Vytvoˇren´ı aplikace pro rozpozn´an´ı vozidel v OpenCV 38 7.1 Metoda HOG v OpenCv . . . 38

7.2 Random forest v OpenCV . . . 39

(8)

7.4 Vytvoˇren´ı programu . . . 42 7.5 Vyhledáván´ı objektu v reálném obraze . . . 46

8 Porovn´an´ı metod Random forest a SVM 50

8.1 Optimáln´ı nastaven´ı parametr ˚u . . . 50 8.2 Porovnán´ı úspˇeˇsnosti klasifikace . . . 52 8.3 Porovnán´ı ˇcasové nároˇcnosti . . . 55

9 Z´avˇer 59

(9)

Seznam tabulek

1 Tr´enovac´ı mnoˇzina k pˇr´ıkladu 5.1 . . . 23

2 Entropie pro jednotliv´e parametry pˇr´ıkladu 5.1 . . . 24

3 Hodnoty parametr ˚u pro jednotliv´e objekty . . . 33

4 V ´ysledn´a tabulka . . . 37

5 Nastaven´ı parametr ˚u Random forest . . . 50

6 Nastaven´ı parametr ˚u SVM RBF . . . 51

7 Nastaven´ı parametr ˚u SVM Linear . . . 52

8 V ýsledky porovnán´ı úspˇeˇsnosti klasifikace, statistická kamera . . . 52

9 V ýsledky porovnán´ı úspˇeˇsnosti klasifikace, pˇrehledová kamera . . . 54 10 Cas trénován´ı . . . .ˇ 56 11 Cas testován´ı . . . .ˇ 57

(10)

Seznam obr ´azk ˚

u

1 Pˇr´ıklad optim´aln´ıho rozdˇelen´ı bodu v 2D [3] . . . 11

2 Pˇr´ıklad optim´aln´ıho rozdˇelen´ı bodu v 3D [7] . . . 12

3 Srovn´an´ı SVM Linear a SVM RBF . . . 13

4 Z´akladn´ı metriky hodnocen´ı klasifik´ator ˚u [6] . . . 16

5 Haarovy pˇr´ıznaky . . . 18

6 Pˇr´ıklady okol´ı pro v ´ypoˇcet LBP . . . 18

7 Znázornˇen´ı v ýpoˇctu pˇr´ınosu jednotliv ých gradien ˚u . . . 20

8 Rozdˇelen´ı mnoˇziny podle obsazenosti . . . 25

9 Rozdˇelen´ı mnoˇziny podle typu . . . 25

10 Moˇzn ´y tvar stromu . . . 25

11 Testovac´ı obr´azek . . . 30

12 Tr´enovac´ı obr´azek . . . 30

13 Zn´azornˇen´ı v ´yznamu elipticity . . . 32

14 V ´ypoˇcet giniho koeficientu . . . 34

15 Random forest . . . 35

16 Testovac´ı obr´azek . . . 35

17 Princip konstrukce HOG Deskriptoru [11] . . . 39

18 Tr´enovac´ı mnoˇzina positive . . . 43

19 Detekce objektu v reálném obraze, statistická kamera . . . 48

20 Detekce objektu v reálném obraze, pˇrehledová kamera . . . 49

21 Uk´azka klasifikace, statistick´a kamera . . . 53

22 Uk´azka klasifikace, pˇrehledov´a kamera . . . 55

23 Doba tr´enov´an´ı klasifikaˇcn´ıch metod . . . 56

24 Testov´an´ı RF x SVM Linear . . . 57

(11)

Seznam v ´ypis ˚

u zdrojov ´eho k ´

odu

1 Sestaven´ı rozhodovac´ıho stromu [2] . . . 9

2 Algoritmus ID3 [5] . . . 26

3 Metoda pro z´ısk´an´ı tr´enovac´ıch vektor ˚u . . . 43

4 Pˇr´ıprava tr´enovac´ı dat a sestaven´ı Random Forestu . . . 44

5 Sestaven´ı SVM . . . 45

(12)

1 Uvod

´

Základn´ım, a pravdˇepodobnˇe i nejd ˚uleˇzitˇejˇs´ım smyslem pro ˇclovˇeka, je zrak. Pomoc´ı tohoto smyslu vn´ımáme a pˇrij´ımáme pˇribliˇznˇe 80% veˇsker ých informac´ı. Nen´ı proto ˇzádn ým pˇrekvapen´ım, ˇze tuto schopnost se snaˇz´ıme pˇrenést do ostatn´ıch oblast´ı naˇseho ˇzivota.

Této schopnosti se stále ˇcastˇeji snaˇz´ıme nauˇcit nejr ˚uznˇejˇs´ı druhy informaˇcn´ıch technologi´ı. Rozpoznáván´ı objekt ˚u pomoc´ı technologie z´ıskává stále vˇetˇs´ı oblibu a uplatnˇen´ı nejen v oborech, které byly vˇzdy technologicky velmi vyspˇelé, jako je obrana, medic´ına a letectv´ı, ale i v bˇeˇzném ˇzivotˇe kaˇzdého z nás. Tento nástroj nás kaˇzdodennˇe doprováz´ı na cestˇe do práce v podobˇe ˇr´ızen ých kˇriˇzovatek, automatického zaostˇren´ı fotoaparátu v mobiln´ım telefonu nebo zat´ım jako hudba budoucnosti v podobˇe automatem ˇr´ızen ých vozidel. Je jisté, ˇze uplatnˇen´ı tohoto smyslu v IT má ˇsirˇs´ı vyuˇzit´ı a napomáhá ke zjednoduˇsen´ı, zefektivnˇen´ı a zrychlen´ı práce, vyˇsˇs´ı automatizaci proces ˚u a t´ım druhoˇradˇe i úspoˇre náklad ˚u a firmám ke zv ýˇsen´ı jej´ıch zisk ˚u.

Vn´ımán´ı, pˇrij´ıman´ı a zpracován´ı obrazu se pro ˇclovˇeka jev´ı snadnou úlohou, z´ıskanou na základˇe zkuˇsenost´ı. Z pohledu kusu informaˇcn´ı technologie se jedná o podobn ý problém. Podobnˇe jako u lid´ı je potˇreba program nejdˇr´ıve objekty nauˇcit rozliˇsovat. Na trénovac´ı mnoˇzinˇe se program nauˇc´ı, jak daná skupina pˇr´ıznak ˚u identifikuje dan ý objekt. Pokud ale pˇr´ıznaky vypadaj´ı jinak, m ˚uˇze se jednat o objekt jin ý. O tom, jak program nauˇcit rozpoznávat objekty, pojednává do jisté m´ıry právˇe tato diplomová práce.

Popisuje zp ˚usob a pˇr´ıklady zpracován´ı objekt ˚u v obrazech vyuˇzit´ım metody Random forestu. Mezi v ýhody metody RF ˇrad´ıme fakt, ˇze je flexibiln´ı, nebot’ pro modelován´ı m ˚uˇze b ýt pouˇzit velk ý poˇcet atribut ˚u. Pˇritom lze algoritmus aplikovat jak na malé, tak na velké soubory dat, které mohou b ýt snadno a pomˇernˇe rychle vyhodnoceny. Dalˇs´ı nespornou v ýhodou Random forestu oproti jin ým metodám je skuteˇcnost, ˇze pro pomˇernˇe pˇresné rozhodován´ı nen´ı vyˇzadována dokolaná trénovac´ı mnoˇzina. Pˇrednost´ı je i velmi krátk ý ˇcasov ý interval pro nauˇcen´ı algoritmu zpracovávat poˇzadovaná data. Jako kaˇzdá metoda má i tato své nedostatky. Jeden z nich je jeho pomalá pˇredpov´ıdac´ı schopnost a v nˇekter ých pˇr´ıpadech i nároˇcnost na sloˇzitost jednotliv ých rozhodovac´ıch strom ˚u.

C´ılem této práce je seznámit ˇctenáˇre s metodou Random forest a jej´ı aplikac´ı na roz-poznáván´ı objekt ˚u v obraze. Prvn´ı ˇcást diplomové práce je vˇenována klasifikac´ı základn´ıch pojm ˚u, které jsou nezbytné pro pochopen´ı daného tématu. D ˚uraz je kladen pˇredevˇs´ım na sestaven´ı rozhodovac´ıho stromu, kter ý je stˇeˇzejn´ı pro aplikaci vybrané metody. V dalˇs´ıch

(13)

ˇcástech diplomové práce je na jednoduchém pˇr´ıkladˇe vysvˇetleno, jak ými zp ˚usoby se dá Random forest sestavit.

Závˇereˇcná ˇcást se vˇenuje porovnán´ı úspˇeˇsnosti a rychlosti vyhodnocen´ı obrazu metodami Random forest a SVM s kernelem Linear a kernelem RBF. V ýsledky mˇeˇren´ı budou pouˇzity pro sestaven´ı programu pro detekci vozidel proj´ıˇzdˇej´ıc´ıch pˇres kˇriˇzovatku, kter ý bude schopen vyhodnocovat obrazy z kamery v reálném ˇcase.

(14)

2 Z ´akladn´ı pojmy

Tato kapitola je vˇenována vysvˇetlen´ı základn´ıch pojm ˚u, se kter ými se dále pracuje. D ˚uraz je zde kladen pˇreváˇznˇe na vysvˇetlen´ı pojm ˚u potˇrebn ých k sestaven´ı Random forestu jako ke stˇeˇzejn´ımu tématu diplomové práce. Potˇrebné názvoslov´ı nezbytné pro vysvˇetlen´ı postupu a zpracován´ı zadaného tématu je zde zavedeno vˇzdy jako název jednotliv ých podkapitol.

2.1 Rozhodovac´ı strom

Smyslem rozhodovac´ıho stromu je zaˇrazen´ı vstupn´ıho objektu do jedné z v ýsledn ých tˇr´ıd.

V zásadˇe je rozhodovac´ı strom reprezentován disjunkcemi konjunkc´ı stanoven ých podm´ınek nad hodnotami atribut ˚u jednotliv ých instanc´ı. Kaˇzdá cesta od koˇrene stromu k jeho listu koresponduje s konjunkc´ı test ˚u atribut ˚u a cel ý strom je disjunkc´ı tˇechto konjunkc´ı. [9] Jin ými slovy, rozhodovac´ı strom je moˇzné si pˇredstavit jako v ývojov ý diagram maj´ıc´ı poˇcátek ve v ýchoz´ım uzlu (koˇrenu), kde vnitˇrn´ı uzel pˇredstavuje test na atribut. Kaˇzdá z hran (vˇetv´ı), vycházej´ıc´ı z uzlu, pˇredstavuje v ýsledek daného testu. Koncov ý uzel (list) urˇcuje tˇr´ıdu, do které byl objekt zaˇrazen. Cesta od koˇrene k listu je pˇredstavována klasi-fikaˇcn´ımi pravidly, ve kter ých se strom vˇetv´ı, nicménˇe pozdˇeji jiˇz nedocház´ı k opˇetovnému propojovan´ı jednotliv ých uzl ˚u.

Form´alnˇe m ˚uˇzeme definici napsat jako:

Definice 2.1 Mˇejme datab´azi T = (#»t1, . . . , #»tn

)

, kde #»ti = (ti1, . . . , tim). D´ale mˇejme atributy

(A1, . . . , Ak) a mnoˇzinu tˇr´ıd C= (C1, . . . , Cl), kde k, l, m, n ∈ N

T v rovnici pˇredstavuje Rozhodovac´ı strom, pro kter´y plat´ı: • _{kaˇzd´y vnitˇrn´ı uzel je ohodnocen atributem A}_i

• _{kaˇzdá hrana je ohodnocena predikátem pouˇzitelným na atribut rodiˇcovského uzlu t}_{i j} • _{kaˇzdý list je ohodnocen tˇr´ıdou C}_j

[1]

V ýˇse uvedená definice je vysvˇetlena na Pˇr´ıkladu 5.1 v Kapitole 5.1. K tomuto pˇr´ıkladu náleˇz´ı rovnˇeˇz grafické zobrazen´ı rozhodovac´ıho stromu v podobˇe Obrázku 10.

(15)

2.1.1 Sestaven´ı rozhodovac´ıho stromu

Problém nalezen´ı rozhodovac´ıho stromu se m ˚uˇze zdát sloˇzité, ale ve skuteˇcnosti se jedná o triviáln´ı algoritmus. Jednoduˇse m ˚uˇze b ýt vybrán jeden libovoln ý atribut a podle nˇej rozdˇelit mnoˇzinu na nˇekolik podmnoˇzin a následnˇe tento krok opakovat do té doby, dokud podmnoˇziny nebudou podle atribut ˚u dále dˇelitelné.

C´ılem je nalézt optimáln´ı velikost stromu. Mal ý strom pˇrináˇs´ı riziko, ˇze nedokáˇze zahr-nout vˇsechny potˇrebné parametry. Naopak pˇr´ıliˇs rozsáhl ý strom hroz´ı velkou ˇcasovou a prostorovou nároˇcnost´ı spoleˇcnˇe s t´ım rizikem, ˇze pozbude svou obecnou platnost. Na velké stromy je moˇzné následnˇe aplikovat metodu proˇrezáván´ı, ale pˇri vytváˇren´ı rozsáhlejˇs´ıch strom ˚u je jistˇe jednoduˇsˇs´ı aplikovat tyto metody jiˇz pˇri indukci rozhodo-vac´ıho stromu.

Pseudok ´od pro sestaven´ı rozhodovac´ıho stromu je uveden je uveden v Algoritmu 1.

1 function DECISION−TREE−LEARNING(example, attributes, default) returns a decision tree

2 inputs: examples, set of examples

3 attributes , set of attributes

4 default , default value for the goal predicate 5 if examples is empty then return default

6 else if all examples have the same classification then return the classification 7 else if attributes is empty then return MAJORITY−VALUE(examples) 8 else

9 best <−− CHOOSE− ATTRIBUTE(attributes, examples)

10 tree <−− a new decision tree with root test best

11 for each value v i of best do

12 examples i − {elements of examples with best= v i}

13 subtree − DECISION−TREE−LEARNING(examples i, attributes − best, MAJORITY−VALUE(examples)}

14 add a branch to tree with label v i and subtree subtree

15 end

16 return tree

Algoritmus .1: Sestaven´ı rozhodovac´ıho stromu [2]

Sestaven´ım rozhodovac´ıho stromu se zab ývá hned nˇekolik metod. Mezi nejznámˇejˇs´ı patˇr´ı metody TDIDT, ID3, C4.5,. . . Tˇemto metodám je vˇenována celá Kapitola 5 – Algoritmy vyuˇz´ıvané pˇri sestavován´ı rozhodovac´ıho stromu.

2.2 N ´ahodn ´y les

V diplomové práci je pouˇzito v´ıce rozˇs´ıˇrené anglické oznaˇcen´ı této techniky Random forest, pˇr´ıpadnˇe pod jeho zkratkou RF.

(16)

Random forest je pojem obecné techniky pro uˇcen´ı klasifikace, regrese a dalˇs´ıch úkon ˚u. V základn´ı rovinˇe dále rozpracovává a zdokonaluje teorii rozhodovac´ıch strom ˚u. Proces spoˇc´ıvává v tom, ˇze nen´ı sestaven pouze jeden rozhodovac´ı strom (”boosting”), ale je sestavena celá ˇrada rozhodovac´ıch strom ˚u (les). Kaˇzd ý jednotliv ý strom zaˇrazen ý do rozhodovac´ıho procesu pracuje nezávisle na ostatn´ıch a má jinou strukturu atribut ˚u. Pˇri trénován´ı je sestavena mnoˇzina atribut ˚u. Kaˇzd ý strom je pak následnˇe sestaven na základˇe podmnoˇziny, která vznikla náhodn ým v ýbˇerem z tˇechto atribut ˚u sestaven ých pˇri trénován´ı (bagging). Probˇehne test a pokud test oznaˇc´ı jeden strom jako pozitivn´ı a dalˇs´ı stromy zaˇrazené do rozhodovac´ıho procesu jako negativn´ı, je pravdˇepodobné, ˇze strom ˇc. 1 udˇelal pˇri klasifikaci chybu.

V ýhoda Random forestu spoˇc´ıvá pˇredevˇs´ım v eliminaci chyb pˇri rozhodován´ı jednot-livého stromu. Tato schopnost eliminace chyb má své vyuˇzit´ı pˇredevˇs´ım ve sporn ých pˇr´ıpadech. Dalˇs´ı v ýhodou RF je ta vlastnost, ˇze metoda dokáˇze sama klasifikovat d ˚uleˇzitost jednotliv ých atribut ˚u.

Sestaven´ım Random forestu se podrobnˇe zab ´yv´a Kapitola 6.1 – Vytvoˇren´ı Random forestu.

2.3 Support Vector Machine

Support vector machine (SVM) je metoda klasifikace lineárn´ıch dat. Pˇri klasifikaci ne-lineárn´ıch dat mus´ı b ýt data transformována do prostoru s vyˇsˇs´ı dimenz´ı, transformaˇcn´ı funkci naz ýváme kernel. Následnˇe je moˇzné tato data klasifikovat jako lineárn´ı. Tato me-toda se ˇcasto vyuˇz´ıvá v aplikac´ıch pro vyhledáván´ı objektu v obrazech. Samotné trénován´ı je ˇcasovˇe a pamˇet’ovˇe nároˇcné.

Podstatou trénován´ı s SVM je vytvoˇren´ı hyperroviny (prostor n − 1 dimenze), která ze vstupn´ıch dat vytvoˇr´ı 2 sady vektor ˚u v n-rozmˇerném prostoru. Pro kaˇzdou sadu se potom vytvoˇr´ı takováto hyperrovina, která se znovu pouˇzije jako vstupn´ı sada. Data, která nen´ı moˇzné separovat lineárnˇe mohou b ýt nejprve transformována do prostoru s vyˇsˇs´ı dimenz´ı.

Pro vˇsechna xi, xjz prostoru X, m ˚uˇzeme jisté funkce k(xi, xj) vyjádˇrit jako skalárn´ı souˇcin

v prostoru V. Funkci k : X × X → R pak naz ýváme kernel. V pˇr´ıpadˇe strojového uˇcen´ı si situaci zjednoduˇs´ıme pomoc´ı takzvané ”feature mapy”φ : X → V. Kernel poté m ˚uˇzeme zapsat jako

K(xi, xj)=⟨φ(xi), φ(xj)

⟩

V, (1)

(17)

V praktické ˇcásti budeme pracovat se dvˇema typy kernel ˚u. Prvn´ım zástupcem bude Lineárn´ı kernel. Lineárn´ı kernel spoˇc´ıtáme

K(xi, xj)= xT_i xj, (2)

kde xi, xj∈ X.

Druh ým zástupcem je kernel RBF (Radial basis function). Kernel je vyjádˇren funkc´ı K(xi, xj)= e−γ∥xi−xj∥

2

, (3)

kde xi, xj∈ X ∈ N a γ ∈ (0, +∞).

Pro lepˇs´ı pochopen´ı line´arn´ıho kernelu se pod´ıvejme na Obr´azek 1. Zˇrejmˇe plat´ı x1 ∈

R, x2 ∈ R, takˇze V ∈ R2. Podle definice bude tedy hyperrovina v dimenzi n − 1 = 1,

tedy pˇr´ımka. Rozdˇelen´ı prostoru je tedy min-max úloha, kterou zjednoduˇsenˇe m ˚uˇzeme popsat: Najdi hyperrovinu f , jej´ıˇz minimáln´ı vzdálenost (v naˇsem pˇr´ıpadˇe kolmice) od krajn´ıch bod ˚u dvou skupin bod ˚u bude maximáln´ı.

Obr´azek 1: Pˇr´ıklad optim´aln´ıho rozdˇelen´ı bodu v 2D [3]

Na Obrázku 2 je znázornˇena situace, kdy klasifikovaná data nelze ve dvou dimenz´ıch lineárnˇe oddˇelit. Pokud, ale data transformujeme do tˇret´ı dimenze napˇr´ıklad pomoc´ı feature mapyφ(a, b) = (a, b, a2+b2), tedy kernelu K(x, y) = xy+x2y2je nalezen´ı hyperroviny n − 1= 2, tedy plochy, opˇet jednoduchý min-max úkol.

(18)

Obr´azek 2: Pˇr´ıklad optim´aln´ıho rozdˇelen´ı bodu v 3D [7]

Tento odstavec bude vˇenován grafickému oddˇelen´ı skupiny bod ˚u pomoc´ı metody SVM Linear a SVM RBF. Obrázek 3a znázor ˇnuje trénovac´ı mnoˇzinu se kterou budou pracovat v ýˇse uvedené metody SVM. Plat´ı, ˇze dané body v prostoru R2nelze od sebe spolehlivˇe lineárnˇe oddˇelit. Obrázek 3b demonstruje rozdˇelen´ı trénovac´ı mnoˇziny pomoc´ı metody SVM Linear. ˇSrafovaná oblast zobrazuje pˇredpovˇed’ SVM modelu pro dalˇs´ı body. Nacház´ı -li se ˇcerven ý bod v zelené oblasti nebo naopak, jedná se o chybu v klasifikaci bodu, Kapitola 2.6 – Hodnocen´ı binárn´ıch klasifikátor ˚u. Pokud, ale vstupn´ı data pˇrevedeme do prostoru vyˇsˇs´ı dimenze napˇr´ıklad pouˇzit´ım kernelu RBF bude v ýsledek uveden ý na Obrázku 3c pˇrijatelnˇejˇs´ı. Velikost oblast´ı okol´ı ˇcerven ých bod ˚u je moˇzné upravit pomoc´ı parametruγ.

(19)

(a) Tr´enovac´ı mnoˇzina

(b) SVM Linear

(c) SVM RBF

(20)

2.4 Entropie

Entropie je jedn´ım ze základn´ıch pojm ˚u ve fyzice, matematice, teorii pravdˇepodobnosti, teorii informace a v mnoha dalˇs´ıch oblastech vˇedy. Setkat se s n´ı m ˚uˇzeme vˇsude tam, kde hovoˇr´ıme o pravdˇepodobnosti moˇzn ých stav ˚u dané soustavy nebo systému.

Velmi zjednoduˇsenˇe by se dalo ˇr´ıci, ˇze entropie je m´ıra neuspoˇrádanosti stav ˚u v soustavˇe. V této práci se budeme setkávat pˇredevˇs´ım s entropi´ı diskrétn´ıch stav ˚u zpracovanou Joasiahem Willardem Gibbsem.

Definice 2.2 Necht’ S je funkcion´al nad diskr´etn´ı pravdˇepodobnostn´ı funkc´ı P, k ∈ R je konstanta

jednotek ve kter´ych entropii S mˇeˇr´ıme a Pije pravdˇepodobnost i-t´eho mikrostavu. Pak

S= −k∑

i

Piln Pi. (4)

Dále pracujeme s jednotkami bit ˚u, pro které plat´ı k = _ln(2)1 . Abychom odliˇsili tento konkrétn´ı pˇr´ıpad entropie, bude v dalˇs´ı ˇcásti diplomové práce pouˇzito oznaˇcen´ı entropie H. Po matematické úpravˇe z´ıskáme v ýsledn ý stav entropie ve tvaru

H= −k∑ i Piln Pi= − 1 ln 2 ∑ i Piln Pi= − ∑ i Pi log₂e log₂2 · log₂Pi log₂e = − ∑ i Pilog2Pi (5)

2.5 Klasifika ˇcn´ı a regresn´ı probl ´em

Klasifikaˇcn´ı problémje pojem pouˇz´ıvan ý pro nalezen´ı zobrazen´ı f : D → C, kde je ke kaˇzdému prvku ti z mnoˇziny D = {t1, . . . , tn} pˇriˇrazen právˇe jeden prvek cj z mnoˇziny

C= {c1, . . . , cm}. Proces klasifikace se skl´ad´a ze dvou krok ˚u:

1. uˇcen´ı, trénován´ı: pˇredstavuje tvorbu klasifikaˇcn´ıho modelu pomoc´ı trénovac´ı, pˇredem dané, mnoˇziny,

2. vlastn´ı klasifikace: pouˇzit´ı klasifikaˇcn´ıho modelu pro urˇcen´ı pˇr´ısluˇsn´e tˇr´ıdy pro tes-tovac´ı data.

Regresn´ı probl´emje hled´an´ı ˇreˇsen´ı pro nalezen´ı regresn´ıho modelu Yi= α + βxi+ ϵi, pro

(21)

2.6 Hodnocen´ı bin ´arn´ıch klasifik ´ator ˚u

Aby bylo moˇzné zkoumat a porovnávat klasifikátory zavád´ıme 4 základn´ı stavy ve kter ých se m ˚uˇze klasifikátor ocitnout.

• TP – True positive, správnˇe vyhodnocen ý pozitivn´ı v ýskyt • TN – True negative, správnˇe vyhodnocen ý negativn´ı v ýskyt

• FP – False positive, oznaˇcujeme také jako chybu I. typu. V ýznam této hodnoty je, ˇze v ýskyt byl vyhodnocen jako pozitivn´ı, ale ve skuteˇcnosti se jedná o negativn´ı v ýskyt

• FN – False negative, oznaˇcujeme jako chybu II. typu. V ýskyt byl vyhodnocen klasi-fikátorem jako negativn´ı, ale ve skuteˇcnosti se jedná o pozitivn´ı v ýskyt

Pro lepˇs´ı pˇrehlednost a nezávislost na velikosti testovac´ı mnoˇziny zavád´ıme pomˇerové hodnocen´ı klasifikátoru.

• ACC = _TP+TN+FP+FNTP+TN – Pˇresnost. Vyjadˇruje pomˇer mezi správnˇe vyhodnocen ými v ýskyty a vˇsemi v ýskyty

• TPR= _TP+FNTP – True positive rate. Vyjadˇruje pomˇer mezi správnˇe vyhodnocen ými pozitivn´ımi v ýskyty a vˇsemi pozitivn´ımi v ýskyty

• FPR = _TN+FPFP – False positive rate. Vyjadˇruje pomˇer mezi chybnˇe vyhodnocen ými negativn´ımi v ýskyty a vˇsemi negativn´ımi v ýskyty

• PPV = _TP+FPTP – Positive predictive value. Popisuje kvalitu diagnostického testu nebo statistického mˇeˇren´ı vzhledem k pozitivn´ı pˇredpovˇedi. Jedná se o pomˇer mezi správnˇe vyhodnocen ými pozitivn´ımi v ýskyty a souˇctem správnˇe vyhodnocen ých pozitivn´ıch v ýskyt ˚u a chybnˇe vyhodnocen ých negativn´ıch v ýsledk ˚u.

• NPV = _TNTN_+FN – Negative predictive value. Popisuje kvalitu diagnostického testu nebo statistického mˇeˇren´ı vzhledem k negativn´ı pˇredpovˇedi. Jedná se o pomˇer mezi správnˇe vyhodnocen ými negativn´ımi v ýskyty a souˇctem správnˇe vyhodnocen ých negativn´ıch v ýskyt ˚u a chybnˇe vyhodnocen ých pozitivn´ıch v ýsledk ˚u.

• F1 = 2 · _PPVPPV·TPR_+TPR – F1 Score se pouˇz´ıv´a k testu pˇresnosti (ve smyslu spr´avnosti

klasifikace) a to pˇredevˇs´ım v pˇr´ıpadech, kdy je velké mnoˇzstv´ı negativn´ıch záznam ˚u, které nejsou pro test pˇresnosti relevantn´ı. Jedná se o harmonick ý pr ˚umˇer pˇresnosti (PPV) a citlivosti (TPR).

(22)

Na Obrázku 4 jsou znázornˇeny vazby mezi nˇekter ými v ýˇse popsan ými stavy.

FN(II)

TN

FP(I)

TP

TPR FPR PPV NPV

(23)

3 Popis vlastnost´ı obrazov ´e funkce

V této kapitole jsou popsány tˇri základn´ı metody bˇeˇznˇe vyuˇz´ıvané v praxi. Kaˇzdá z tˇechto metod charakterizuje obrazovou funkci jin ým zp ˚usobem. V podkapitolách je vysvˇetlen základn´ı princip.

3.1 Haarovy pˇr´ıznaky

Haarovy pˇr´ıznaky sv ým charakterem detekuj´ı specifické rysy obrazu, které jsou zaloˇzeny na jasov ých sloˇzkách digitáln´ıho obrazu. Jedná se o jednoduché obdéln´ıkové oblasti (Obrázek 5) a m ˚uˇzeme je rozdˇelit do nˇekolika typ ˚u podle informace, která má b ýt de-tekována. Napˇr´ıklad na hranové (5a), ˇcárové (5b) a stˇredové (5c) pˇr´ıznaky. Hodnota pˇr´ıznaku se vypoˇc´ıtává z intenzity obrazu pod danou oblast´ı.

f (x)= w0r0+ w1r1, (6)

kde f (x) je odezva Haarova pˇr´ıznaku na sn´ımek x, w0je váha b´ılé obdéln´ıkové oblasti r0

(24)

(a) Hranov´e pˇr´ıznaky

(b) ˇC´arov´e pˇr´ıznaky

(c) Stˇredov´e pˇr´ıznaky

Obr´azek 5: Haarovy pˇr´ıznaky

3.2 Lok ´aln´ı bin ´arn´ı vzor

Metoda lokáln´ıch binárn´ıch vzor ˚u (Local Binary Pattern - LBP) slouˇz´ı stejnˇe jako Haarovy pˇr´ıznaky k popisu vlastnost´ı obrazu. Popis textury se provád´ı v bl´ızkém okol´ı jednotliv ých pixel ˚u vstupn´ıho obrazu. Pro okol´ı byla zvolena kruhová reprezentace a v ýsledn ý popis se tedy vztahuje k bodu leˇz´ıc´ımu ve stˇredu okol´ı. Viz Obrázek 6

(25)

Texturu T v lok´aln´ım okol´ı bodu definujeme jako:

T= t (gc, g0, · · · , gP−1), (7)

kde gcje hodnota pixelu ve stˇredu lok´aln´ıho okol´ı a gp, kde p= 0, · · · , P − 1 jsou hodnoty

pixel ˚u P > 1 symetricky rozm´ıstˇen´ych na kruˇznici o polomˇeru R > 0 se stˇredem ve zkouman´em bodˇe. [11] Tedy

t=

P−1

∑

p=0

gp−gc. (8)

Od deskriptoru pˇredpokládáme odolnost v ˚uˇci jasov ým zmˇenám obrazu. Abychom této odolnosti dosáhli uprav´ıme vzorec pro v ýpoˇcet a LBP tedy definujeme:

LBP_P,R = P−1 ∑ p=0 s(gp−gc ) 2p s(x)= ⎧ ⎪ ⎪ ⎨ ⎪ ⎪ ⎩ 1 pro x ≥ 0 0 pro x < 0 (9)

Pro uniformn´ı a rotaˇcnˇe invariantn´ı vzory pouˇzijeme vzorec

LBPP,R= ⎧ ⎪ ⎪ ⎨ ⎪ ⎪ ⎩ ∑P−1 p=0s ( gp−gc ) 2p pro U(LBPP,R) ≤ 2 P+ 1 pro U(LBPP,R) > 2 U(LBP_P,R)=⏐_⏐ ⏐s( gP−1−gc) − s (g0−gc )⏐_⏐ ⏐+ P−1 ∑ p=1 ⏐ ⏐ ⏐ ⏐s ( gp−gc ) −_s(_g_p−1−_g_c)⏐⏐ ⏐ ⏐ (10) 3.3 HOG

Metoda HOG (Histograms of Orinted Gradiets) byla vyvinuta za úˇcelam detekce lidsk ých postav v obraze. Pˇr´ıznaky jsou zaloˇzeny na hledán´ı v ýznamn ých hran v obraze. Jednotlivé gradienty jsou reprezentovány svou velikost´ı a smˇerem. Jednotlivé gradienty jsou z´ıskány konvoluc´ı Gaussovsky filtrovaného obrazu I s maskou [−1, 0, 1], resp [−1, 0, 1]T

Ix=I ∗ [−1, 0, 1] ,

Iy=I ∗ [−1, 0, 1]T,

(11) kde * znaˇc´ı konvoluci.

(26)

Pot´e, co jsou z´ısk´any obrazy Ixa Iy, je pro kaˇzdou bu ˇnku vypoˇctena velikost gradientu m(x, y) a smˇer Θ(x, y). m(x, y) =√I_x2+ I2_y, Θ(x, y) = tan−1 (_I y Ix ) . (12)

Z vypoˇcten ých hodnot je sestaven histogram orientac´ı. Oblast i = {0, 2π} rozdˇel´ıme pod nˇekolika stejnˇe velk ých v ýseˇc´ı (bin ˚u) a zaznamenáme pˇr´ınos jednotliv ých gradient ˚u. [11] Konstrukce HOG deskriptoru spoˇc´ıvá v rovnomˇerném rozdˇelen´ı vstupn´ıho obrazu do stejnˇe velk ých ˇctvercov ých blok ˚u. Bloky následnˇe rozdˇel´ıme do bunˇek, ve kter ých poˇc´ıtáme gradienty. V ýsledn ý obraz tedy m ˚uˇzeme znázornit jak je uvedeno na Obrázku 7. Zde je pˇr´ınos jednotliv ých gradient ˚u rozdˇelen do ˇsesti bin ˚u.

(a) Train car 1 (b) Train car 2

(c) Train car 3 (d) Train car 4

(27)

4 Vhodn ´e probl ´emy pro ˇre ˇsen´ı rozhodovac´ım stromem

Jak jiˇz bylo ˇreˇceno v ýˇse v Kapitole 2.1, smyslem rozhodovac´ıho stromu je zaˇrazen´ı vstupn´ıho objektu do jedné z v ýsledn ých tˇr´ıd. Optimáln´ıch v ýsledk ˚u bude dosaˇzeno, pokud rozhodovac´ı strom bude ˇreˇsit situace s následuj´ıc´ımi charakteristikami.

• Instance jsou reprezentov´any atributy s konkr´etn´ı hodnotou:

– koneˇcn ý poˇcet atribut ˚u (napˇr. barva auta,. . . ) a kaˇzdá instance má právˇe jednu hodnotu tohoto atributu (napˇr. ˇcervená, zelená,. . . ),

– kdyˇz má kaˇzd ý atribut mal ý poˇcet diskrétn´ıch hodnot (ˇcervená, zelená, modrá) je pro rozhodovac´ı strom jednoduˇsˇs´ı nalézt ˇreˇsen´ı,

– algoritmus m ˚uˇze b ýt rozˇs´ıˇren aby zvládal také reálné hodnoty (napˇr. teplota okol´ı, úhrn sráˇzek,. . . ).

• Rozhodovac´ı funkce v uzlu má diskrétn´ı poˇcet v ýstup ˚u:

– rozhodovac´ı strom klasifikuje kaˇzdou hodnotu jako jeden z v ýstup ˚u. Nejjed-noduˇsˇs´ı je pˇr´ıpad, kdy jsou moˇzné právˇe dvˇe hodnoty (booleovská klasifikace).

– je moˇzné, aby c´ılová funkce mˇela reáln ý v ýstup, ale tato varianta se bˇeˇznˇe nepouˇz´ıvá.

• Disjunktn´ı rozdˇelen´ı hodnot.

– Rozhodovac´ı stromy pˇrirozenˇe reprezentuj´ı disjunktn´ı mnoˇziny. • Tr´enovac´ı data mohou obsahovat mal´e procento chyb.

– Na rozd´ıl od jin ých metod je v ýhoda rozhodovac´ıho stromu v tom, ˇze trénovac´ı mnoˇzina m ˚uˇze obsahovat malé procento chyb.

• Tr´enovac´ı data mohou obsahovat chybˇej´ıc´ı atributy.

– Metody pro rozhodovac´ı stromy mohou b ´yt pouˇzity i pro data s chybˇej´ıc´ımi atributy.

Protoˇze v praxi nastane jen málo jev ˚u, kdy jsou splnˇeny vˇsechny tyto podm´ınky, je sloˇzité pomoc´ı jednoho rozhodovac´ıho stromu doj´ıt k bezchybné klasifikaci. K eliminaci této negativn´ı situace tedy m ˚uˇzeme pouˇz´ıt mimo jiné metodu Random forest. Ta, jak jiˇz bylo ˇreˇceno v Kapitole 2.2, sestav´ı ˇradu rozhodovac´ıch strom ˚u. Následnˇe je zde uplatnˇen vˇetˇsinov ý princip.

(28)

5 Algoritmy vyuˇz´ıvan ´e pˇri sestavov ´an´ı rozhodovac´ıho stromu

Tato kapitola je vˇenována algoritm ˚um, pomoc´ı kter ých se dá rozhodovac´ı strom sestavit. Jako ukázkov ý pˇr´ıklad si jsem zvolil sestaven´ı rozhodovac´ıho stromu pomoc´ı algoritmu TDIDT.

5.1 Algoritmus TDIDT

TDIDT (Top Down Induction of Decision Tree) funguje na principu sestaven´ı stromu od shora dol ˚u. V zásadˇe vybere jeden atribut jako koˇren d´ılˇc´ıho stromu. Následnˇe rozdˇel´ı data v tomto uzlu na podmnoˇziny podle hodnot atribut ˚u. V dalˇs´ım kroku pˇridá uzel pro kaˇzdou podmoˇzinu. Existuje -li uzel, ve kterém je v´ıce neˇz jedna tˇr´ıda, opakuje bˇeh pro tento uzel.

V algoritmu TDIDT se vyuˇz´ıvá tak zvané Occamovy bˇritvy, která ˇr´ıká: Entity se nemaj´ı zmnoˇzovat v´ıce, neˇz je nutné. V tomto pˇr´ıkladˇe ji budeme interpretovat následovnˇe: ˇC´ım má parametr vyˇsˇs´ı vypov´ıdac´ı hodnotu (menˇs´ı entropii 2.4), t´ım je lepˇs´ım kandidátem na koˇren stromu (pozdˇeji podstromu).

Jako n´astin algoritmu si pˇredstavme n´asleduj´ıc´ı situaci.

Pˇr´ıklad 5.1

Majitel ˇretˇezce restaurac´ı chce pˇredv´ıdat chován´ı zákazn´ık ˚u. Pˇresnˇeji se snaˇz´ı zjistit, jestli zákazn´ık poˇcká na uvolnˇen´ı stolu nebo ne. Proto provád´ı po nˇejak ý ˇcas pozorován´ı okol´ı restaurac´ı a zamˇeˇril se na tyto aspekty:

1. Alternativa: v okol´ı se nach´az´ı srovnateln´a restaurace

2. Bar: restaurace má pohodlné zázem´ı, kde m ˚uˇze zákazn´ık poˇckat 3. Pá/So: den v týdnu (pátek nebo sobota = T, jiný den F)

4. Hlad: z´akazn´ık je hladov ´y

5. Obsazenost: poˇcet lid´ı v podniku (hodnoty Nikdo, Nˇekdo, Plno) 6. Cena: cenov´a skupina restaurace ($, $$, $$$)

7. Deˇst’: jestli venku prˇs´ı

(29)

Zákazn´ık Alt Bar Pá/So Hlad Obs Cena Déˇst’ Rez Typ Casˇ Poˇcká X1 T F F T Nˇekdo $$$ F T Fr 0 − 10 T X2 T F F T Plno $ F F Th 30 − 60 F X3 N Y N N Nˇekdo $ F F Bg 0 − 10 T X4 T F T T Plno $ F F Th 10 − 30 T X5 T F T F Plno $$$ F T Fr ≥ 60 F X6 F T F T Nˇekdo $$ T T It 0 − 10 T X7 F T F F Nikdo $ T F Bg 0 − 10 F X8 F F F T Nˇekdo $$ T T Th 0 − 10 T X9 F T T F Plno $ T F Bg ≥ 60 F X10 T T T T Plno $$$ F T It 10 − 30 F X11 F F F F Nikdo $ F F Th 0 − 10 F X12 T T T T Plno $ F F Bg 30 − 60 T

Tabulka 1: Tr´enovac´ı mnoˇzina k pˇr´ıkladu 5.1

9. Typ: typ restaurace (Francouzská (Fr), Italská (It), Thajská (Th), Burger (Bg)) 10. ˇCas: oˇcekávaná doba ˇcekán´ı na m´ısto (0 − 10 minut, 10 − 30, 30 − 60, ≥ 60)

Majitel ˇretˇezce nashromáˇzdil údaje do Tabulky 1. Tuto tabulku naz ýváme trénovac´ı mnoˇzina.

Koˇren stromu zvol´ıme podle nejniˇzˇs´ı entropie. Tedy vypoˇc´ıtáme entropii podle rovnice 5 pro jednotlivé stavy. Jako úspˇech (p₊) zvol´ıme, ˇze zákazn´ık poˇcká jako ne úspˇech (p−), ˇze

zákazn´ık nepoˇcká. H(Obsazenost)= 2 12H(Obsazenost(Nikdo))+ 4 12H(Obsazenost(Nekdo))+ 6 12H(Obsazenost(Plno)) ≈ 2 12· 0+ 4 12 · 0+ 6 12 · 0.918 ≈ 0.459 (13) Dosazen´ım v ýsledk ˚u rovnic 14, 15 a 16 do rovnice 13 z´ıskáme v ýsledek H(Obsazenost) ≈= 0.459

(30)

Parametr H(Parametr) Obsazenost 0.459 ˇ Cas 0.459 Cena 0.804 Hlad 0.804 Rezervace 0.879 P´a/So 0.879 Bar 0.981 Typ 0 Alternativa 0 D´eˇst’ 0

Tabulka 2: Entropie pro jednotliv´e parametry pˇr´ıkladu 5.1 Entropie v pˇr´ıpadˇe, ˇze nikdo nesed´ı v restauraci

H(Obsazenost(Nikdo))= −p₊log₂p₊−_p₋_log

2p− = −(0 2 ) log₂ (₀ 2 ) − (₂ 2 ) log₂ (₂ 2 ) = 0 (14)

Entropie v pˇr´ıpadˇe, ˇze je nˇekolik m´ıst v restauraci obsazeno H(Obsazenost(Nekdo))= −p₊log₂p₊−_p₋_log

2p− = −(4 4 ) log₂ (₄ 4 ) − (₀ 4 ) log₂ (₀ 4 ) = 0 (15)

Entropie v pˇr´ıpadˇe, ˇze je restaurace pln´a

H(Obsazenost(Plno))= −p₊log₂p₊−_p₋_log

2p− = −(2 6 ) log₂ (₂ 6 ) − (₄ 6 ) log₂ (₄ 6 ) ≈ 0.918 (16)

Podobnˇe pokraˇcujeme s v ýpoˇctem entropi´ı pro ostatn´ı atributy. Jednotlivé v ýsledky jsou uvedeny v Tabulce 2.

V tomto pˇr´ıpadˇe lze tedy zvolit parametr Obsazenost nebo ˇCas, kter´e poskytuj´ı nejvˇetˇs´ı informaˇcn´ı zisk o rozdˇelen´ı mnoˇziny do podmnoˇzin na z´akladˇe jednoho parametru,

(31)

znázornˇeno na Obrázku 8. Dále by algoritmus pokraˇcoval v ýpoˇctem dalˇs´ıch d´ılˇc´ıch pod-strom ˚u, dokud by nez´ıskal kompletn´ı informaci o rozdˇelen´ı.

V prvn´ım kroku nemaj´ı parametry Typ restaurace, Alternativa nebo Déˇst’ ˇzádnou vy-pov´ıdaj´ıc´ı hodnotu viz. Obrázek 9.

V ýsledn ý rozhodovac´ı strom by mohl m´ıt podobnou strukturu jak je uvedeno na Obrázku 10.

Obr´azek 8: Rozdˇelen´ı mnoˇziny podle obsazenosti

Obr´azek 9: Rozdˇelen´ı mnoˇziny podle typu

(32)

V´ıce informac´ı k tomuto pˇr´ıkladu uvedeno v knize [2]

5.2 Algoritmus ID3

Algoritmus ID3 byl vyvinut Rossem Quinlanem uˇz v roce 1986. Tento algoritmus vyuˇz´ıvá k uˇcen´ı funkce s booleovsk ými promˇenn ými. Podobnˇe jako algoritmus TDIDT 5.1 vytváˇr´ı strom od shora dol ˚u. V kaˇzdém uzlu zvol´ı atribut, kter ý nejlépe klasifikuje lokáln´ı trénovac´ı data (nejlepˇs´ı atribut má nejvyˇsˇs´ı informaˇcn´ı zisk). Takto algoritmus pokraˇcuje, dokud nejsou správnˇe zaˇrazena vˇsechna trénovac´ı data, a nebo dokud nebyly vyuˇzity vˇsechny atributy.

1 ID3 (Examples, Target Attribute, Attributes)

2 Create a root node for the tree

3 If all examples are positive, Return the single−node tree Root, with label = +.

4 If all examples are negative, Return the single−node tree Root, with label = −.

5 If number of predicting attributes is empty, then Return the single node tree Root,

6 with label = most common value of the target attribute in the examples.

7 Otherwise Begin

8 A<−− The Attribute that best classifies examples. 9 Decision Tree attribute for Root= A.

10 For each possible value, vi , of A,

11 Add a new tree branch below Root, corresponding to the test A= vi.

12 Let Examples(vi) be the subset of examples that have the value vi for A

13 If Examples(vi) is empty

14 Then below this new branch add a leaf node with label= most common target value in the examples

15 Else below this new branch add the subtree ID3 (Examples(vi), Target Attribute, Attributes − A )

16 End

17 Return Root

Algoritmus .1: Algoritmus ID3 [5]

5.3 Algoritmus C4.5 a C5.0

Algoritmus C4.5 má oproti TDIDT a ID3 nˇekolik zásadn´ıch vylepˇsen´ı. Zejména se jedná o to, ˇze je strom proˇrezan ý jiˇz pˇri jeho konstrukci. Nav´ıc Algoritmus C4.5 umoˇz ˇnuje práci s numerick ými atributy, chybˇej´ıc´ımi hodnotami a také brát do úvahy r ˚uzné ceny za r ˚uzná chybná rozhodnut´ı. M ˚uˇzeme tedy prioritizovat jistou hodnotu oproti jiné. Tato vlastnost je velmi v ýhodná v pˇr´ıpadˇe, ˇze oˇcekáváme pravdˇepodobnost urˇcitého jevu jako velmi malou nebo naopak velkou. Rozhodovac´ı strom pak m ˚uˇze b ýt v ýraznˇe jednoduˇsˇs´ı a tedy i rozhodován´ı je rychlejˇs´ı.

(33)

Algoritmus C5.0 (resp. See5) implementuje oproti C4.5 nˇekolik nov ých funkc´ı. Za zm´ınku rozhodnˇe stoj´ı parametr cena za nesprávnou klasifikaci (v algoritmus C4.5 jsou vˇsechny chyby povaˇzovány za sobˇe rovné, to ovˇsem v reálném svˇetˇe vˇzdy neplat´ı). Dále je algo-ritmus C5.0 schopen pracovat s v´ıce datov ými typy, napˇr´ıklad ˇcasem.

(34)

6 Sestaven´ı Random forestu

Algoritmus Random forestu (viz. Kapitola 2.2) byl vyvinut Leem Breimanem a Adele Cut-lerovou. Tento algoritmus si dokáˇze poradit jak s klasifikaˇcn´ım, tak regresn´ım problémem (viz. Kapitola 2.5). OpenCV na Random forest pohl´ıˇz´ı jako na matici rozhodovac´ıch strom ˚u. Klasifikace funguje následovnˇe: Random forest pˇrijme vektor vstupn´ıch vlast-nost´ı, klasifikuje jej pomoc´ı vˇsech strom ˚u v lese a vrát´ı tˇr´ıdu, která byla vyhodnocena jako nejpravdˇepodobnˇejˇs´ı.

Vˇsechny stromy se uˇc´ı za pouˇzit´ı stejn ých parametr ˚u, ale na r ˚uzn ých trénovac´ıch mnoˇzinách. Tyto podmnoˇziny jsou generovány z origináln´ı trénovac´ı mnoˇziny pomoc´ı samozavádˇec´ı procedury: pro kaˇzdou trénovac´ı podmnoˇzinu vybere náhodnˇe stejn ý poˇcet trénovac´ıch vektor ˚u jako je v celé trénovac´ı mnoˇzinˇe. Algoritmus pˇripouˇst´ı opakován´ı vektor ˚u, takˇze v jednotliv ých stromech budou nˇekteré vektory pouˇzity v´ıcekrát a nˇekteré budou chybˇet.

ˇ

Zádn ý z rozhodovac´ıch strom ˚u nen´ı proˇrezan ý.[3]

S= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ f11 · · · fm1 C1 ... ... ... fAB ... CB ... ... f1n · · · fmn Ci ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ , (17)

kde fABje vlastnost A tr´enovac´ıho objektu B, kter ´y kategorizujeme jako class CB.

6.1 Vytvoˇren´ı Random forestu

Vytvoˇren´ı rozhodovac´ıho stromu spoˇc´ıvá v náhodném v ýbˇeru k ˇrádk ˚u, kde k ∈ N a zárove ˇn k ≤ n z trénovac´ı mnoˇziny uvedené v úvodu této kapitoly a následném sestaven´ı rozhodovac´ıho stromu z tˇechto dat. Random forest je potom l ∈ N rozhodovac´ıch strom ˚u.

(35)

Mˇejme trénovac´ı mnoˇzinu S z úvodu Kapitoly 17. Nyn´ı vytvoˇrme l náhodn ých podmnoˇzin S1, S2,. . ., Sl. S1= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ f12 · · · fm2 C2 f15 · · · fm5 C5 f18 · · · fm8 C8 ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ , S2= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ f13 · · · fm3 C3 f15 · · · fm5 C5 f17 · · · fm7 C7 f18 · · · fm8 C8 f19 · · · fm9 C9 ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ , Sl = ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ f1a · · · fma Ca ... ... ... ... f1b · · · fmb Cb ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ , (18)

kde a, b, m, l, i ∈ N , fmnje vlastnost objektu, Cije v ´ysledn´a klasifikaˇcn´ı tˇr´ıda.

Následnˇe se nad takto vytvoˇren ými maticemi spust´ı algoritmus pro vytvoˇren´ı rozhodo-vac´ıho stromu (napˇr´ıklad TTDI popsan ý v pˇredchoz´ı Kapitole 5.1).

Pˇredpokládejme, ˇze jsme podle popsaného postupu sestavili l rozhodovac´ıch strom ˚u. Tuto mnoˇzinu jiˇz naz ýváme Random forest. Kaˇzd ý z tˇechto strom ˚u je nauˇcen ý podle jin ých parametr ˚u, takˇze m ˚uˇze testovan ý objekt zaˇradit do jiné tˇr´ıdy. Poˇsleme -li do tohoto lesa testovac´ı objekt, obdrˇz´ıme v ýsledek následuj´ıc´ıho typu: pravdˇepodobnost v ýskytu tohoto objektu ve tˇr´ıdˇe Cije k %. Dále je uˇz rozhodnut´ı jen na vhodném pouˇzit´ı parametr ˚u, kdy

je pravdˇepodobnost dostateˇcnˇe velk´a, abychom tento objekt oznaˇcili, ˇze skuteˇcnˇe patˇr´ı do dan´e tˇr´ıdy.

V tuto chv´ıli na okamˇzik opust´ıme obecnou rovinu a zkus´ıme jednoduch ´y praktick ´y pˇr´ıklad.

Mˇejme jednoduchou úlohu rozpoznán´ı objekt ˚u v obraze. Naˇsim úkolem bude vytvoˇrit Random forest pro rozpoznán´ı ˇctverce, hvˇezdiˇcky a obdéln´ıku v testovac´ım Obrázku 11. Aby bylo moˇzné tento úkol splnit potˇrebujeme pˇripravit také trénovac´ı mnoˇzinu z Obrázku 12.

(36)

Obr´azek 11: Testovac´ı obr´azek

Obrázek 12: Trénovac´ı obrázek

Nejprve je potˇreba zvolit vhodné parametry jak kvalifikovat jednotlivé objekty. Na roz-poznán´ı hvˇezdiˇcky bude nejlepˇs´ı pouˇz´ıt obvod (hvˇezdiˇcka má jistˇe vˇetˇs´ı obvod neˇz ˇctverec, ˇci obdéln´ık). Tento parametr nám vˇsak jiˇz nebude staˇcit pro rozliˇsen´ı obdéln´ıku a ˇctverce. Zde se nab´ız´ı pouˇzit´ı rozptylu délek hran objektu. Pro rozpoznán´ı je potˇreba zvolit prarametry tak, aby byly invariantn´ı v ˚uˇci poloze a rotaci a velikosti objektu. K v ýpoˇctu bude potˇreba jeˇstˇe nˇekolik vzorc ˚u. Vzorec pro centráln´ı moment, tˇeˇziˇstˇe a moment invariantn´ı v ˚uˇci poloze objektu.

Tˇeˇziˇstˇe objektu spoˇc´ıt´ame pomoc´ı vzorce xT =

m_1,0

m0,0, yT =

m_0,1

m0,0, (19)

(37)

Definice 6.1 Obecn´y moment definujeme mp,q= ∫ ∫ xpyqf(x, y) dxdy, diskr´etnˇe m_p,q=∑ ∑xpyqf(x, y) , (20)

kde p, q ∈ N ˇr´ad momentu. Integrujeme, pˇr´ıpadnˇe sˇc´ıt´ame pˇres vˇsechny body objektu.

V naˇsem pˇr´ıpadˇe, ale potˇrebujeme moment, kter ý nebude závisl ý na poloze. Tuto vlastnost spl ˇnuje centráln´ı moment.

Definice 6.2 Centr´aln´ı moment definujeme

µp,q= ∫ ∫ (x − xT)p( y − yT)qf(x, y) dxdy, diskr´etnˇe µp,q= ∑ ∑ (x − xT)p( y − yT)qf(x, y) , (21)

kde xTa yTje poloha tˇeˇziˇstˇe objektu a p, q ∈ N ˇr´ad centr´aln´ıho momentu. Integrujeme, pˇr´ıpadnˇe

sˇc´ıt´ame pˇres vˇsechny body objektu.

Jako prvn´ı parametr tedy zvol´ıme pomˇer obvodu k obsahu obrazce. Uk´azalo se, ˇze je vhodn´e pouˇz´ıt f1 = p

2

µ0,0, kde p je obvod obrazce aµ0,0je nult ´y centr´aln´ı moment obrazce.

Zanedb´ame -li jasovou funkci f (x, y), rozumˇej bude m´ıt hodnotu 1 v kaˇzd´em bodˇe objektu, bude se jednat o obsah.

Informaci ohlednˇe orientace obrazu m ˚uˇzeme odvodit pomoc´ı centráln´ıch moment ˚u druhého ˇrádu k sestaven´ı kovarianˇcn´ı matice.

µ′ 20 = µ20 µ00, µ ′ 02 = µ02 µ00, µ ′ 11 = µ11 µ00

Kovarianˇcn´ı matici tedy m ˚uˇzeme zapsat ve tvaru cov(I(x, y)) =

⎛ ⎜ ⎜ ⎜ ⎜ ⎝ µ′ 20 µ ′ 11 µ′ 11 µ ′ 02 ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ (22)

Vlastn´ı ˇc´ısla kovarianˇcn´ı matice udávaj´ı délku hlavn´ı a vedlejˇs´ı osy rozloˇzen´ı ”hmoty”v objektu. V naˇsem pˇr´ıpadˇe jasové funkce v objektu. Pro zjednoduˇsen´ı si pˇredstavme, ˇze se jedná o elipsu, kterou objektu op´ıˇseme 13. Je zˇrejmé, ˇze objekt ˇctverce a hvˇezdiˇcky bude m´ıt tyto osy podobnˇe velké, kdeˇzto u obdéln´ıku budou tyto hodnoty rozd´ılné.

(38)

Obrázek 13: Znázornˇen´ı v ýznamu elipticity

Vlastn´ı ˇc´ısla t´eto matice spoˇc´ıt´ame jednoduˇse podle vzorce det ⎛ ⎜ ⎜ ⎜ ⎜ ⎝ µ′ 2,0−λ µ′1,1 µ′ 1,1 µ ′ 0,2−λ ⎞ ⎟ ⎟ ⎟ ⎟ ⎠=(µ ′ 2,0−λ) (µ′0,2−λ ) −µ′2 1,1 = λ2₋_(µ′ 2,0+ µ ′ 0,2) λ + (µ ′ 2,0µ ′ 0,2−µ′21,1) = 0 (23)

Po nˇekolika jednoduch ých matemetick ých úpravách rovnice 23 z´ıskáme vlastn´ı ˇc´ısla matice 22 a= 1 b= −(µ′_2,0+ µ′0, 2) c=(µ′_2,0µ_0,2−µ′2 1,1 ) D=(µ′₂_,0−µ′ 0,2 )2 + 4µ′2 1,1 takˇze λ = 1 2(µ ′ 0,2+ µ′2,0 ) 1 2 √ (µ′ 0,2+ µ′2,0 )2 + 4µ′2 1,1 (24)

Nyn´ı spoˇc´ıtáme hodnoty parametr ˚u v trénovac´ım Obrázku 12. V ýsledky jsou uvedeny v Tabulce 3. Pˇri sestaven´ı matice pro Random forest zvol´ıme substituci.

(39)

objekt m_0,0 p λmin λmax λmin/λmax p2/m0,0 1 ˇctverec 1408 113 114.105 121.325 0.940 9.069 2 ˇctverec 1393 116 114.268 119.271 0.958 9.66 3 ˇctverec 1412 113 116.479 120.963 0.963 9.043 4 ˇctverec 1431 115 116.782 122.121 0.956 9.242 5 hvˇezdiˇcka 435 150 60.898 63.636 0.957 51.724 6 hvˇezdiˇcka 434 155 63.022 63.748 0.989 55.357 7 hvˇezdiˇcka 434 149 60.167 62.501 0.963 51.154 8 hvˇezdiˇcka 432 150 58.433 64.375 0.908 52.083 9 obdéln´ık 699 90 16.531 206.956 0.08 11.588 10 obdéln´ık 739 80 18.076 216.197 0.084 8.660 11 obdéln´ık 713 76 16.472 216.094 0.076 8.101 12 obdéln´ık 700 76 16.5 208.5 0.079 8.251

Tabulka 3: Hodnoty parametr ˚u pro jednotliv´e objekty

Necht’ ˇctverec je objekt A, hvˇezdiˇcka objekt B a obd´eln´ık objekt C a F1 = λmin/λmax a

F2= p2/m0,0, pak mnoˇzinu S naz ýváme trénovac´ı mnoˇzinou.

S= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 class 0.940 9.069 A 0.958 9.66 A 0.963 9.043 A 0.956 9.242 A 0.957 51.724 B 0.989 55.357 B 0.963 51.154 B 0.908 52.083 B 0.08 11.588 C 0.084 8.660 C 0.076 8.101 C 0.079 8.251 C ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ (25)

Z trénovac´ı mnoˇziny vybereme náhodnˇe nˇekolik podmnoˇzin. V tomto pˇr´ıpadˇe jsem zvolil následuj´ıc´ı 4 podmoˇziny. Vˇsimnˇete si, ˇze nen´ı potˇreba, aby kaˇzdá podmnoˇzina obsahovala

(40)

vˇsechny klasifikaˇcn´ı tˇr´ıdy. S1= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 class 0.940 9.069 A 0.957 51.724 B 0.989 55.357 B 0.084 8.660 C ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ , S2 = ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 class 0.940 9.069 A 0.956 9.242 A 0.957 51.724 B 0.908 52.083 B ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ S3= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 class 0.963 51.154 B 0.908 52.083 B 0.076 8.101 C 0.079 8.251 C ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ , S4 = ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 class 0.958 9.66 A 0.963 9.043 A 0.963 51.154 B 0.076 8.101 C ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ (26)

Na základˇe tˇechto hodnot sestav´ıme rozhodovac´ı stromy. Pˇri stestavován´ı postupujeme pomoc´ı ID3 algoritmu uvedeného v Kapitole 5.2. Jako divezrifikaˇcn´ı parametr jsem pouˇzil giniho koeficient. Giniho koeficient definujeme jako obsah plochy mezi Loren-zovou kˇrivkou a diagonálou jednotkového ˇctverce ku celkové ploˇse pod diagonálou.

GC= A

A+ B (27)

N´akres situace pro matici S1 je uveden na Obr´azku 14.

Obr´azek 14: V ´ypoˇcet giniho koeficientu

V ýsledek je uveden na Obrázc´ıch 15a, 15b, 15c, 15d. Této mnoˇzinˇe rozhodovac´ıch strom ˚u ˇr´ıkáme Random forest.

(41)

(a) Rozhodovac´ı strom S1 (b) Rozhodovac´ı strom S2

(c) Rozhodovac´ı strom S2

(d) Rozhodovac´ı strom S2

Obr´azek 15: Random forest

Nyn´ı pomoc´ı Random forestu uvedeného na Obrázku 15 budeme klasifikovat objekty v testovac´ım obraze. V testovac´ım Obraze 16 spoˇc´ıtáme hodnoty F1 a F2 a uloˇz´ıme do

matice T (28). Následnˇe vyhodnot´ıme tyto parametry pro kaˇzd ý strom v náhodném lese.

(42)

T= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 1 0.994022 9.40264 2 0.0800296 7.97244 3 0.95834 51.9894 4 1 8.7097 5 0.0751434 11.3143 6 0.0745492 11.8578 7 0.925664 55.5109 8 0.955025 55.5738 9 0.992961 9.36017 ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ (28) P= ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ F1 F2 S1 S2 S3 S4 1 0.994022 9.40264 A A B A 2 0.0800296 7.97244 C A C C 3 0.95834 51.9894 B B B B 4 1 8.7097 A A B A 5 0.0751434 11.3143 C A C C 6 0.0745492 11.8578 C A C C 7 0.925664 55.5109 B B B B 8 0.955025 55.5738 B B B B 9 0.992961 9.36017 A A B A ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ (29)

Kdyˇz se pod´ıváme na v ýsledky uvedené v matici T a zaneseme se do v ýsledkové Tabulky 4, zjist´ıme, ˇze náˇs jednoduch ý Random forest je schopen vcelku dobˇre rozhodnout a kategorizovat dan ý problém.

(43)

objekt A B C 1 ˇctverec 75% 25% 0% 2 obdéln´ık 25% 0% 75% 3 hvˇezdiˇcka 0% 100% 0% 4 ˇctverec 75% 25% 0% 5 obdéln´ık 25% 0% 75% 6 obdéln´ık 25% 0% 75% 7 hvˇezdiˇcka 0% 100% 0% 8 hvˇezdiˇcka 0% 100% 0% 9 ˇctverec 75% 25% 0%

(44)

7 Vytvoˇren´ı aplikace pro rozpozn ´an´ı vozidel v OpenCV

V následuj´ıc´ı kapitole si pop´ıˇseme, jak se dá vytvoˇrit jednoduch ý algoritmus pro roz-poznáván´ı vozidel v OpenCv pomoc´ı Random forestu. Jak jiˇz název napov´ıdá, k vy-tvoˇren´ı aplikace pouˇzijeme knihovnu OpenCv, která má jiˇz mnoˇzstv´ı metod pro práci s obrazem pˇredimplementovan ých. Zejména se bude jednat o metody pro vytvoˇren´ı HOG a Random forestu. V jednotliv ých sekc´ıch si pop´ıˇseme základn´ı vstupn´ı hodnoty pro jednotlivé metody. Praktická ˇcást, urˇcen´ı vhodn ých parametr ˚u, se provád´ı pozorován´ım a vhodnou úpravou parametr ˚u.

Nejdˇr´ıve se zamˇeˇr´ıme, jak ým zp ˚usobem je moˇzné popsat vlastnosti obrazové funkce. Jako ukázku jsem zvolil metodu HOG. Následnˇe pˇrejdeme k samotnému vytvoˇren´ı Random forestu.

7.1 Metoda HOG v OpenCv

Vytvoˇren´ı HOG (Histograms of Oriented Gradients) provedeme pomoc´ı tˇr´ıdy cv::HOGDescriptor. Z´akladn´ı vstupn´ı parametry jsou winSize, blockSize, blockStride, cellSize, nbins. Jejich

matematické v ýznamy jsme si jiˇz vysvˇetlili v Kapitole 3.3. Zde uvedu jen jejich v ýznam a hrubé nast´ınˇen´ı, jak se s tˇemito parametry pracuje:

• winSize (Size) pˇredstavuje velikost celého okna, pˇres které HOG poˇc´ıtáme, • blockSize (Size) je velikost bloku, do kter ých jsme okno rozdˇelili,

• blockStride (int) znamená poˇcet pixel ˚u, o kter ý blok pˇri v ýpoˇctu jednotliv ých gra-dient ˚u posouváme,

• cellSize (Size) je velikost bu ˇnky, pro kterou gradient poˇc´ıt´ame ,

• nbins (int) pˇredstavuje poˇcet v ýseˇc´ı, ve kter ých poˇc´ıtáme pˇr´ır ˚ustek gradientu. Nást´ınˇen´ı toho jak HOG deskriptor provád´ı v ýpoˇcet je uvedeno na Obrázku 17. Zárove ˇn je potˇreba si uvˇedomit, ˇze OpenCV vyˇzaduje validaci

(winSize.width − blockSize.width)%blockStride.width == 0 and

(winSize.height − blockSize.height)%blockStride.height == 0.

(45)

Pˇreloˇzeno do obecného jazyka je v ýznam pˇredchoz´ı podm´ınky následovn ý. Posouván´ım bloku o blockStride se nám nem ˚uˇze stát, ˇze budeme poˇc´ıtat hodnotu, která nen´ı v obrázku.

Obr´azek 17: Princip konstrukce HOG Deskriptoru [11]

7.2 Random forest v OpenCV

Vytvoˇren´ı Random forestu v OpenCV se porovád´ı pomoc´ı jiˇz implemetovan ých me-tod. V prvé ˇrade existuje funkce cv::ml::RTrees::create(const cv::ml::RTrees::Params&

params=Params())

Tato metoda obsahuje tˇr´ıdu parametr ˚u cv::ml::RTrees::Params, která se sestává z nˇekolika parametr ˚u. Mezi tyto parametry patˇr´ı napˇr´ıklad maxDepth, minSampleCount,

regres-sionAccuracy, useSurrogates, maxCategories, priors, calcVarImportance, nactiveVars,

termCrit. V ýznam jednotliv ých parametr ˚u je zˇrejm ý uˇz z jejich názvu:

• maxDepth (int) pˇredstavuje hodnotu maximáln´ı hloubky stromu. (Pokud je zvo-lena pˇr´ıliˇs malá hodnota bude rozhodovac´ı schopnost stromu v ýraznˇe omezena, naopak bude -li zvolena hodnota pˇr´ıliˇs velká bude strom pˇr´ıliˇs ”chytr ý”a bude se zbyteˇcnˇe zab ývat podrobnostmi, které nejsou relevantn´ı. Informace, které mo-hou obraz zkreslit patˇr´ı napˇr´ıklad ˇsum, rozliˇsen´ı a jim podobné). Celková velikost stromu m ˚uˇze b ýt i menˇs´ı, pokud bude aplikováno jiné ukonˇcovac´ı kritérium (viz. n´ıˇze)

• minSampleCount (int) je minimum vzork ˚u potˇrebn ´ych k dalˇs´ımu dˇelen´ı stromu. (Pokud zvol´ıme hodnotu tohoto parametru pˇr´ıliˇs velkou, budou generov´any

(46)

ne-douˇcené stromy, naopak pokud bude hodnota pˇr´ıliˇs malá bude strom pˇreuˇcen ý). Vhodná hodnota je malé procento z celkov ých dat (okolo 1%)

• regressionAccuracy (double) pˇredstavuje kritérium pro pˇreruˇsen´ı pˇri pouˇzit´ı re-gresn´ıch strom ˚u. Pokud jsou vˇsechny absolutn´ı diference mezi odhadovan ými hodnotami v uzlu a hodnotami z trénovac´ı mnoˇziny menˇs´ı neˇz hodnota tohoto parametru, pak se strom nebude jiˇz dále dˇelit

• useSurrogates (bool) pokud je nastavena hodnota na ¨true¨,budou vytváˇreny náhrady uzl ˚u. Tento parametr je v ýhodn ý, pokud pracujeme s ne úpln ými daty. Promˇenná d ˚uleˇzitosti bude v tomto pˇr´ıpadˇe vypoˇc´ıtána správnˇe

• maxCategories (int) pokud program ve svém v ýpoˇctu vyhodnot´ı, ˇze se dá mnoˇzina rozdˇelit do v´ıce kategori´ı neˇz je nastavená hodnota tohoto parametru, pak najde suboptimáln´ı rozdˇelen´ı do katategori´ı urˇcen ých t´ımto parametrem. Tento parametr je opˇet v ýhodn ý, aby nevznikal zbyteˇcnˇe pˇr´ıliˇs rozvˇetven ý strom. Algoritmická sloˇzitost stromu je exponenciáln´ı, takˇze pokud povol´ıme dˇelen´ı do pˇr´ıliˇs mnoha kategori´ı, bude v ýpoˇcet trvat pˇr´ıliˇs dlouho a spotˇrebuje pˇr´ıliˇs mnoho systémov ých prostˇredk ˚u (napˇr´ıklad pamˇeti)

• priors (Mat&) tento parametr ovliv ˇnuje pravdˇepodobnost v ýskytu jevu v mnoˇzinˇe. Pokud pracujeme s daty, kde je minimáln´ı v ýskyt jistého jevu, pak tuto pravdˇe-podobnost utlum´ıme a dopˇredu budeme poˇc´ıtat s t´ım, ˇze se jedná o chybu ve vyhodnocen´ı

• calcVarImportance (bool) pokud je nastavena hodnota true, bude tato hodnota spoˇc´ıtána a je moˇzné ji z´ıskat pomoc´ı funkce cv::ml::RTrees::getVarImportance() • nactiveVars (int) nastaven´ı velikosti náhodnˇe vybrané podmnoˇziny vlastnost´ı k

nalezen´ı nejlepˇs´ıho rozdˇelen´ı uzlu stromu do dceˇrin ´ych uzl ˚u stromu. Pokud je hodnota nastavena na nulu, bude pouˇzita defaultn´ı hodnota odmocnina z mnoˇzstv´ı vlastnost´ı

• termCrit (cv::TermCriteria) ukonˇcovac´ı kritéria pro dalˇs´ı dˇelen´ı uzlu pˇri uˇcen´ı. cv::TermCriteria mohou b ýt typu COUNT, EPS nebo COUNT+ EPS. Kde COUNT znamená maximáln´ı poˇcet iterac´ı nebo element ˚u a EPS poˇzadovaná pˇresnost nebo absolutn´ı rozd´ıl mezi následn ými kroky. ˇCasto se stává, ˇze trénovac´ı algoritmus se asymptoticky pˇribliˇzuje k nˇejaké hodnotˇe, které nem ˚uˇze dosáhnout. Proto je vhodné nastavit vhodnˇe tento parametr, aby bylo zamezeno zbyteˇcnˇe sloˇzitému poˇc´ıtán´ı jiˇz zˇrejm ých hodnot

(47)

[3]

7.3 Metoda SVM v OpenCV

V této kapitole je popsáno pouˇz´ıt´ı metody SVM v OpenCV. Knihovna OpenCV jiˇz obsahuje potˇrebné algoritmy k vytvoˇren´ı SVM. Nyn´ı si vysvˇetl´ıme jednotlivé parametry metody a jejich v ýznam. Pro vytvoˇren´ı klasifikátoru SVM vyuˇzijeme funkci cv::ml::SVM::create(). Mezi základn´ı parametry této metody patˇr´ı napˇr´ıklad Type, Kernel, TermCriteria.

• Type (int) Typ formulace SVM klasifik´atoru.

– CvSVM::C SVC C-Support Vector Classification. n-class klasifikace (n ≥ 2), umoˇz ˇnuje nedokonal´e oddˇelen´ı tˇr´ıd. Jako diskriminaˇcn´ı parametr je pouˇzita hodnota CValue

– CvSVM::NU SVCν-Support Vector Classification. n-class klasificace umoˇzˇnuje

nedokonal´e oddˇelen´ı tˇr´ıd. Parametrν ∈ ⟨0, 1⟩. ˇC´ım je vˇetˇs´ı hodnota ν, t´ım je hranice mezi mnoˇzinami hladˇs´ı.

– CvSVM::ONE CLASSRozdˇelen´ı mnoˇziny odhadem. Vˇsechna trénovac´ı data pocház´ı z jedné tˇr´ıdy. SVM vytvoˇr´ı hranici na základˇe oddˇelen´ı této tˇr´ıdy od vˇsech pˇr´ıpadn ých dalˇs´ıch.

• CValue (double) Parametr C je pouˇzit jako diskriminaˇcn´ı hodnota v SVM optima-lizaˇcn´ı ´uloze C SVC.

• Nu (double) Parametrν ∈ ⟨0, 1⟩ je v SVM optimalizaˇcn´ı ´uloze NU SVC nebo ONE CLASS. ˇ

C´ım je vˇetˇs´ı hodnotaν, t´ım je hranice mezi mnoˇzinami hladˇs´ı.

• Kernel (int) zp ˚usob transformace do prostoru s vyˇsˇs´ı dimenz´ı. Volba tohoto para-metru ovliv ˇnuje dalˇs´ı povinn´e parametry

– CvSVM::LINEAR Lineárn´ı kernel. Neprovád´ı se ˇzádné mapován´ı. Lineárn´ı klasifikace nebo regrese se provád´ı v origináln´ım prostoru. K(xi, xj)= xT_i xj

– CvSVM::POLYPolynomi´aln´ı kernel: K(xi, xj)= (γxT_ixj+coef0)degree, kdeγ > 0.

– CvSVM::RBFRadial basis function (RBF), vhodn´a volba pro vˇetˇsinu pˇr´ıpad ˚u. K(xi, xj)= e−γ||xi−xj||

2

, kdeγ > 0.

– CvSVM::SIGMOIDSigmoid kernel: K(xi, xj)= tanh(γxT_ixj+ coef0).

(48)

• gamma (double) je parametrγ pouˇzitý pro výpoˇcet kernelu v POLY, RBF a SIGMOID. • coef0 (double) je parameter coe f 0 pouˇzit ý pro v ýpoˇcet kernelu v POLY a SIGMOID. • class weights (Mat&) znamená váhu jednotliv ých tˇr´ıd. Parametry C pro jednotlivé tˇr´ıdy jsou z´ıskány jako class weightsi∗C. Pomoc´ı tohoto parametru se daj´ı

prioriti-zovat v ´ysledky pro urˇcit´e tˇr´ıdy.

• term crit (cv::TermCriteria) je nastaven´ı ukonˇcovac´ıch kritéri´ı pro trénován´ı SVM. [3]

7.4 Vytvoˇren´ı programu

V této kapitole je popis tvorby jednoduchého rozpoznávaˇce vozidel. Nejprve je potˇreba pˇripravit a popsat trénovac´ı a testovac´ı mnoˇzinu. Trénovac´ı mnoˇzina se mus´ı skládat z dostateˇcného mnoˇzstv´ı pozitivn´ıch a negativn´ıch obraz ˚u. Na testovac´ı mnoˇzinˇe jsme pak schopni zjistit jak dobˇre náˇs algoritmus funguje. Následnˇe je potˇreba obrazová data popsat (zde je vyuˇzita metoda HOG) a nakonec nauˇcit program rozpoznávat jednotlivé objekty.

7.4.1 Sestaven´ı tr ´enovac´ı mnoˇziny

Pozitivn´ı trénovac´ı mnoˇzinou je v naˇsem pˇr´ıpadˇe soubor 1317 obraz ˚u vozidel o rozmˇeru 128 x 128 px. Pˇr´ıklad nˇekolika trénovac´ıch obraz ˚u je uveden na Obrázku ˇc. 18. Jako negativn´ı mnoˇzinu lze pouˇz´ıt jak ýkoli obraz, na kterém vozidlo nen´ı zobrazeno. V naˇsem pˇr´ıpadˇe se negativn´ı mnoˇzina skládá z 3921 obraz ˚u.

(49)

Obr´azek 18: Tr´enovac´ı mnoˇzina positive

Trénovac´ı vektor sestav´ıme pomoc´ı metody compute hog(), která je uvedena v algoritmu 3. Tato metoda spoˇc´ıtá cv::HOGDescriptor pro vektor obraz ˚u img lst a uloˇz´ı jeho hodnoty do vektoru gradient lst. Kaˇzd ý obrázek ve vektoru img lst je pˇreveden do stup ˇn ˚u ˇsedi. Následnˇe je pro obrázek sestaven vlastn´ı popisn ý vektor gradient ˚u, kter ý je uloˇzen do gradient lst. Nastaven´ı velikosti bloku, posunut´ı bloku, velikosti bu ˇnky a poˇcet smˇer ˚u (bin ˚u) provedeme pomoc´ı globáln´ıch promˇenn ých, protoˇze pˇri testován´ı obrázk ˚u mus´ıme pouˇz´ıt stejné hodnoty jako pˇri trénován´ı. Jinak by rozhodovac´ı algoritmus nefungoval. Pro úˇcely testován´ı a trénován´ı byly zvoleny následuj´ıc´ı parametry

• CELL SIZE= Size(8, 8) • BLOCK SIZE= Size(16, 16) • BLOCK STRIDE= Size(4, 4)

• NBINS= 6

void compute hog(const vector< Mat > & img lst, vector< Mat > & gradient lst, const Size & size)

{

HOGDescriptor hog; hog.winSize = size; hog.cellSize = CELL SIZE; hog.blockSize = BLOCK SIZE; hog.blockStride = BLOCK STRIDE; hog.nbins = NBINS;

(50)

Mat gray;

vector< Point > location ; vector< float > descriptors;

vector< Mat >:: const iterator img = img lst .begin(); vector< Mat >:: const iterator end = img lst.end();

for (; img != end; ++img)

{

cvtColor(∗img, gray, COLOR BGR2GRAY); equalizeHist( gray, gray ) ;

hog.compute(gray, descriptors); Mat g;

Mat(descriptors).convertTo(g, CV 32F); gradient lst .push back(g);

} }

V ýpis 3: Metoda pro z´ıskán´ı trénovac´ıch vektor ˚u

7.4.2 Vytvoˇren´ı Random forestu

Jakmile jsou naˇctena vˇsechna data z trénovac´ı mnoˇziny vloˇz´ıme je do struktury cv::Ptr<cv::ml::TrainData>, kterou následnˇe vyuˇzijeme pˇri vytváˇren´ı Random forestu. Zde je d ˚uleˇzité m´ıt uloˇzeno kter ý záznam patˇr´ı do které skupiny dat. V naˇsem pˇr´ıpadˇe máme ve vektoru labels uloˇzeny skupiny 1 pozitivn´ı a 0 negativn´ı, které odpov´ıdaj´ı poˇrad´ı naˇc´ıtan ých objekt ˚u. Zdrojov ý k ód je uveden ve v ýpise 4.

V posledn´ım kroku trénován´ı vytvoˇr´ıme Random Forest, kter ý uloˇz´ıme do struktury cv::Ptr<cv::ml::RTrees>. Volbu parametr ˚u provád´ıme pozorován´ım chován´ı rozhodovac´ıho algoritmu a vhodnou korekc´ı jednotliv ých parametr ˚u.

Ptr<TrainData> prepareTrainData(vector< Mat > & gradient lst, vector<int> & labels) {

Mat samples(gradient lst.size () , gradient lst [0]. rows,CV 32F);

int col = 0;

for( int i =0; i < samples.rows; i++)

{

for( int j =0; j < samples.cols; j++)

{

samples.at<float>(i,j) = gradient lst .at( i ) .at<float>(col, j ) ; }

(51)

}

return TrainData::create(samples, 0, Mat(labels)) ;

}

Ptr<RTrees> trainRTrees(Ptr<TrainData> & train data) {

Ptr<RTrees> rtrees = RTrees::create(); rtrees−>setMaxDepth(50);

rtrees−>setMinSampleCount(600); rtrees−>setActiveVarCount(0);

rtrees−>setTermCriteria(TermCriteria(TermCriteria::EPS + TermCriteria::MAX ITER, 1000, 0.05));

rtrees−>train(train data ) ;

return rtrees ;

}

V ´ypis 4: Pˇr´ıprava tr´enovac´ı dat a sestaven´ı Random Forestu

7.4.3 Vytvoˇren´ı SVM

Pro naˇcten´ı tr´enovac´ıch dat do struktury cv::Ptr<cv::ml::TrainData>vyuˇzijeme funkci pre-pareTrainData (V ´ypis 4) z pˇredchoz´ı Podkapitoly 7.4.2

Ptr<SVM> trainSVM(Ptr<TrainData> & train data, int Kernel) { double C; Ptr<SVM> svm = SVM::create(); svm−>setType(SVM::C SVC); svm−>setKernel(Kernel); if (Kernel == SVM::RBF) { C = 10; svm−>setGamma(0.005); }

else if (Kernel == SVM::LINEAR)

{

C = 0.01; }

(52)

svm−>setTermCriteria(TermCriteria(TermCriteria::EPS + TermCriteria::MAX ITER, 1000, 0.05)); svm−>setC(C); svm−>train(train data); return svm; } V ´ypis 5: Sestaven´ı SVM

7.5 Vyhled áv án´ı objektu v re áln ém obraze

Aby bylo moˇzné tuto metodu aplikovat v praxi, je zapotˇreb´ı algoritmus rozˇs´ıˇrit tak, aby byl schopen rozpoznat osobn´ı vozidlo i v obraze, kter ý má jin ý formát neˇz 128 x 128 px. Vyhledáván´ı provád´ıme cyklick ým procházen´ım objektu pomoc´ı vyhledávac´ıho okna tzv. ROI (Region Of Interest) o rozmˇeru 128 x 128 px. Kaˇzd ý tento v ýˇrez necháme vyhodnotit Random forest nebo SVM, abychom zjistili, jestli se jedná o vozidlo nebo ne.

Aby bylo moˇzné porovnávat obrazy r ˚uzn ých velikost´ı, zvolil jsem metodu zmenˇsován´ı obrazu. V prvn´ım pr ˚uchodu maska pro v ýpoˇcet procház´ı pˇres p ˚uvodn´ı velikost obrazu a pˇri kaˇzdém dalˇs´ım se cel ý obraz zmenˇs´ı na 80% své aktuáln´ı velikosti. Obraz je zmenˇsován do té doby, dokud je jeho v ýˇska i ˇs´ıˇrka vˇetˇs´ı neˇz 128 x 128 px. Zdrojov ý k ód této funkce je uveden ve V ýpise 6.

Zde také pouˇzijeme dalˇs´ı dvˇe globáln´ı promˇenné • WINDOW SIZE= Size(128, 128)

• WINDOW STEP= 32

vector<vector<float> > testNormalImage(Mat &img, Ptr<RTrees> & rTrees) {

HOGDescriptor hog;

hog.winSize = WINDOW SIZE; hog.cellSize = CELL SIZE; hog.blockSize = BLOCK SIZE; hog.blockStride = BLOCK STRIDE; hog.nbins = NBINS;

vector< float > descriptors; Mat g;

(53)

vector<vector<float> > result; Mat gray;

cvtColor(img, gray, COLOR BGR2GRAY); Mat rescaleImg = gray.clone();

float resizeFactor = 0.8; float factor = 1;

while(rescaleImg.rows − WINDOW SIZE.height> 0 && rescaleImg.cols − WINDOW SIZE.

width> 0) {

for ( int row = 0; row<= rescaleImg.rows − WINDOW SIZE.height; row +=

WINDOW STEP) {

for ( int col = 0; col <= rescaleImg.cols − WINDOW SIZE.width; col +=

WINDOW STEP) {

Rect windows(col, row, WINDOW SIZE.height, WINDOW SIZE.width); Mat countImg = rescaleImg.clone();

rectangle(countImg, windows, Scalar(255), 1, 8, 0); Mat Roi = countImg(windows);

equalizeHist( Roi, Roi ) ; hog.compute(Roi, descriptors);

Mat(descriptors).convertTo(g, CV 32F);

int predict = rTrees−>predict(g); if ( predict == 1) { vector<float> r; r .push back(factor); r .push back(col); r .push back(row); result .push back(r); } Roi.release() ; countImg.release(); } } resize(rescaleImg,rescaleImg,Size(),resizeFactor,resizeFactor) ; factor ∗= resizeFactor;

(54)

} rescaleImg.release(); gray.release() ; g.release() ; vector<float>().swap(descriptors); return result ; }

V ýpis 6: Testován´ı reálného obrazu

Tato metoda nám vrát´ı velké mnoˇzstv´ı pozitivn´ıch v ýskyt ˚u, které vˇetˇsinou pˇrekr ývaj´ı objekt. Ukázka pozitivn´ı detekce je uvedena na obrázku 19a. Eliminaci tohoto jevu pro-vedeme pomoc´ı metody cv::groupRectangles(std::vector¡Rect¿& rectList, int groupThre-shold, double eps= 0.2 ). Parametr groupThreshold udává poˇcet pˇrekrývaj´ıc´ıch se ˇctverc ˚u, aby byl v ýskyt povaˇzován za pozitivn´ı. Parametr eps nastavuje relativn´ı rozd´ıl mezi ˇctverci, aby byly jeˇstˇe povaˇzovány za shodné.

Na základˇe testován´ı a pozorován´ı správnosti vyhodnocen´ı jsem dospˇel k tomu, ˇze vhodné nastaven´ı parametr ˚u groupThreshold a eps je pro statistickou kameru

• groupThreshold= 3 • eps= 5

V ´ysledek je uveden na Obr´azku 19b

(a) Pozitivn´ı detekce objektu klasifik´atorem (b) Korekce metodou groupRectangles