Recursive Web Search in KDE

(1)

VYSOK ´

E U ˇ

CEN´I TECHNICK ´

E V BRN ˇ

E

BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMA ˇ

CN´ICH TECHNOLOGI´I

´

USTAV INFORMA ˇ

CN´ICH SYST ´

EM ˚

U

FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF INFORMATION SYSTEMS

REKURZIVN´I PROHLED ´

AVA ˇ

C WEBU PRO KDE

RECURSIVE WEB SEARCH IN KDE

BAKAL ´

A ˇ

RSK ´

A PR ´

ACE

BACHELOR’S THESIS

AUTOR PR ´

ACE

LUK ´

A ˇ

S HEFKA

AUTHOR

VEDOUC´I PR ´

ACE

Ing. RADEK BURGET, Ph.D.

SUPERVISOR

(2)

Rekurzivn´ı prohled´

avaˇc webu pro KDE

Zad´

an´ı

1. Seznamte se s aplikaˇcn´ım rozhran´ım unixov´eho pracovn´ıho prostˇred´ı KDE.

2. Prostudujte komponentovou architekturu tohoto prostˇred´ı.

3. Navrhnˇete aplikaci pro rekurzivn´ı prohledán´ı webových stránek s moˇznost´ı definovat r˚uzná omezen´ı.

4. Implementujte navrˇzenou aplikaci v jazyce C++.

5. Integrujte aplikaci do prostˇred´ı KDE.

(3)

Licenˇcn´ı smlouva

Licenˇcn´ı smlouva je uloˇzena v archivu Fakulty informaˇcn´ıch technologi´ı Vysok´eho uˇcen´ı technick´eho v Brnˇe.

(4)

Abstrakt

Tato bakaláˇrská práce se zabývá problematikou prohledáván´ı webových stránek z desk-topového prostˇred´ı KDE. Souˇcást´ı práce je seznámen´ı s aplikaˇcn´ım rozhran´ım tohoto pro-stˇred´ı, popis návrhu a implementace aplikace. Ta podporuje ˇradu omezen´ı, jak uˇz na oblast hledán´ı, tak na hledán´ı samotné. Aplikace procház´ı internetem za pomoci rekurze a hy-pertextových odkaz˚u stránek. V závˇeru práce jsou popsány výhody aplikace oproti jiným alternativám.

Kl´ıˇcov´

a slova

vyhledávaˇc, KDE, Linux, rozhran´ı, vyhledáván´ı, omezen´ı, rekurze, Qt, C++, web, internet

Abstract

The bachelor thesis deals with problems related to web sites browsing from the KDE desktop environment. Part of this thesis is to introduce the application interface of this environ-ment, suggestion description and application amplementation. The thesis supports range of restrictions both for searching area and searching itself. Application goes through the internet with the help of recursion and hypertext links. In conclusion there are descriobed application advatages in comparison with other alternative.

Keywords

finder, KDE, Linux, interface, searching, limitation, recursion, Qt, C++, web, internet

Citace

Lukáˇs Hefka: Rekurzivn´ı prohledávaˇc webu pro KDE, bakaláˇrská práce, Brno, FIT VUT v Brnˇe, 2007

(5)

Rekurzivn´ı prohled´

avaˇc webu pro KDE

Prohl´

aˇsen´ı

Prohlaˇsuji, ˇze jsem tuto bakaláˇrskou práci vypracoval samostatnˇe pod veden´ım Ing. Radka Burgeta, Ph.D. Uvedl jsem vˇsechny literárn´ı prameny a publikace, ze kterých jsem ˇcerpal.

. . . . Luk´aˇs Hefka 12. kvˇetna 2007

Podˇekov´

an´ı

Chtˇel bych t´ımto podˇekovat vedouc´ımu práce Ing. Radku Burgetovi, Ph.D., za jeho cenné pˇripom´ınky a trpˇelivost, se kterou práci ˇcetl.

c

Luk´aˇs Hefka, 2007.

Tato práce vznikla jako ˇskoln´ı d´ılo na Vysokém uˇcen´ı technickém v Brnˇe, Fakultˇe in-formaˇcn´ıch technologi´ı. Práce je chránˇena autorským zákonem a jej´ı uˇzit´ı bez udˇelen´ı opr´ a-vnˇen´ı autorem je nezákonné, s výjimkou zákonem definovaných pˇr´ıpad˚u.

(6)

Obsah

1 Uvod´ 2

2 Vyhled´av´an´ı na webu 3

2.1 Vyhled´av´an´ı dokument˚u . . . 3

2.2 Internetov´e vyhled´avaˇce . . . 4

2.3 Souˇcasn´y stav . . . 5

3 Implementaˇcn´ı prostˇred´ı 7 3.1 Desktopov´e prostˇred´ı KDE . . . 7

3.1.1 Aplikaˇcn´ı rozhran´ı KDE . . . 7

3.2 Grafick´a knihovna Qt . . . 9

3.2.1 Hlavn´ı rysy . . . 10

3.2.2 Sign´aly a sloty . . . 10

3.2.3 Lad´ıc´ı techniky . . . 13

4 N´avrh ˇreˇsen´ı 15 4.1 Poˇzadavky na aplikaci . . . 15

4.2 Objektov´y n´avrh . . . 18

5 Implementace 20 5.1 Z´akladn´ı tˇr´ıdy. . . 20

5.2 Parsov´an´ı HTML . . . 22

5.3 Konverze znakov´ych sad . . . 22

5.4 Export do XML. . . 23

5.5 Grafick´e uˇzivatelsk´e rozhran´ı . . . 23

6 V´ysledky 25

7 Z´avˇer 27

(7)

Kapitola 1

´

Uvod

Tato práce si klade za c´ıl vytvoˇrit aplikaci pracuj´ıc´ı pod linuxovým desktopovým prostˇred´ım KDE. Ta by mˇela slouˇzit k rekurzivn´ımu prohledáván´ı webu s moˇznost´ı definovat ˇradu omezen´ı, jak na oblast hledán´ı, tak na hledán´ı samotné. Implementaˇcn´ım jazykem je C++. Kapitola2obsahuje obecné informace týkaj´ıc´ı se internetového vyhledáván´ı a vyhledávaˇc˚u. V kapitole 4 je vysvˇetlen návrh aplikace v nˇekolika kroc´ıch. Pˇredevˇs´ım jsou zde nast´ınˇené hlavn´ı problémy a také objektový návrh. Kapitola 5 shrnuje implementaci aplikace a po-pisuje nˇekteré zaj´ımavé implementaˇcn´ı detaily. Celá práce i s dosaˇzenými výsledky je shrnuta v kapitole6.

(8)

Kapitola 2

Vyhled´

av´

an´ı na webu

2.1 Vyhled´

av´

an´ı dokument˚

u

Dnes uˇz neodmyslitelná souˇcást internetu, která s rostouc´ım poˇctem stránek nabývá na své d˚uleˇzitosti. Klasické z´ıskáván´ı informac´ı (information retrieval - IR) si klade za c´ıl z´ıskáván´ı informace jako takové. Pˇredpokládá potˇrebu informace. Na internetu nemus´ı být poˇzadavek na vyhledáván´ı ˇcistˇe informaˇcn´ı. M˚uˇze j´ıt napˇr. o typ navigaˇcn´ı (chci z´ıskat jednu poˇzadovanou stránku) nebo transakˇcn´ı (najdi stránky, kde mohu uˇcinit poˇzadovanou ˇ

cinnost - transakci). Podrobnˇejˇs´ı informace lze naj´ıt v kapitole 3 A taxonomy of web searches, [3].

Podle typu dotaz˚u v internetov´ych vyhled´avaˇc´ıch je dˇel´ıme na tˇri druhy:

• Navigaˇcn´ı

• Informaˇcn´ı

• Transakˇcn´ı

Navigaˇcn´ı dotazy – tyto typy dotaz˚u pouˇzije uˇzivatel v pˇr´ıpadˇe, ˇze se chce dostat na nˇejakou konkrétn´ı stránku. Má jiˇz pˇredstavu o stránce, jen si ale nepamatuje konkrétn´ı adresu nebo se chce na stránku dostat t´ımto zp˚usobem (kdyˇz se na ni tak dostal uˇz dˇr´ıv). Podobné typy dotaz˚u se v klasickém IR oznaˇcuj´ı také jako vy-hledáván´ı

”známé poloˇzky“. Navigaˇcn´ı dotazy se ˇcasto pouˇz´ıvaj´ı pro vyhodnocován´ı r˚uzných systém˚u. Tyto dotazy maj´ı jako výsledek pouze jedinou správnou odpovˇed’ a dá se tak snadno zjistit, zda systém správnˇe odpovˇedˇel ˇci nikoli. Správná odpovˇed’ v podobˇe stránky z mnoˇziny odkaz˚u (hub page) m˚uˇze být také uspokojivý výsledek, nicménˇe je jiˇz o nˇeco nepohodlnˇejˇs´ı a horˇs´ı neˇz pˇresný odkaz.

Informaˇcn´ı dotazy – d˚uvodem pouˇzit´ı informaˇcn´ıch dotaz˚u je snaha z´ıskat konkrétn´ı informaci, která se na webu nalézá ve statické podobˇe. Takový výsledný dokument nen´ı odpovˇed´ı na konkrétn´ı uˇzivatelský dotaz. Informaˇcn´ı dotazy jsou na webu ˇcasto velmi obecné napˇr´ıklad:

(9)

s konkr´etnˇejˇs´ım zamˇeˇren´ım jako:

”Transkripˇcn´ı analýza“ nebo ”Britský parlamen-tarismus“. A v témˇeˇr 15% takových dotaz˚u je mnohem lepˇs´ı odpovˇed´ı stránka, která vede na dalˇs´ı informace (hub), neˇz jeden urˇcitý dokument.

Transakˇcn´ı dotazy – za t´ımto typem dotazu uˇzivatel oˇcekává jeˇstˇe dalˇs´ı akci. Mezi hlavn´ı kategorie dotaz˚u tohoto typu patˇr´ı nakupován´ı, stahován´ı soubor˚u (obrázk˚u, p´ısniˇcek, atd.), pˇr´ıstup k nˇejaké databázi (poˇstovn´ı smˇerovac´ı ˇc´ısla, zlaté stránky aj.) nebo vyhledán´ı nˇejakého typu serveru s konkrétn´ım zamˇeˇren´ım (hern´ı server).

Z klasického pohledu IR se tento typ dotazu velmi tˇeˇzko hodnot´ı. Nedá se jednoduˇse rozhodnout, zda je informace pro uˇzivatele dostateˇcná nebo nedostateˇcná. U tˇechto typ˚u dotaz˚u se hodnot´ı také dalˇs´ı extern´ı faktory d˚uleˇzité pro uˇzivatele (cena zboˇz´ı, rychlost sluˇzby, kvalita obrázk˚u apod.), které nejsou pˇr´ıliˇs dostupné obecným vy-hledávaˇc˚um.

V´ıce o information retrieval si m˚uˇzete pˇreˇc´ıst napˇr. v [1].

2.2 Internetov´

e vyhled´

avaˇ

ce

Vyhled´avac´ı servery lze rozdˇelit do dvou z´akladn´ıch typ˚u:

• Fulltextov´e vyhled´avaˇce

• Katalogy

V následuj´ıc´ım textu je popsán rozd´ıl mezi fulltextovými vyhledávaˇci a katalogy a zp˚usob, jak funguj´ı.

Fulltextové vyhledávaˇce – pokud do fulltextového vyhledávaˇce zadáte dotaz, vyhledávaˇc nehledá daný výraz na internetu, nýbrˇz pouze v databázi stránek na svém serveru. Program takového vyhledávaˇce (kterému se také ˇr´ıká indexovac´ı robot) funguje následovnˇe: procház´ı internetem a pomoc´ı odkaz˚u se dostává na dalˇs´ı a dalˇs´ı stránky, které následnˇe ukládá do své databáze.1 Robot procház´ı web v podstatˇe jako velkou

”pavuˇcinu“ po jej´ıch vláknech, odkazech, které spojuj´ı jednotlivé stránky internetu mezi sebou.

Roboti tedy po pˇr´ıchodu na str´anku

”parsuj´ı “ (viz. kapitola Vlastn´ı HTML parser

4.1) jej´ı zdrojový kód, zaindexuj´ı do své databáze a pokraˇcuj´ı na vyhledaném odkazu, kde se ˇcinnost opˇet opakuje. Pˇri indexován´ı robot zpracovává a ukládá zdrojový kód stránky do své databáze na serveru vyhledávaˇce. V této databázi je pak my, jako uˇzivatelé, hledáme. Hledán´ı tedy neprob´ıhá v reálném ˇcase na internetu, ale pouze na serveru vyhledávaˇce, a ten nám následnˇe odeˇsle do internetového prohl´ıˇzeˇce výsledek tohoto hledán´ı. D´ıky této metodˇe (indexace stránek na serveru) dostaneme výsledek hledán´ı témˇeˇr okamˇzitˇe. Mezi nejvˇetˇs´ı nevýhody patˇr´ı neaktuálnost dat.

1

(10)

Katalogy – katalog odkaz˚u je web, obsahuj´ıc´ı ˇradu odkaz˚u na r˚uzné stránky internetu, ˇrazené do tématických sekc´ı. Na rozd´ıl od fulltextových vyhledávaˇc˚u se zápis stránek do katalogu provád´ı ruˇcnˇe. Na pˇr´ısluˇsné registraˇcn´ı stránce se stránka zaregistruje a odkaz je schválen pracovn´ıky katalogu, kteˇr´ı posuzuj´ı také jeho vhodnost pro danou kategorii. Pˇri registrován´ı odkazu do katalogu je obvykle tˇreba zadat URL stránky, titulek odkazu, který bude v katalogu slouˇzit souˇcasnˇe jako odkaz na stránku, dále doplˇnuj´ıc´ı popis stránky, a zvolit vhodnou kategorii pro registraci. Vˇetˇsina katalog˚u nedovoluje v zápisu pouˇz´ıvat superlativy, vulgárn´ı nebo uráˇzlivé výrazy a podobnˇe.

2.3 Souˇ

casn´

y stav

V dneˇsn´ı dobˇe modern´ıch internetových vyhledávaˇc˚u najde vˇetˇsina z nás na internetu to co potˇrebuje. Rok od roku se inteligence a funkcionalita tˇechto systém˚u zvyˇsuje. Klade se velký d˚uraz na rychlost hledán´ı a na porozumˇen´ı zadaného dotazu.

Nyn´ı se na internetu nacház´ı obrovské mnoˇzstv´ı nejr˚uznˇejˇs´ıch vyhledávaˇc˚u. K nejzn´ a-mˇejˇs´ım z nich patˇr´ı bez pochybywww.google.com, který si uˇz dlouhou dobu udrˇzuje pozici nejpouˇz´ıvanˇejˇs´ıho vyhledávaˇce. ˇRada nezávislých mˇeˇren´ı ve svˇetˇe uvád´ı pod´ıl Googlu okolo 60 - 80%. Umoˇzˇnuje prohledávat jen stránky ve zvoleném jazyce (jazykové mutace webu), hledat dle data zmˇeny internetové stránky ˇci prohledávat jen urˇcitou doménu. Mezi dalˇs´ı svˇetové konkurenty patˇr´ı www.yahoo.com a www.msn.com. V´ıce informac´ı o svˇetových vyhledávaˇc´ıch na searchenginewatch.com.

Na ˇceském internetu je to pˇreváˇznˇe www.seznam.cz, který v souˇcasné dobˇe pro vyhle-dáván´ı ve svˇetˇe vyuˇz´ıvá sluˇzeb vyhledávaˇce Google. Velmi modern´ı a ne pˇr´ıliˇs pouˇz´ıvané jsou u nás takéjyxo.czamorfeo.cz. Maj´ı relativnˇe dobré vlastnosti pˇri vyhledáván´ı ˇceských výraz˚u. Dokáˇz´ı ohýbán´ı slov, um´ı rozpoznávat pˇreklepy a také dobˇre pracuj´ı s diakritikou. Svou pozici na ˇceském internetu posiluje také samotný Google.

Jak uˇz jsem pˇredeslal (kapitola 2. Teoretická ˇcást, 2.2) vyhledávaˇce se dˇel´ı do dvou základn´ıch skupin: fulltextové a katalogy. Obˇe kategorie maj´ı problém s aktuálnost´ı dat. Vyhledávaˇce fulltextové jsou závislé na prohledávac´ıch robotech, kteˇr´ı ne pˇr´ıliˇs ˇcasto aktualizuj´ı indexaˇcn´ı databázi. M˚uˇze se tak stát, ˇze vyhledávaˇc obsahuje data o webových stránkách i nˇekolik týdn˚u ˇci mˇes´ıc˚u stará nebo je dokonce neobsahuje v˚ubec2. Katalogy jsou oproti fulltextovým vyhledávaˇc˚um odkázány na uˇzivatele internetu, kteˇr´ı pln´ı indexaˇcn´ı databázi.

Jediný zp˚usob zajiˇst’uj´ıc´ı nalezen´ı aktuáln´ıch dat je tzv. real-time hledán´ı. Jedná se o vyhledáván´ı informac´ı na webových serverech v reálném ˇcase. Tuto moˇznost nejv´ıce vyuˇzijeme u hledán´ı dat, které se ˇcasto mˇen´ı, jako napˇr. zprávy, poˇcas´ı, kurzy mˇen a jiné. Dalˇs´ı moˇznosti vyuˇzit´ı jsou napˇr´ıklad u web˚u, které nepodporuj´ı vyhledáván´ı (ˇcasto to

2_{Tento fakt nast´}_av´_{a v pˇ}_r´ıpadˇ_{e, ˇ}_{ze web je na internetu kr´}_{atkou dobu a vyhled´}_avaˇ_{c jej jeˇ}_stˇ_{e nezaregistroval}

(11)

bývaj´ı i emailové konference). Nepˇr´ıjemnou vlastnost´ı tˇechto vyhledávaˇc˚u je delˇs´ı doba hledán´ı. Oblast hledán´ı se zpravidla zamˇeˇruje na jeden konkrétn´ı server a ne na celý internet. V kategorii real-time vyhledávaˇc˚u je softwarových produkt˚u velmi málo. Jedn´ım z nich je

Web Finalist. Je urˇcen pouze pro platformu Windows. Nab´ız´ı základn´ı sadu vyhledávac´ıch omezen´ı jako jsou case sensitive a hledán´ı celých slov. Na unixových systémech doposud ˇ

zádný podobný software nen´ı. Tento fakt byl inspirac´ı pro vytvoˇren´ı této bakaláˇrské práce - Rekurzivn´ı prohledávaˇc webu pro KDE.

(12)

Kapitola 3

Implementaˇ

cn´ı prostˇ

red´ı

3.1 Desktopov´

e prostˇ

red´ı KDE

KDE (K Desktop Environment) je desktopové prostˇred´ı pro Linux a jiné unixové operaˇcn´ı systémy. V souˇcasné dobˇe patˇr´ı k jednomu z nejpouˇz´ıvanˇejˇs´ıch v této oblasti. Prvn´ı impuls pro vytvoˇren´ı projektu KDE dal v roce 1996 Matthias Ettrich, který nebyl spokojen se souˇcasnou situac´ı a pˇredevˇs´ım se mu nel´ıbila nejednotnost vzhledu jednotlivých aplikac´ı. Jeho prvn´ı verze (KDE 1.0) byla uvedena v ˇcervenci 1998. Nyn´ı na projektu KDE pracuj´ı stovky vývojáˇr˚u po celém svˇetˇe, jedná se o svobodný software, který je ˇs´ıˇren pod GPL (General Public License) licenc´ı1. Významnou podporu vývoje software poskytuj´ı firmy MandrakeSoft, Trolltech a SuSE.

Toto prostˇred´ı je do znaˇcné m´ıry podobné MS Windows. Obsahuje také ˇradu inte-grovaných aplikac´ı, které jsou zahrnuty pˇr´ımo do distribuce KDE. Jejich název vˇetˇsinou zaˇc´ıná p´ısmenem K (KWrite, KPaint, KAlarm apod.). Souborovým manaˇzerem a zároveˇn nativn´ım WWW prohl´ıˇzeˇcem pro toto prostˇred´ı je Konqueror. KDE je také lokalizováno do ˇ

ceˇstiny. Prostˇred´ı se vyznaˇcuje velkým mnoˇzstv´ım konfigurac´ı. Jiným vˇseobecnˇe známým a pouˇz´ıvaným grafickým uˇzivatelským prostˇred´ım pro unixové systémy je GNOME. Obˇe tato nejvýznamnˇejˇs´ı linuxová desktopová prostˇred´ı jsou v souˇcasnosti zapojena v projektu

Freedesktop.org. KDE pouˇz´ıv´a grafickou knihovnu Qt firmy Trolltech (viz 3.1.1).

3.1.1 Aplikaˇcn´ı rozhran´ı KDE

V tomto desktopovém prostˇred´ı vˇsechny aplikace vycházej´ı z objektu KApplication a odvo-zuj´ı se z objektu KMainWindow. Aplikace vytvoˇrené touto cestou se pak automaticky pˇrizp˚usobuj´ı standard˚um KDE. Základn´ı schéma KDE pro vývojáˇre je nast´ınˇeno na obrázku

3.1.

Pro vývoj korektn´ıch aplikac´ı do tohoto prostˇred´ı je d˚uleˇzitých nˇekolik aspekt˚u. Jedn´ım z nich je seznam úkol˚u a vlastnost´ı KDE Application Developer’s Checklist na [5], které

1

Software pod licenc´ı GPL m˚uˇze být svobodnˇe pouˇz´ıván a upravován. ˇS´ıˇren vˇsak opˇet pouze pod GPL, a to obvykle bezplatnˇe.

(13)

Obrázek 3.1: Základn´ı schéma KDE.

mus´ı aplikace splˇnovat. Z nejzaj´ımavˇejˇs´ım bych uvedl správné um´ıstˇen´ı do CVS, napsat manuál, vytvoˇrit standardn´ı soubory AUTHORS, ChangeLog, README, TODO, desktop, .lsm (Linux Software Map), .spec (RPM bal´ıˇcky), registrace na freshmeat.net, konfigurace uˇzivatelského rozhran´ı v XML, definován´ı standard˚u uˇzivatelského rozhran´ı, kontrola porta-bility, lokalizace vˇsech text˚u.

Pˇr´ıkladem jednoduch´e aplikace pro KDE m˚uˇze b´yt:

#include <kapp.h>

#include <kmainwindow.h>

int main (int argc, char **argv) {

KApplication a (argc, argv, ‘‘Hello KWorld!’’); KMainWindow *w = new KMainWindow();

w->setGeometry(100, 100, 200, 100); a.setMainWidget(w);

w->show();

return a.exec(); }

Kaˇzdý program urˇcený pro KDE vyˇzaduje jednu instanci objektu KApplication. Této in-stanci pomoc´ı metody setMainWidget() nastav´ıme hlavn´ı okno aplikace - objekt z tˇr´ıdy KMainWindow. Metodou setGeometry() nastav´ıme um´ıstˇen´ı a velikost okna. Celou aplikaci spouˇst´ı ˇrádek return a.exec();.

Nativn´ım vývojovým prostˇred´ım pro prostˇred´ı KDE je KDevelop2. Jedná se o pro-jekt, který byl spuˇstˇen v roce 1998 s c´ılem nab´ıdnout programátor˚um, kteˇr´ı potˇrebuj´ı

2

(14)

vyv´ıjet aplikace pro linux integrované vývojové prostˇred´ı pro jazyk C/C++3_{. Od t´}_{e doby}

je publikován pod licenc´ı GPL a podporuje projekty KDE, GNOME anebo programován´ı v ˇcistém C/C++. KDevelop poskytuje volnˇe ˇsiˇritelné prostˇred´ı pro psan´ı programového kódu, zjednoduˇsuje pouˇz´ıván´ı standardn´ıch nástroj˚u jako je autoconf a automake4. Mezi dalˇs´ı výhody tohoto vývojového prostˇred´ı patˇr´ı grafický dialogový editor pro rychlejˇs´ı návrh a tvorbu grafického prostˇred´ı aplikace a pˇr´ımý pˇr´ıstup k dokumentaci pro KDE a Qt API (Application Programming Interface - Rozhran´ı aplikaˇcn´ıch program˚u). To programátor˚um umoˇzˇnuje sn´ıˇzit dobu nutnou pro vývoj aplikace na minimum. I kdyˇz KDevelop k práci potˇrebuje KDE a Qt, dá se pouˇz´ıt pro vývoj jakéhokoli C++ projektu, protoˇze je v prvn´ı ˇradˇe navrˇzen jako vývojové prostˇred´ı pro C/C++. Podrobnˇejˇs´ı informace lze naj´ıt na stránce projektu www.kdevelop.org.

3.2 Grafick´

a knihovna Qt

Qt je multi-platformn´ı C++ GUI systém, plnˇe objektovˇe orientovaný a jednoduˇse rozˇsiˇ ri-telný. Od jeho komerˇcn´ıho uveden´ı na trh v roce 1996 bylo na základech Qt vytvoˇreno tis´ıce aplikac´ı. Jak uˇz jsem pˇredeslal dˇr´ıve 3 tvoˇr´ı základ linuxového desktopu KDE. I pˇresto, ˇze pˇresná definice pro Qt je

”C++ GUI system“, budu v t´eto kapitole v souvislosti s Qt uˇz´ıvat pojem

”knihovna Qt“.

V souˇcasné dobˇe je knihovna podporována na tˇechto platformách: • MS Windows (od verze 95 po souˇcasné)

• Unix/X11 - Linux, Sun Solaris, HP-UX, IBM AIX, Digital Unix a dalˇs´ı

• Macintosh - Mac OS X

• Embedded - Linux s podporou framebufferu

Knihovna Qt je produktem firmy Trolltech www.trolltech.com. Obsahuje sadu velmi uˇziteˇcných nástroj˚u: designer, assistent, uic, qt-config, qmake, moc, linquist. Tyto nástroje pomáhaj´ı vývojáˇri zkrátit urˇcité etapy vývoje aplikace. Domovskou stránku Qt lze nalézt na adresewww.trolltech.com/qt.

Programátor na stˇrednˇe pokroˇcilé úrovni zvládne základy práce s knihovnou Qt velmi rychle. V následuj´ıc´ım textu se zamˇeˇr´ım na vlastnost, se kterou se programátor v C++ nesetkal, a která vyˇzaduje jistý ˇcas na asimilaci programátorových technik. Jedná se o te-chnologii signál˚u a slot˚u (viz. Signály a sloty 3.2.1) Dalˇs´ı velmi zaj´ımavou vlastnost´ı Qt jsou zp˚usoby lokalizace aplikace, pˇrenos na jiné platformy (nástroj qmake) atd. Popis tˇechto vlastnost´ı vˇsak výraznˇe pˇresahuje rámec této bakaláˇrské práce.

3_{KDevelop jako ˇ}_c´_asteˇ_cn´_{a obdoba Visual Studia v prostˇ}_{red´ı Microsoft Windows} 4

V dobˇe psan´ı této bakaláˇrské práce, tedy v dobˇe pˇrechodu z KDE verze 3 na verzi 4 se zavád´ı nástroj cmake, který uˇz taktéˇz KDevelop podporuje. Pro podrobnˇejˇs´ı informace o cmake bych odkázal na literaturu [6, Mastering Cmake 2.2 Edition]

(15)

Existuj´ı tˇri r˚uzn´e edice knihovny Qt:

Qt Enterprise Edition a Qt Professional Edition – edice slouˇz´ıc´ı pro vývoj komer-ˇcn´ıho software. Tyto edice zahrnuj´ı zdarma upgrade a technickou podporu. Informace o aktuáln´ıch cenách je moˇzné nalézt na www stránkách firmy TrollTech nebo pˇr´ımo kontaktovat [email protected]. Enterprise Edition nab´ız´ı oproti Professional Edition ˇradu rozˇsiˇruj´ıc´ıch modul˚u.

Qt Free Edition – tato edice je dostupná pro Unix, k dispozici pouze pro vývoj ”free software“ (Free and Open Source software). Je poskytována zdarma pod licencemi Q Public License5 a GNU General Pulic License.

Qt/Embedded Free Edition – edice je urˇcen´a pouze pro v´yvoj

”free software“. Je posky-tov´ana zdarma pod licenc´ı GNU General Public License.

3.2.1 Hlavn´ı rysy

Knihovna Qt vyuˇz´ıvá standardn´ı C/C++ tˇr´ıdy a funkce, sama ovˇsem nab´ız´ı velké mnoˇzstv´ı vlastn´ıch tˇr´ıd, jeˇz definuj´ı objekty, které nám ve velké m´ıˇre usnadn´ı tvorbu aplikac´ı (napˇr. QTime pro práci s ˇcasem nebo QRegExpr pro práci s regulárn´ımi výrazy).

Nejvˇetˇs´ı zaj´ımavost´ı knihovny Qt je vzájemná komunikace mezi objekty, dynamické identifikace typ˚u a properties. Rozˇs´ıˇren´ı jsou implementována pomoc´ı maker a preproce-soru moc (Meta Object Compiler). Existuj´ı i rozhran´ı pro pouˇzit´ı Qt z jiných jazyk˚u jako napˇr´ıklad Perlu (PerlQt) a Pythonu (PyQt). Pokud chceme Qt aplikaci doplnit o skrip-tován´ı, je moˇzné pouˇz´ıt nástroj QSA (Qt Scrtipt for Applications), který je zaloˇzený na jazyce ECMAScript.

3.2.2 Sign´aly a sloty

Signály a sloty slouˇz´ı pro komunikaci mezi objekty. Mechanismus signál˚u a slot˚u je základn´ı vlastnost´ı knihovny Qt a právˇe tato vlastnost dˇelá knihovnu jedineˇcnou. Pˇri programován´ı GUI je ˇzádouc´ı, aby zmˇena v jednom widgetu byla zaznamenána na widgetu druhém. Chceme tedy, aby objekt libovolné tˇr´ıdy byl schopen komunikovat s jiným objektem (opˇet libovolné tˇr´ıdy).

Pˇr´ıklad: Po stisku tlaˇc´ıtka objekt (pro vyps´an´ı textu napˇr. Label) zachyt´ı tuto ˇcinnost a vyp´ıˇse nˇejak´y text.

U starˇs´ıch grafick´ych knihoven se ke komunikaci mezi objekty pouˇz´ıvaly tzv.

”callback“ metody6.

”Callbacks“ nejsou typovˇe bezpeˇcné a programátor nemá jistotu, zdali je ” call-back“ volán se správnými parametry. V ˇceské literatuˇre se term´ın

”callbacks“ odbornˇe

5_{V´ıce o t´}_{eto licenci, viz. domovsk´}_{a str´}_{anka firmy Trolltech.} 6

(16)

pˇrekl´ad´a, jako

”zpˇetné volán´ı“. Prototyp funkce zpˇetného volán´ı má tento tvar (X Toolkit, jazyk C K&R):

void (*XtCallbackProc)(Widget, XtPointer, XtPointer)

Widget w; // urˇcuje widget, pro který byla funkce volána XtPointer client_data; // aplikaˇcnˇe závislá data

XtPointer call_data; // data spec. pro zpˇetn´e vol´an´ı

V Qt je tedy alternativa k vol´an´ı technikou

”callback“ - signály a sloty. Signál je vyslán, jestliˇze nastane konkrétn´ı událost. Slot je funkce, která se volá jako událost na urˇcitý signál. Pohled na signály a sloty se snaˇz´ı pˇribl´ıˇzit obrázek 3.2. Widgety v Qt maj´ı mnoho pˇreddefinovaných signál˚u a slot˚u, ale obvykle se pˇridávaj´ı signály a sloty vlastn´ı. T´ımto zp˚usobem m˚uˇzeme ovládat signály, které nás zaj´ımaj´ı. Mechanismus signál˚u a slot˚u je typovˇe bezpeˇcný7.

Obr´azek 3.2: Komunikace objekt˚u pomoc´ı sign´al˚u a slot˚u.

Signály a sloty mohou obsahovat pouze ty tˇr´ıdy, které jsou odvozeny (dˇedˇeny) od tˇr´ıdy QObject, nebo od libovolného následn´ıka této tˇr´ıdy (napˇr. QWidget ). Objekty vys´ılaj´ı signály tehdy, jestliˇze se zmˇen´ı takový stav objektu, který m˚uˇze být zaj´ımavý i pro

”okoln´ı svˇet“. Toto je zp˚usob komunikace mezi objekty.

Sloty se pˇreváˇznˇe pouˇz´ıvaj´ı k pˇrij´ımán´ı signál˚u, ale jsou to také normáln´ı funkce a také se s nimi dá tak pracovat. Objekty nezaj´ımá a nestaraj´ı se o to, zdali existuje objekt, který pˇrijal vyslaný signál, ˇci zdali byl na jej´ı sloty nˇejaký signál napojen. Objekty nev´ı nic o komunikaˇcn´ım mechanismu. Do jednoho slotu je moˇzno pˇripojit i v´ıce signál˚u a naopak. Také lze jeden konkrétn´ı signál spojit pˇr´ımo s dalˇs´ım signálem.

Mechanizmus signál˚u a slot˚u je velmi úˇcinný. Za takovou flexibilitu si ale daˇn bere rychlost, která je nepatrnˇe niˇzˇs´ı neˇz pˇri pouˇzit´ı

”callbacks“ metod.

7

(17)

Pˇr´ıklad: Jednoduchá ukázka pˇredvád´ı pouˇzit´ı signál˚u a slot˚u.

Mˇejme n´asleduj´ıc´ı tˇr´ıdu:

class Foo {

public: Foo();

int value() const { return val; } void setValue( int );

private: int val; };

Tuto tˇr´ıdu pˇrep´ıˇseme, aby podporovala sign´aly a sloty:

#include <qobject.h>

class FooQt : public QObject {

Q_OBJECT public:

FooQt();

int value() const { return val; } public slots:

void setValue( int ); signals:

void valueChanged( int ); private:

int val; };

Tato tˇr´ıda má stejný privátn´ı ˇclen (int val) a stejné veˇrejné metody pro pˇr´ıstup k tomuto ˇ

clenu:

int value();

void setValue( int );

jako tˇr´ıda Foo. Tˇr´ıda FooQt má pˇridánu podporu pro vyuˇzit´ı slot˚u a signál˚u. M˚uˇze tak oznámit okoln´ımu svˇetu zmˇenu svého vnitˇrn´ıho stavu (int val), vyslán´ım signálu value-Changed(). Má také definován slot void setValue(int), kterému mohou ostatn´ı objekty

(18)

pos´ılat signály. Vˇsechny tˇr´ıdy, které obsahuj´ı signály nebo sloty mus´ı m´ıt uvedené makro Q OBJECT v deklaraci. V´ıce o tˇr´ıdách v C++ v kapitole Objekty a tˇr´ıdy, [7].

Uk´azka slotu z tˇr´ıdy FooQt:

void FooQt::setValue( int v~) { if ( v != val ) { val = v; emit valueChanged(v); } } ˇ

Rádka emit valueChanged(v); vys´ılá signál valueChanged(int) ˇc´ımˇz informuje okoln´ı svˇet o zmˇenˇe hodnoty privátn´ıho ˇclenu int val. Z ukázky je patrné jakým zp˚usobem lze vys´ılat signál:

emit signal(argumenty);

Moˇznost´ı jak propojit objekty dohromady je v´ıcero. Jednou z nich je:

FooQt a, b;

QObject::connect(&a, SIGNAL(valueChanged(int)), &b, SLOT(setValue(int)));

Preprocesor zmˇen´ı ˇci odstran´ı kl´ıˇcová slova signals, slots a emit tak, aby kompilátor jazyka C++ s nimi nemˇel problémy. Pokud spust´ıme program moc8 na definici tˇr´ıdy, která obsahuje signály nebo sloty je zdrojový C++ soubor, který m˚uˇze být kompilován a linkován s ostatn´ımi objektovými soubory aplikace. (Zdroj [8])

3.2.3 Lad´ıc´ı techniky

Knihovna Qt obsahuje tˇri glob´aln´ı funkce pro v´ypis lad´ıc´ıch a upozorˇnovac´ıch text˚u.

QDebug – tato funkce slouˇz´ı pro testovac´ı v´ypisy pˇri ladˇen´ı programu.

qWarning() – funkce slouˇz´ı pro upozornˇen´ı, jestliˇze program zp˚usob´ı chybu.

8

Program moc (meta object compiler) analyzuje deklaraci tˇr´ıdy v C++ souboru a generuje C++ kód, který inicializuje meta object. Meta objekt obsahuje jména vˇsech signál˚u a slot˚u vˇcetnˇe ukazatel˚u na tyto funkce. V´ıce informac´ı v kapitole 2 Creating Dialogs, [2].

(19)

Pˇr´ıklad pouˇzit´ı:

void f( int c ) {

if ( c > 200 )

qWarning( ‘‘f: chybn´y argument, c == %d’’, c ); }

qFatal() – pˇri fat´aln´ı chybˇe programu vyp´ıˇse text a ukonˇc´ı program Pˇr´ıklad pouˇzit´ı:

int divide( int a, int b ) {

if ( b == 0 ) // chyba v programu qFata( ‘‘dˇelen´ı: nelze dˇelit nulou’’ );

return a/b; }

(20)

Kapitola 4

N´

avrh ˇ

reˇ

sen´ı

Aplikace bude umoˇzˇnovat prohledáván´ı webu za pomoc´ı rekurzivn´ıho procházen´ı stránek na základˇe obsaˇzených hypertextových odkaz˚u. Pˇri vyhledáván´ı bude moˇzno definovat r˚uzná omezen´ı. D˚uleˇzitým aspektem je, ˇze bude integrována do unixového desktopového prostˇred´ı KDE.

4.1 Poˇ

zadavky na aplikaci

Z hlediska n´avrhu jsou poˇzadavky n´asleduj´ıc´ı:

• Efektivnost

• Vlastn´ı HTML parser

• Omezen´ı pr˚uchodu robota

• Parametry hled´an´ı

• Podpora r˚uzn´ych znakov´ych sad

• Hled´an´ı s diakritikou

• Uˇzivatelsk´e rozhran´ı

Efektivnost – jelikoˇz aplikace bude prohledávat web v reálném ˇcase, bude z tohoto d˚uvodu hledán´ı ˇcasovˇe i výkonovˇe nároˇcné. Efektivita algoritm˚u bude hrát tedy nejd˚uleˇzitˇejˇs´ı roli. Rychlost hledán´ı mus´ı být zat´ıˇzena hlavnˇe pˇrenosovou rychlost´ı linky a ne zpra-cováván´ım obsahu.

Vlastn´ı HTML parser – vytvoˇren´ı vlastn´ıho HTML parseru má pˇr´ımou souvislost s pˇ red-choz´ım bodem, tedy efektivnost´ı. Parsován´ı bude nejnároˇcnˇejˇs´ı operac´ı celé aplikace, coˇz by mohlo m´ıt velký dopad na celkový výkon. Za pˇredpokladu, ˇze se budou zpra-covávat soubory ve velikosti i nˇekolika megabajt˚u, nepˇripadá pouˇzit´ı technologi´ı jako

(21)

napˇr. DOM1_{v ´}_{uvahu. Dalo by se uvaˇ}_{zovat o obecn´}_{ych HTML parserech, kter´}_{e uˇ}_{z jsou}

na tom výkonnostnˇe podstatnˇe l´ıp, ale i pˇresto se snaˇz´ı z HTML kódu vytˇeˇzit vˇse co se dá, coˇz nen´ı ˇzádouc´ı. Z tohoto d˚uvodu jsem se rozhodl vytvoˇrit parser vlastn´ı, splˇnuj´ıc´ı pˇresnˇe ty poˇzadavky, které potˇrebuji. Ten jediným pr˚uchodem parsuje celý zdrojový kód HTML stránky.

Poˇzadavky na parsov´an´ı jsou tedy n´asleduj´ıc´ı:

• Zjiˇstˇen´ı titulku str´anky • Uloˇzen´ı vˇsech odkaz˚u • Uloˇzen´ı ˇcist´eho textu

• Ignorov´an´ı ostatn´ıch tag˚u, skript˚u a koment´aˇr˚u

Omezen´ı pr˚uchodu robota – pr˚uchod prohledávac´ıho robota by mˇel být maximáln´ı m´ırou nastavitelný uˇzivatelem. Jelikoˇz se jedná o vyhledáván´ı pouze v textovém obsahu, mˇel by umˇet rozpoznávat binárn´ı soubory a nezpracovávat je. Dalˇs´ı velmi d˚uleˇzitou vlastnost´ı by mˇelo být oˇsetˇren´ı proti zacyklen´ı v rekurzi. Toho se dosáhne t´ım, ˇze si bude pamatovat uˇz prohledávané stránky a odkazy na tyto stránky igno-rovat. Pˇri stahován´ı stránek by mˇel robot rozpoznávat stavové kódy vrácené webovým serverem. Stavové kódy jsou ˇc´ısla, ke kterým pˇr´ısluˇs´ı stavová hláˇsen´ı. Ta jsou jen slovn´ım popisem daného kódu. Tato dvojice údaj˚u v odpovˇedi klientovi hodnot´ı, jak se podaˇrilo splnit jeho poˇzadavek. Viz. tabulka4.1.

Kategorie Rozsah stavov´ych Popis k´od˚u

Informaˇcn´ı 100 - 199 Zprávy definované konkrétn´ı aplikac´ı. ´

Uspˇech 200 - 299 Poˇzadavek byl úspˇeˇsnˇe zpracován. Pˇresmˇerován´ı 300 - 399 Klient mus´ı pro koneˇcné zpracován´ı

poˇzadavk˚u vykonat urˇcitou ˇcinnost. O t´eto ˇcinnosti se uˇzivatel nemus´ı dovˇedˇet.

Chyba klienta 400 - 499 Probl´emy na stranˇe klienta. Chyba serveru 500 - 599 Probl´emy na stranˇe serveru.

Tabulka 4.1: Stavové kódy a hláˇsen´ı v odpovˇedi protokolu HTTP

O stavov´ych k´odech si m˚uˇzete v´ıce pˇreˇc´ıst na serveru Interval.cz [4].

1_{DOM (akronym anglick´}_{eho Document Object Model – objektov´}_{y model dokumentu) je objektovˇ}_e

orien-tovan´a reprezentace XML nebo HTML dokumentu. DOM je API umoˇzˇnuj´ıc´ı pˇr´ıstup ˇci modifikaci obsahu, struktury nebo stylu dokumentu, ˇci jeho ˇc´ast´ı. Definice modelu DOM podle Wikipedie[12].

(22)

Omezen´ı budou definovat tyto podm´ınky:

• Poˇcáteˇcn´ı adresa (startovac´ı adresa, ze které bude robot vycházet) • Hloubka rekurze (po kterou úroveˇn zanoˇren´ı v odkazech má robot j´ıt) • Zda pouze v doménˇe nebo i mimo doménu

• Poˇcet výsledk˚u (poˇcet výsledk˚u, který uˇzivateli staˇc´ı)

Parametry hledán´ı – samotné vyhledáván´ı na stránkách bude moˇzno nastavovat nˇekolika parametry.

Parametry hled´an´ı:

• Hledan´y ˇretˇezec

• Citlivost na velikost p´ısma • Ignorov´an´ı diakritiky

• Celá slova (vyhledáván´ı v celých slovech nebo jen v jejich ˇcástech) • Pouze v titulc´ıch

• Hledán´ı regulárn´ım výrazem

Podpora r˚uzných znakových sad – aby program umˇel pracovat s r˚uznými znakovými sadami bude je muset z HTML dokumentu nˇejakým zp˚usobem zjistit. Jsou dvˇe moˇznosti jak se dá znaková sada z HTML dokumentu vyˇc´ıst. Jedn´ım ze zp˚usob˚u je, ˇze tento údaj poˇsle webový server v http hlaviˇcce. Dalˇs´ı moˇznost´ı je zjistit si znakovou sadu v meta tagu HTML kódu. Prvn´ı moˇznost má vˇetˇs´ı prioritu, coˇz znamená, ˇze pokud by webový server kódován´ı v hlaviˇcce neposlal, zjist´ı se kódován´ı z meta tagu stránky. V pˇr´ıpadˇe, ˇze by ani zde znaková sada uvedena nebyla, pouˇzije se ASCII kódován´ı.

Po zjiˇstˇen´ı kódován´ı HTML stránky se text pˇrevede do znakové sady Unicode. V této znakové sadˇe uˇz bude bezproblémové hledán´ı jakýchkoli znak˚u.

Hledán´ı s diakritikou – aplikace bude umoˇzˇnovat vyhledáván´ıˇcistˇe napˇr. ˇceských výraz˚u. To znamená, ˇze bude pracovat s diakritickými znaménky, pokud si tuto moˇznost uˇzivatel zvol´ı. V pˇr´ıpadˇe ˇze ne, bude se muset diakritika z ˇretˇezc˚u odstranit. Pro takové nahrazen´ı p´ısmen s diakritikou za p´ısmena bez n´ı se vyuˇzije kódovac´ıch tabulek. Jedna bude obsahovat výˇcet p´ısmen s diakritikou a druhá bez n´ı. Pˇriˇcemˇz p´ısmena náleˇz´ıc´ı k sobˇe se budou nacházet na stejných indexech. T´ım se urychl´ı celý pr˚ubˇeh konverze.

Export výsledk˚u do XML souboru – aby se s výsledky aplikace mohlo dále pracovat bude aplikace umoˇzˇnovat jejich uloˇzen´ı do XML souboru. Výsledky se mysl´ı trojice hodnot pro kaˇzdý nalezený záznam, coˇz je:

(23)

• Adresa URL • Titulek str´anky

• Úryvek textu s nalezeným výrazem

Uˇzivatelské rozhran´ı – ovládán´ı aplikace bude jednoduché a intuitivn´ı. D˚uraz bude kla-den na pˇrehledné zobrazován´ı výsledk˚u. Jelikoˇz struktura webu pˇredstavuje pˇreváˇznˇe

”strom“, budou se výsledky zobrazovat ve stromovém uspoˇrádán´ım. U jednotlivých výsledk˚u by mˇelo být moˇzné pˇrej´ıt na danou vyhledanou adresu nebo ji zkop´ırovat do schránky (clipboardu). Uˇzivatelské rozhran´ı by mˇelo dále informovat o aktuáln´ım stavu programu2, poˇctu nalezených výsledk˚u a dobˇe hledán´ı. Komponenty pro na-staven´ı parametr˚u hledán´ı zaberou evidentnˇe hodnˇe m´ısta, bylo by dobré panel s tˇemito volbami skrývat. Zvˇetˇs´ı se tak prostor pro zobrazován´ı výsledk˚u, a t´ım se stane apli-kace pˇrehlednˇejˇs´ı. Pˇri provádˇen´ı ˇcasovˇe nároˇcných operac´ı v pr˚ubˇehu hledán´ı nesm´ı doj´ıt k zablokován´ı aplikace. Ta mus´ı nadále komunikovat s uˇzivatelem. Tomuto neˇzádouc´ımu jevu se pˇredejde správným pouˇzit´ım signál˚u a slot˚u (viz. kapitola Signály a sloty, 3.2.1).

4.2 Objektov´

y n´

avrh

Stejnˇe tak, jako ve vˇetˇsinˇe projekt˚u, tvoˇr´ı správný objektový návrh velmi dobrý základ. U této aplikace to podle mého plat´ı obzvláˇstˇe. Asi nejvˇetˇs´ım problémem pˇri objektovém návrhu této aplikace je rekurze, která tvoˇr´ı jádro celého vyhledávac´ıho systému.

Obr´azek 4.1: Vazba mezi z´akladn´ımi tˇr´ıdami aplikace

(24)

Hlavn´ı tˇr´ıdou aplikace bude manaˇzer celého hledán´ı nazvaný DownloadManager, jehoˇz nejvˇetˇs´ım úkolem bude správa rekurzivn´ıho pr˚uchodu internetem. Tato tˇr´ıda bude pro kaˇzdou webovou stránku vytváˇret objekt tˇr´ıdy Engine. Ten se bude starat o zpracován´ı dané stránky. Stránku stáhne z internetu, za pomoci tˇr´ıdy Parser parsuje zdrojový kód na potˇrebné elementy a následnˇe ve spolupráci s tˇr´ıdou Searcher vyhledá zadaný výraz v textu. Tˇr´ıda DownloadManager, kterou budou objekty tˇr´ıdy Engine plnit z´ıskanými odkazy ze stránek. Tˇr´ıda pˇredstavuj´ıc´ı rozhran´ı aplikace se jmenuje KWebSearchWidget. V této tˇr´ıdˇe se bude inicializovat DownloadManager a spouˇstˇet celé hledán´ı. Vazbu mezi tˇemito tˇr´ıdami lze vidˇet na obrázku 4.1.

(25)

Kapitola 5

Implementace

Aplikace byla implementována v jazyce C++ za pouˇzit´ı Qt toolkitu verze 3.3.6. Jako vývojové prostˇred´ı jsem pouˇzil nativn´ı aplikaci prostˇred´ı KDE KDevelop verze 3.4, která splˇnovala veˇskeré mé poˇzadavky. Pro optimalizován´ı jsem vyuˇzil nástroj˚u Valgrind a KCache-Gring1.

5.1 Z´

akladn´ı tˇ

r´ıdy

Zde bych se pokusil popsat jen nˇekolik základn´ıch tˇr´ıd aplikace, jejich úlohu a také okra-jovˇe jejich implementaci. API celé aplikace vˇcetnˇe diagram˚u tˇr´ıdn´ıch vazeb lze nalézt na pˇriloˇzeném CD.

Donwload manager – hlavn´ı tˇr´ıda aplikace staraj´ıc´ı se o celé prohledáván´ı webu. Ob-sahuje frontu poˇzadavk˚u2, kterou pln´ı objekty tˇr´ıdy Engine. Z této fronty vybere poˇzadavek, vytvoˇr´ı objekt tˇr´ıdy Engine a zavolá jeho metodu Download pro staˇzen´ı a následné zpracován´ı stránky. Aby nedoˇslo k zahlcen´ı socketu (o této problematice v´ıce zde[10]) poˇzadavky, má tato tˇr´ıda pevný poˇcet slot˚u, které se mohou vyuˇz´ıvat. Sama si kontroluje obsazenost jednotlivým slot˚u a v pˇr´ıpadˇe, ˇze jsou zaplnˇeny, nedovol´ı staˇzen´ı dalˇs´ı stránky. Zacyklen´ı v rekurzi oˇsetˇruje tato tˇr´ıda t´ım, ˇze obsahuje haˇsovac´ı ta-bulku (viz. kapitola 14.1 Haˇsovac´ı funkce, [9]), do které ukládá jiˇz prohledané stránky. Pˇri vstupu na novou stránku se tak zjiˇst’uje, zda jeˇstˇe nebyla stránka prohledána. V pr˚ubˇehu zpracováván´ı poˇzadavk˚u mus´ı tˇr´ıda kontrolovat, zda nedoˇslo k dokonˇcen´ı hledán´ı. K tomu m˚uˇze doj´ıt v následuj´ıc´ıch pˇr´ıpadech:

• Byl dosaˇzen uˇzivatelem zadan´y poˇcet v´ysledk˚u

• Fronta poˇzadavk˚u a souˇcasnˇe vˇsechny sloty jsou prázdné (neˇceká ˇzádný poˇ zada-vek ani ˇzádný nen´ı zpracováván)

1

Aplikace slouˇz´ıc´ı k zobrazen´ı grafu volán´ı. Pouˇz´ıvá se pˇreváˇznˇe v kombinaci s aplikac´ı Valgrind

2_Poˇ_{zadavky zde pˇ}_{redstavuj´ı objekty tˇ}_{r´ıdy Request, coˇ}_{z jsou ve sv´}_{e podstatˇ}_{e struktury, kter´}_{e v sobˇ}_{e nesou}

(26)

• Pˇriˇsel signál o explicitn´ım ukonˇcen´ı hledán´ı (uˇzivatel hledán´ı zastavil) • Nastala chyba pˇri spojen´ı

Engine – hlavn´ım úkolem této tˇr´ıdy je zpracován´ı jedné stránky. Zpracován´ım se rozum´ı následuj´ıc´ı úkony

• Staˇzen´ı webové stránky • Parsován´ı stránky

• Konverze textu z p˚uvodn´ı znakov´e sady do Unicode.

• Dalˇs´ı úprava textu podle zadaných vyhledávac´ıch parametr˚u (odstranˇen´ı diakri-tiky, pˇrevod na malá p´ısmena atd.)

• Vyhled´an´ı v´yrazu

• Podle nalezen´ych odkaz˚u se vytvoˇr´ı poˇzadavky (objekty tˇr´ıdy Request ), kter´e se pˇridaj´ı do fronty poˇzadavk˚u.

Parser – slouˇz´ı k parsován´ı zdrojového textu HTML stránky. Má nejvˇetˇs´ı pod´ıl na efe-ktivnosti celé aplikace. I pˇres veˇskeré mé snahy o optimalizován´ı v n´ı program tráv´ı nejv´ıce strojového ˇcasu. Bázová metoda této tˇr´ıdy se nazývá baseParser(). Je tvoˇrena pˇreváˇznˇe z jediného pˇr´ıkazu switch, kde kaˇzdý case náleˇz´ı jednomu stavu koneˇcného automatu. V´ıce v kapitole Parsován´ı HTML,5.1.

Searcher – jak uˇz z anglického názvu vyplývá, tato tˇr´ıda se stará o vyhledáván´ı výrazu v textu, jeˇz byl za pomoci tˇr´ıdy Parser vytaˇzen ze zdrojového kódu HTML. K tomuto hledán´ı vyuˇz´ıvá knihovnu z Qt toolkitu qregexp.h. Na základˇe parametr˚u zadaných uˇzivatelem vytvoˇr´ı tˇr´ıda regulárn´ı výraz, kterým následnˇe v textu vyhledává.

Pˇr´ıklad pouˇzit´ı knihovny qregexp.h, kter´a z textu zjist´ı hodnotu velikosti a jednotku d´elky:

QRegExp rxlen( ‘‘(\\d+)(?:\\s*)(cm|inch)’’ ); int pos = rxlen.search( ‘‘Length: 189cm’’ ); if ( pos > -1 ) {

QString value = rxlen.cap( 1 ); // ‘‘189’’ QString unit = rxlen.cap( 2 ); // ‘‘cm’’ // ...

}

Z´akladn´ı metodou t´eto tˇr´ıdy je metoda Search() vracej´ıc´ı true nebo false podle ´

(27)

KWebSearchWidget – je tˇr´ıda obsahuj´ıc´ı hlavn´ı widget aplikace. Tvoˇr´ı tedy rozhran´ı mezi uˇzivatelem a aplikac´ı. Stará se o správu komponent a zjiˇst’ován´ı jejich stavu. Po spuˇstˇen´ı vyhledávac´ıho procesu, se v této tˇr´ıdˇe zjist´ı nastavené parametry hledán´ı a pˇredaj´ı se tˇr´ıdˇe DownloadManager, která se jimi bude ˇr´ıdit. Následnˇe se vytvoˇr´ı objekt tˇr´ıdy Engine a jeho metodou Start se spust´ı celý proces. Komunikace jedno-tlivých komponent se odehrává prostˇrednictv´ım signál˚u a slot˚u viz. 3.2.1. Jedn´ım ze signál˚u jsou také nalezené výsledky, které jsou pˇr´ımo zobrazovány v hierarchickém uspoˇrádán´ı. Pro tento výpis byla pouˇzita komponenta ListView, která nejv´ıce splˇnovala poˇzadavky na pˇrehlednost.

5.2 Parsov´

an´ı HTML

HTML parser je implementován jako koneˇcný automat3 obsahuj´ıc´ı 14 stav˚u. Ten pro kaˇzdý znak vstupn´ıho ˇretˇezce pˇrecház´ı do jednoho ze stav˚u. Výsledkem parsován´ı jsou dva ˇretˇezce obsahuj´ıc´ı titulek stránky a ˇcistý text a datový kontejner vector z tˇr´ıdy STL naplnˇený nalezenými odkazy. Podrobnˇejˇs´ı popis koneˇcného automatu spadá mimo rámec této techni-cké zprávy, proto odkazuji alespoˇn na graf tohoto automatu v pˇr´ıloze A.1.

5.3 Konverze znakov´

ych sad

Aby program mohl pracovat se vˇsemi texty (vrácenými Parserem) jednotnˇe, bylo tˇreba jed-notlivá kódován´ı sjednotit do Unicodu. Protoˇze Qt toolkit pracuje s unicode ˇretˇezci, byla tato volba jasná. Pro pˇrevod mezi kódován´ımi jsem vyuˇzil Qt knihovnu qtextcodec.h. Ta podporuje celou ˇradu kódován´ı od klasického cp1250 aˇz po nejr˚uznˇejˇs´ı japonské a ˇc´ınské znakové sady. Pouˇz´ıvá se k pˇrekódováván´ı mezi Unicodem a danou sadou. Nejprve je nutno vytvoˇrit codec pro znakovou sadu a následnˇe pouˇz´ıt bud’ funkci fromUnicode() nebo toUni-code. V naˇsem pˇr´ıpadˇe to bude druhá varianta.

Pˇr´ıklad pˇrevodu ˇretˇezce v k´odov´an´ı cp1250 do Unicode:

QTextCodec * codec;

QTextCodec::codecForName(‘‘cp1250’’);

QString unicodeString = codec->toUnicode(originalString);

O t´eto problematice v´ıce zde[11].

3

Definice koneˇcného automatu podle Wikipedie[13]: Koneˇcný automat (KA, téˇz FSM z anglického finite state machine) je teoretický výpoˇcetn´ı model pouˇz´ıvaný v informatice pro studium vyˇc´ıslitelnosti a obecnˇe formáln´ıch jazyk˚u. Popisuje velice jednoduchý poˇc´ıtaˇc, který m˚uˇze být v jednom z nˇekolika stav˚u, mezi kterými pˇrecház´ı na základˇe symbol˚u, které ˇcte ze vstupu.

(28)

5.4 Export do XML

Export výsledk˚u se neukládá do XML ve stromové hierarchii, tak jako tomu je pˇri zo-brazován´ı v komponentˇe ListView. Vˇsechny výsledky jsou jakoby v jedné úrovni. Podle uˇzivatelem vybrané cesty a názvu souboru se výsledky uloˇz´ı v následuj´ıc´ım formátu.

Element results obsahuje neomezen´e mnoˇzstv´ı element˚u result, kter´e maj´ı tyto atributy:

• title (titulek str´anky)

• fragment (úryvek textu s hledaným výrazem)

• url (adresa str´anky)

Pˇr´ıklad takov´eho v´ystupu4:

<!DOCTYPE XML> <results>

<result title=‘‘Aktuality’’ fragment=‘‘(all text)’’ url=‘‘http://www.fit.vutbr.cz/lib/’’ /> <result title=‘‘Odkazy’’ fragment=‘‘(all text)’’

url=‘‘http://www.fit.vutbr.cz/links/’’ /> </results>

5.5 Grafick´

e uˇ

zivatelsk´

e rozhran´ı

Pro tvorbu uˇzivatelského rozhran´ı bylo vyuˇzito aplikace Qt Designer. Tento nástroj slouˇz´ı k tvorbˇe rozhran´ı aplikac´ı a formuláˇr˚u zaloˇzených na Qt toolkitu. Funguje bud’ jako samo-statná aplikace nebo je integrována jakou souˇcást IDE (KDevelop, Visual Studio a jiné.). Nab´ız´ı také jednoduchý manaˇzer správy signál˚u a slot˚u nad formuláˇri. V aplikaci jsou pouˇzity jak komponenty samotného Qt toolkitu, tak prostˇred´ı KDE5.

4

Hodnota “all text” u atributu fragment znamená, ˇze uˇzivatel nezadal výraz pro vyhledán´ı, t´ım se ´

uryvkem textu stává text celý.

5

(29)

Obr´azek 5.1: Vzhled aplikace

Pˇri rozloˇzen´ı komponent jsem kladl velký d˚uraz na jednoduchost a pˇrehlednost. Jak je vidˇet na obrázku5.1, panel pro nastaven´ı parametr˚u hledán´ı zab´ırá pomˇernˇe velkou ˇcást okna. To v pˇr´ıpadˇe zobrazen´ı vˇetˇs´ıho poˇctu výsledk˚u hledán´ı m˚uˇze být znaˇcnˇe nepˇrehledné. Z toho d˚uvodu jsem implementoval skrýván´ı panelu pro nastaven´ı parametr˚u hledán´ı.

(30)

Kapitola 6

V´

ysledky

C´ılem této práce bylo vytvoˇrit aplikaci, která by prohledávala rekurzivn´ım zp˚usobem webo-vé stránky. Do jaké m´ıry se mi to podaˇrilo bych chtˇel nast´ınit v následuj´ıc´ı kapitole.

Aplikace pracuje korektnˇe v desktopovém prostˇred´ı KDE. Dokáˇze prohledávat web podle nejr˚uznˇejˇs´ıch kritéri´ı, která jednak vymezuj´ı pohyb robota, ale také upˇresˇnuj´ı poˇzadavek na hledán´ı výrazu. Samotné ovládán´ı je pˇresto velmi jednoduché a intuitivn´ı. I kdyˇz aplikace mus´ı pro vyhledáván´ı vˇsechny stránky stahovat a následnˇe s nimi pracovat, je rychlost hledán´ı podle mého m´ınˇen´ı dobrá. Pro srovnán´ı na lince o rychlosti 2 MB/s prohledá pr˚umˇernˇe 100 webových stránek za 18 sekund.

Rychlost hled´an´ı je ovlivˇnov´ana nˇekolika faktory:

• Rychlost´ı linky

• Zadan´ymi parametry pro hled´an´ı

• V´ykonem poˇc´ıtaˇce

Aplikace dokáˇze pˇrehlednˇe zobrazit výsledky hledán´ı ve stromové hierarchii a umoˇzˇnuje uˇzivateli otevˇr´ıt si vyhledanou stránku ve webovém prohl´ıˇzeˇci nebo si odkaz zkop´ırovat do schránky. Vˇsechny výsledky hledán´ı také um´ı exportovat do XML souboru.

Pro názornost jsem provedl test, který udává, jak moc ovlivˇnuj´ı parametry pro hledán´ı rychlost. Testovanými parametry jsou Case sesitive (citlivost na velká a malá p´ısmena), Ignore diacritic (ignorován´ı znak˚u s diakritikou) a Whole words only (hledán´ı jen celých slov). Testován´ı bylo provádˇeno na webových stránkách www.fit.vutbr.cz s rychlost´ı linky 2 MB/s a po dosaˇzen´ı 150 výsledk˚u:

(31)

ˇ

C´ıslo Case sensitive Ignore diacritic Whole words only Casˇ

1 TRUE TRUE TRUE 28s

2 FALSE TRUE TRUE 26s

3 TRUE FALSE TRUE 28s

4 FALSE FALSE TRUE 34s

5 TRUE TRUE FALSE 24s

6 FALSE TRUE FALSE 26s

7 TRUE FALSE FALSE 25s

8 FALSE FALSE FALSE 31s

Tabulka 6.1: Závislost nastavených parametr˚u na rychlosti hledán´ı

Z tabulky lze vyˇc´ıst, ˇze mezi nejhorˇs´ım (24s) a nejlepˇs´ım (34s) výsledkem je aˇz 10s rozd´ıl, coˇz je pomˇernˇe hodnˇe. Nejv´ıce nároˇcná volba je Ignore diacritic ve stavu TRUE. Mus´ı se zde pro kaˇzdý znak v ˇretˇezci vyhledat odpov´ıdaj´ıc´ı hodnota v kódovac´ı tabulce, coˇz patˇr´ı k nároˇcnˇejˇs´ım operac´ım.

(32)

Kapitola 7

Z´

avˇ

er

Práce se zabývala real-time vyhledávaˇcem, který procház´ı web rekurzivn´ım zp˚usobem. Hlavn´ım c´ılem byla snaha o co nejrychlejˇs´ı hledán´ı. Tento c´ıl byl z vˇetˇs´ı ˇcásti splnˇen. V´ıce neˇz polovinu práce na aplikaci tvoˇrila optimalizace a ladˇen´ı.

Nejvˇetˇs´ım problémem bylo nauˇcit aplikaci stahovat soubory tak, aby souˇcasnˇe nebloko-vala uˇzivatelské rozhran´ı. Pro stahován´ı soubor˚u jsem vyzkouˇsel nejr˚uznˇejˇs´ı knihovny. Na-konec jsem problém vyˇreˇsil knihovnou pˇr´ımo od Qt toolkitu za pomoci signál˚u a slot˚u. Jedn´ım z dalˇs´ı problém˚u se ukázal HTML parser, jehoˇz vytvoˇren´ı bylo ˇcásteˇcnˇe proble-matické.

Aplikace by se do budoucna mohla rozˇs´ıˇrit napˇr´ıklad o inteligentn´ı odhad poˇctu prohle-daných stránek. I pˇres tento fakt je aplikace plnˇe pouˇzitelná.

(33)

Literatura

[1] Baeza-yates and B. Ribeiro-Neto. Modern Information Retrieval. Addison-Wesley, ACM Press, 1999. ISBN 0-201-39829-X.

[2] Jasmin Blanchette and Mark Summerfield. C++ GUI Programming with Qt 3. Prentice Hall PTR; Pap/Cdr edition, 2004. ISBN 978-0131240728.

[3] Andrei Broder. A taxonomy of web search. ACM Press, 2002. ISSN 0163-5840.

[4] Interval.cz. Stavové kódy a hláˇsen´ı v odpovˇedi protokolu HTTP.

http://interval.cz/clanky/stavove-kody-a-hlaseni-v-odpovedi-protokolu-http/, 2002.

[5] KDE. KDE Application Developers’ Checklist.

http://developer.kde.org/documentation/other/checklist.html.

[6] Ken Martin and Bill Hoffman. Mastering Cmake 2.2 Edition (Paperback). Kitware, Inc., 2006. ISBN 978-1930934160.

[7] Stephen Prata. Mistrovstv´ı v C++. Computer Press, 2004. ISBN 80-251-0098-7.

[8] Jan Pytel. Objektové uˇzivatelské grafické prostˇred´ı pro vyrovnáván´ı geodetických s´ıt´ı. Master’s thesis, ˇCeské vysoké uˇcen´ı technické v Praze, 2001.

[9] Robert Sedgewick. Algoritmy v C. SoftPress, 2003. ISBN 80-86497-56-9.

[10] W. Richard Stevens, Bill Fenner, and Andrew M. Rudoff. UNIX Network Programming Volumen 1, Third Edition: The Sockets Networking API. Addison Wesley, 2003. ISBN 0-13-141155-1.

[11] Trolltech. Text Related Classes. http://doc.trolltech.com/3.3/text.html, 2005.

[12] Wikipedia. Document Object Model.

http://cs.wikipedia.org/wiki/Document Object Model, 2007.

[13] Wikipedia. Finite state machine.

(34)