Script Language for Image Processing

(1)

VYSOK ´

E U ˇ

CEN´I TECHNICK ´

E V BRN ˇ

E

BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMA ˇ

CN´ICH TECHNOLOGI´I

´

USTAV PO ˇ

C´ITA ˇ

COV ´

E GRAFIKY A MULTIM ´

EDI´I

FACULTY OF INFORMATION TECHNOLOGY

DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA

SCRIPT PRO ZPRACOV ´

AN´I OBRAZU

DIPLOMOV ´

A PR ´

ACE

MASTER’S THESIS

AUTOR PR ´

ACE

Bc. JI ˇ

R´I ZUZA ˇ

N ´

AK

AUTHOR

(2)

VYSOK ´

E U ˇ

CEN´I TECHNICK ´

E V BRN ˇ

E

BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMA ˇ

CN´ICH TECHNOLOGI´I

´

USTAV PO ˇ

C´ITA ˇ

COV ´

E GRAFIKY A MULTIM ´

EDI´I

FACULTY OF INFORMATION TECHNOLOGY

DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA

SCRIPT PRO ZPRACOV ´

AN´I OBRAZU

SCRIPT LANGUAGE FOR IMAGE PROCESSING

DIPLOMOV ´

A PR ´

ACE

MASTER’S THESIS

AUTOR PR ´

ACE

Bc. JI ˇ

R´I ZUZA ˇ

N ´

AK

AUTHOR

VEDOUC´I PR ´

ACE

Doc. Dr. Ing. PAVEL ZEM ˇ

C´IK

SUPERVISOR

(3)

Zad´

an´ı diplomov´

e pr´

ace

ˇ

Reˇsitel: Zuzaˇn´ak Jiˇr´ı, Bc.

Obor: Poˇc´ıtaˇcová grafika a multimédia Téma: Script pro zpracován´ı obrazu Kategorie: Uˇzivatelská rozhran´ı

Pokyny:

1. Prostudujte základn´ı informace o zpracován´ı obrazu a dostupnou literat˚uru na téma script jazyky a interpretery script jazyk˚u

2. Navrhnˇete syntax jazyka pro popis operac´ı nad obrazy

3. Implementujte pˇrekladaˇc jazyka do mezikódu a interpreter (nutno konzultovat) 4. Diskutujte dosaˇzené výsledky

Literatura:

• ˇZára, J. Beneˇs B. Felker P.: Modern´ı poˇc´ıtaˇcová grafika, Computer Press, 1998 • Dále dle pokyn˚u vedouc´ıho

Pˇri obhajobˇe semestráln´ı ˇcásti diplomového projektu je poˇzadováno: • Body 1 a 2 zadán´ı

Podrobné závazné pokyny pro vypracován´ı diplomové práce naleznete na adrese http://www.fit.vutbr.cz/info/szz

Technická zpráva diplomové práce mus´ı obsahovat formulaci c´ıle, charakteristiku souˇcasného stavu, teore-tická a odborná východiska ˇreˇsených problému a specifikaci etap, které byly vyˇreˇseny v rámci roˇcn´ıkového a semestráln´ıho projektu (30 az 40% celkového rozsahu technické zprávy).

Student odevzdá v jednom výtisku technickou zprávu a v elektronické podobˇe zdrojový text technické zprávy, ´

uplnou programovou dokumentaci a zdrojové texty programu. Informace v elektronické podobˇe budou uloˇzeny na standardn´ım pamˇetovém médiu (disketa, CD-ROM), které bude vloˇzeno do p´ısemné zprávy tak, aby nemohlo doj´ıt k jeho ztrátˇe pˇri bˇeˇzné manipulaci.

Vedouc´ı: Zemˇc´ık Pavel, doc. Dr. Ing., UPGM FIT VUT Datum zad´an´ı: 28. ´unora 2007

(4)

Licenˇ

cn´ı smlouva

Licenˇcn´ı smlouva v kompletn´ım znˇen´ı je uloˇzena v archivu Fakulty informaˇcn´ıch technologi´ı Vysok´eho uˇcen´ı technick´eho v Brnˇe.

V´yˇnatek z licenˇcn´ı smlouvy:

ˇ

Cl´anek 2

Udˇelen´ı licenˇcn´ıho opr´avnˇen´ı

1. Autor touto smlouvou poskytuje nabyvateli oprávˇnen´ı (licenci) k výkonu práva uvedené d´ılo nevýdˇeleˇcnˇe uˇz´ıt, archivovat a zpˇr´ıstupnit ke studijn´ım, výukovým a výzkumným úˇcel˚um vˇcetnˇe poˇrizován´ı výpis˚u, opis˚u a rozmnoˇzenin.

2. Licence je poskytována celosvˇetovˇe, pro celou dobu trván´ı autorských a majetkových práv k d´ılu.

3. Autor souhlas´ı se zveˇrejnˇen´ım d´ıla v databázi pˇr´ıstupné v mezinárodn´ı s´ıti: ihned po uzavˇren´ı této smlouvy

1 rok po uzavˇren´ı této smlouvy 3 roky po uzavˇren´ı této smlouvy 5 let po uzavˇren´ı této smlouvy 10 let po uzavˇren´ı této smlouvy

(z d˚uvodu utajen´ı v nˇem obsaˇzen´ych informac´ı).

4. Nevýdˇeleˇcné zveˇrejˇnován´ı d´ıla nabyvatelem v souladu s ustanoven´ım § 47b zákona c. 111/1998 Sb., v platném znˇen´ı, nevyˇzaduje licenci a nabyvatel je k nˇemu povinen a oprávnˇen ze zákona.

(5)

Abstrakt

Tato práce pojednává o návrhu skriptovac´ıho jazyka, urˇceného pro efektivn´ı zpracován´ı obrazu. Úvod této práce se zabývá studiem a osvojen´ım si metod návrhu pˇrekladaˇc˚u a in-terpret˚u, vˇcetnˇe jejich následné aplikace pˇri návrhu skriptovac´ıho jazyka a jeho interpretu. Práce dále popisuje metody návrhu a implementace interpretu, vˇcetnˇe automatizovaných metod vyuˇzitých pˇri návrhu implementovaného programu. Dalˇs´ı ˇcást práce se zabývá popi-sem struktury a implementace navrˇzeného programu, urˇceného pro generován´ı pˇrekladaˇce libovolného jazyka, popsaného jako vstup tohoto programu. Konec práce podrobnˇeji po-pisuje navrˇzený skriptovac´ı jazyk, jehoˇz implementace je zaloˇzena na výˇse popsaných me-todách.

Kl´ıˇ

cov´

a slova

Skript, skriptovac´ı jazyk, pˇrekladaˇc, interpret, zpracován´ı obrazu, lexikáln´ı analýza, syn-taktická analýza, sémantická analýza

Abstract

This thesis deals with design of scripting language, especially specified for effective image processing. Introduction of this thesis is focused on studying and also appropriation of methodology of compilers and interpreters design, include their following application in design of the scripting language and as well its interpreter. Another point of my work is showing the methods of design and implementation of the interpreter including automated methods used in the design of the implemented program. Next part deals with description of structure and implementation of the designed program, intended for generating compiler of any language which is described in input of this program. The conclusion of this work is more detailing description of the scripting language design; its implementation is based on the methods mentioned before.

Keywords

Script, scripting language, compiler, interpreter, image processing, lexical analysis, syntactic analysis, semantic analysis

Citace

(6)

Script pro zpracov´

an´ı obrazu

Prohl´

aˇ

sen´ı

Prohlaˇsuji ˇze jsem tuto práci vypracoval samostatnˇe na základˇe uvedené literatury pod veden´ım vedouc´ıho práce. Uvedl jsem vˇsechny literárn´ı prameny a publikace ze kterých jsem ˇcerpal.

. . . . Jiˇr´ı Zuzaˇn´ak 22. kvˇetna 2007

Podˇ

ekov´

an´ı

Dˇekuji vedouc´ımu práce Doc. Dr. Ing. Pavlu Zemˇc´ıkovi za veden´ı a cenné rady pˇri zpra-cován´ı diplomové práce.

c

Jiˇr´ı Zuzaˇn´ak, 2007.

Tato práce vznikla jako ˇskoln´ı d´ılo na Vysokém uˇcen´ı technickém v Brnˇe, Fakultˇe in-formaˇcn´ıch technologi´ı. Práce je chránˇena autorským zákonem a jej´ı uˇzit´ı bez udˇelen´ı oprávnˇen´ı autorem je nezákonné, s výjimkou zákonem definovaných pˇr´ıpad˚u.

(7)

Obsah

1 Uvod´ 2

2 Skriptovac´ı jazyky 4

2.1 Popis skriptovac´ıch jazyk˚u . . . 4

2.2 Zn´am´e skriptovac´ı jazyky . . . 5

3 Pˇrekladaˇce, kompil´atory a interprety 7 3.1 Uvod do pˇ´ rekladaˇc˚u . . . 7

3.2 Lexik´aln´ı anal´yza . . . 8

3.3 Syntaktick´a anal´yza . . . 10

3.4 Intermedi´arn´ı k´od . . . 10

3.5 Generován´ı c´ılového kódu, interpretace . . . 13

4 Motivace, souˇcasn´y stav pr´ace 14 4.1 Motivace. . . 14

4.2 Souˇcasn´y stav pr´ace . . . 14

4.3 Zhodnocen´ı souˇcasn´eho stavu . . . 15

5 Navrˇzen´y pˇrekladaˇc 16 5.1 Popis souboru definuj´ıc´ıho jazyk . . . 16

5.2 Nalezen´ı koneˇcn´eho automatu . . . 18

5.3 Generov´an´ı rozkladov´e tabulky . . . 20

5.4 Pˇreklad s´emantick´ych podprogram˚u . . . 23

5.5 Intermedi´arn´ı k´od pˇrekladu . . . 23

6 Navrˇzený jazyk sémantických podprogram˚u 26 6.1 Základn´ı popis jazyka . . . 26

6.2 Datov´e typy jazyka . . . 27

6.3 Pˇr´ıkazy jazyka . . . 30

6.4 R´ızen´ı toku programuˇ . . . 32

6.5 Pˇr´ıklad z´apisu operace v jazyce . . . 33

7 Navrˇzený jazyk pro zpracován´ı obrazu 34 7.1 Základn´ı popis jazyka . . . 34

7.2 Datov´e typy jazyka . . . 35

7.3 R´ızen´ı toku programuˇ . . . 37

7.4 Pˇr´ıklad programu v jazyce . . . 40

(8)

Kapitola 1

´

Uvod

Stejnˇe jako projektový manaˇzér ve firmˇe ˇr´ıd´ı své podˇr´ızené za úˇcelem dokonˇcen´ı projektu, aniˇz pˇresnˇe rozum´ı detail˚um jejich práce, tak skript zapsaný ve skriptovac´ım jazyku ˇr´ıd´ı spouˇstˇen´ı systémových program˚u za úˇcelem vykonán´ı poˇzadované akce. Skript nemus´ı znát implementaˇcn´ı detaily jednotlivých systémových program˚u, postaˇcuje mu znalost rozhran´ı pˇres které program pˇrij´ımá a vrac´ı data. Takový byl p˚uvodn´ı úˇcel skriptovac´ıch jazyk˚u, ale v dneˇsn´ı dobˇe jsou jiˇz skriptovac´ı jazyky rozˇs´ıˇrený témˇeˇr v kaˇzdém odvˇetv´ı informaˇcn´ıch technologi´ı a slouˇz´ı k vykonáván´ı velkého mnoˇzstv´ı r˚uznorodých úkol˚u.

Zp˚usob práce skript˚u vˇsak z˚ustal zachován, jen jednotkami se kterými skript pracuje jiˇz nemus´ı být nutnˇe jen systémové programy, ale mohou jimi být napˇr´ıklad samostatné funkce, objekty nacházej´ıc´ı se v nˇejakém typu enginu, nebo kus hardwaru provádˇej´ıc´ı nˇejaké ope-race. Výhodou a zároveˇn d˚uvodem rychlého rozˇs´ıˇren´ı tˇechto jazyk˚u je snadné programován´ı, debugován´ı a údrˇzba skript˚u.

Zpracován´ı obrazu je ze svého principu vhodným kandidátem pro realizaci pomoc´ı skrip-tovac´ıho jazyka. Obrazové operace, mezi které patˇr´ı napˇr´ıklad: naˇc´ıtán´ı obrazu, úprava ba-rev, r˚uzné typy filtr˚u apod. patˇr´ı mezi výpoˇcetnˇe nároˇcnˇejˇs´ı operace, tvoˇr´ıc´ı mnoˇzinu operac´ı aplikovatelných na obraz. Pokud budeme prvky této mnoˇziny povaˇzovat za jednotlivé na sobˇe nezávislé operace je moˇzné vztahy a posloupnost jejich provádˇen´ı popsat právˇe skrip-tem. Tento skript pak bude obsahovat posloupnosti provádˇen´ı jednotlivých operac´ı, jejich návaznost a bude umoˇzˇnovat i ˇr´ızen´ı sekvence provádˇen´ı operac´ı v závislosti na výsledc´ıch jednotlivých operac´ı.

Tato práce se zabývá návrhem skriptovac´ıho jazyka urˇceného pro snadný zápis ope-rac´ı pracuj´ıc´ıch nad obrazovými daty. C´ılem práce je studium metod návrhu a konstrukce interpret˚u, a na základˇe nabytých znalost´ı návrh skriptovac´ıho jazyka a jeho pˇrekladaˇce, pˇr´ıpadnˇe interpretu. Jsou rozpracovány pˇreváˇznˇe metody návrhu a návrh interpretovaných skriptovac´ıch jazyk˚u. Samotná implementace jazyka pro zpracován´ı obrazu jeˇstˇe nen´ı do-konˇcena.

Podrobnˇejˇs´ım popis skriptovac´ıch jazyk˚u je obsaˇzen v 2. kapitole nazvané Skriptovac´ı jazyky. Nacház´ı se v n´ı popis d˚uvod˚u vzniku tohoto typu jazyk˚u, porovnán´ı s kompilovanými jazyky a výˇcet nˇekterých známˇejˇs´ıch typ˚u skriptovac´ıch jazyk˚u a jejich vyuˇzit´ı.

Kapitola v poˇrad´ı3. nazvaná Kompilátory, pˇrekladaˇce a interprety se zabývá teori´ı o návrhu a implementaci pˇrekladaˇc˚u, kompilátor˚u a interpret˚u. Budou v n´ı rozebrány základn´ı pojmy této teorie, kterými jsou lexikáln´ı analýza, syntaktická analýza, sémantická analýza, intermediárn´ı kód a generován´ı c´ılového kódu. Pojmy popsané v této kapitole budou v následuj´ıc´ıch kapitolách hojnˇe pouˇz´ıvány.

(9)

a je v poˇrad´ı5. V této kapitole je podrobnˇe rozebrán pˇr´ıstup k problému, nacház´ı se zde popis metody, které se vyuˇz´ıvaj´ı k automatizované tvorbˇe pˇrekladaˇc˚u. Mezi tyto metody patˇr´ı nalezen´ı koneˇcných automat˚u, generován´ı rozkladových tabulek syntaktické analýzy a zpracován´ı sémantických podprogram˚u.

6. kapitola s názvem Navrˇzený jazyk sémantických podprogram˚u se zabývá (jak vy-pov´ıdá název) popisem jazyka urˇceného k popisu sémantických úkon˚u v navrhovaných ja-zyc´ıch. V této kapitole jsou popsány d˚uvody k zaveden´ı takového jazyka, popis jeho datových typ˚u, jeho sloˇzitˇejˇs´ı pˇr´ıkazy a ˇr´ızen´ı toku programu tohoto jazyka.

Posledn´ı kapitola v poˇrad´ı7. nazvaná Navrˇzený jazyk pro zpracován´ı obrazu, se vˇenuje popisu navrhovaného skriptovac´ıho jazyka. V této kapitole se nacház´ı ucelený pohled na úˇcel jazyka, popis datových typ˚u jazyka a popis navrhovaného zp˚usobu zápisu toku programu.

Diplomová práce navazuje na práci vykonanou v rámci semestráln´ıho projektu. V tomto projektu byly prostudovány techniky návrhu pˇrekladaˇc˚u a interpret˚u, na kterých je zaloˇzena kapitola3Pˇrekladaˇce, kompilátory a interprety. V semestráln´ım projektu byl dále navrˇzen pˇrekladaˇc a skriptovac´ı jazyk pro práci s obrazem. Návrh pˇrekladaˇce a skriptovac´ıho jazyka byl v rámci diplomové práce pˇrepracován zcela od zaˇcátku.

(10)

Kapitola 2

Skriptovac´ı jazyky

Tato kapitola se zabývá popisem skriptovac´ıch jazyk˚u, d˚uvodem jejich vzniku a oblastmi ve kterých se skriptovac´ı jazyky vyuˇz´ıvaj´ı.

2.1 Popis skriptovac´ıch jazyk˚

u

P˚uvodn´ı skriptovac´ı jazyky byly vyvinuty za úˇcelem rychlého vývoje jednoúˇcelových pro-gram˚u, které ˇreˇsily sloˇzitˇejˇs´ı administrativn´ı úlohy v operaˇcn´ım systému. U tˇechto byla d˚uleˇzitˇejˇs´ı rychlost vývoje programu1 _neˇ_{z efektivita spouˇ}_stˇ_en´ı2_{. Tyto jazyky slouˇ}_{zily jako} jednoduchý nástroj spouˇstˇej´ıc´ı mnoˇzstv´ı jiných ˇcasto specializovaných jednoúˇcelových pro-gram˚u3 za úˇcelem vykonán´ı nˇejaké komplexn´ı operace. Pˇr´ıkladem program˚u v takovýchto jazyc´ıch mohly být inicializaˇcn´ı skripty nˇekterých operaˇcn´ıch systém˚u, zálohovac´ı skripty a podobnˇe.

Anglický název skript byl odvozen od psaného pˇredpis˚u pro divadeln´ı herce, kteˇr´ı jej mˇeli ”interpretovat” tj. pˇredvádˇet scénu popsanou ve skriptech divák˚um. Ve svˇetˇe informaˇcn´ıch technologi´ı zastupuje roli herce program který hraje svou roli popsanou ve skriptu, vˇsechny programy vyuˇzité ve skriptu tedy nakonec vykonaj´ı poˇzadovanou operaci.

Skriptovac´ı jazyky jsou podmnoˇzinou interpretovaných jazyk˚u. Dnes se vˇsak i interpre-tované jazyky ˇrad´ı do skriptovac´ıch jazyk˚u, kde roli jednoúˇcelových program˚u zastoupily jednotlivé funkˇcn´ı jednotky spouˇstˇené interpretem podle skriptu.

Hlavn´ı rozd´ıl mezi interpretovanými jazyky a kompilovanými jazyky je zp˚usob jakým se program spouˇst´ı na výpoˇcetn´ı jednotce. Zat´ımco program zapsaný v kompilovaném ja-zyku se mus´ı programem nazvaným pˇrekladaˇc (angl. compiler) pˇreloˇzit do strojového kódu c´ılové platformy, tak program zapsaný v interpretovaném jazyku z˚ustává v p˚uvodn´ı tex-tové podobˇe, dokud nen´ı poˇzadováno jeho spuˇstˇen´ı. Spouˇstˇen´ı skriptu se ujme program nazývaný interpretaˇcn´ı pˇrekladaˇc (angl. interpret). Interpret m˚uˇze ponechat zdrojový pro-gram v p˚uvodn´ı podobˇe a interpretovat pˇr´ıkazy jeden po druhém, nebo m˚uˇze celý zdrojový program pˇreloˇzit do struktury, která uˇz sice nebude m´ıt ˇcitelný textový zápis ale jej´ı spuˇstˇen´ı bude efektivnˇejˇs´ı s moˇznými optimalizacemi pˇri pˇrekladu.

Interpretované jazyky se mohou povaˇzovat za dalˇs´ı úroveˇn abstrakce nad kompilovanými jazyky. Vyˇsˇs´ı úroveˇn abstrakce interpretovaných jazyk˚u je výhodná pro programátora, ten se vˇetˇsinou nemus´ı starat o správu pamˇeti, typ c´ılové architektury, nebo dokonce typ

1_ˇ

Casto nˇekolik minut.

2_ˇ

Casto nˇekolik sekund.

(11)

operaˇcn´ıho systému na kterém bude jeho program spouˇstˇen. Tyto a dalˇs´ı problémy jiˇz za nˇej ˇreˇs´ı interpret jazyka. Odst´ınˇen´ı programátora od hardwarové realizace jeho výpoˇct˚u je výhodné i z pohledu bezpeˇcnosti vykonáván´ı tˇechto program˚u. Je nemoˇzné za pˇredpokladu ˇ

ze interpret je sám o sobˇe bezpeˇcný program napsat skript který by ohrozil hardware, nebo umoˇznil nepovolené operace na c´ılovém stroji. Z tohoto d˚uvodu jsou interpretované jazyky vhodné pro nasazen´ı napˇr´ıklad na webových serverech, kde slouˇz´ı k zpracován´ı dynamických webových aplikac´ı.

Vyˇsˇs´ı abstrakce interpretovaných jazyk˚u nad jazyky kompilovanými má vˇsak i nˇekteré nevýhodné d˚usledky. Programátor vyuˇz´ıvaj´ıc´ı interpretovaný jazyk nebude schopný sám optimalizovat sv˚uj kód nad rámec jazyka, v nˇekterých jazyc´ıch nem˚uˇze rozhodnout v jakém m´ıstˇe chce pˇridˇelit pˇr´ıpadnˇe uvolnit pamˇet’. Absence ukazatele do pamˇeti tj. nejmocnˇejˇs´ı programátorské struktury z d˚uvod˚u bezpeˇcnosti je v´ıtaná, ale na druhou stranu m˚uˇze nˇekomu chybˇet. Je pravidlem ˇze interpretovaný kód je pomalejˇs´ı neˇz kód kompilovaný. Tyto problémy se sice ˇreˇs´ı napˇr. kompilován´ım kritických sekc´ı4 v programu do strojového kódu aktuáln´ı architektury, ale nikdy nebude moˇzné dosáhnout stejné efektivity jako u jazyk˚u kompilovaných.

2.2 Zn´

am´

e skriptovac´ı jazyky

Tato ˇcást se zabývá struˇcným popisem nˇekterých druh˚u skriptovac´ıch jazyk˚u. Job control jazyky a shelly

Prvn´ı skriptovac´ı jazyky nevznikly za úˇcelem nahrazen´ı kompilovaných jazyk˚u vyˇsˇs´ı úrovnˇe, ale sp´ıˇse jako nástroje pro jednoduˇsˇs´ı údrˇzbu sloˇzitých systém˚u. Zjednoduˇsovaly a automa-tizovaly opakuj´ıc´ı se úkony, napˇr´ıklad ve správˇe operaˇcn´ıch systém˚u. ˇCást jazyk˚u anglicky nazvaná shelly vznikla na platformˇe operaˇcn´ıch systému rodiny Unix, kde je celá správa systému v podstatˇe ˇreˇsená zpracován´ım textových konfiguraˇcn´ıch soubor˚u. Shelly také slouˇz´ı pro komunikaci uˇzivatele s poˇc´ıtaˇcem, kaˇzdý pˇr´ıkaz zapsaný uˇzivatelem z klávesnice je interpretován jako ˇcást kódu skriptu. Do této skupiny patˇr´ı napˇr´ıklad: bash, csh, ksh, tcsh, sh, zsh, Winbatch.

Skriptov´an´ı GUI

Po rozˇs´ıˇren´ı r˚uzných grafických uˇzivatelských rozhran´ı vznikl nový druh specializovaných skriptovac´ıch jazyk˚u urˇcený pro kontrolu poˇc´ıtaˇce pˇres prvky grafického uˇzivatelského roz-hran´ı. Skripty operuj´ı se stejnými prvky rozhran´ı tj. tlaˇc´ıtky, výbˇery, zatrhávac´ımi tlaˇc´ıtky atd. jako uˇzivatel. Pouˇz´ıvaj´ı se k automatizaci opakuj´ıc´ıch se akc´ı, nebo napˇr´ıklad k nasta-ven´ı výchoz´ıch stav˚u aplikac´ı. Vyuˇzit´ı takových jazyk˚u je podm´ınˇeno podporou v aplikaci obsahuj´ıc´ı ovládané grafické uˇzivatelské rozhran´ı a v operaˇcn´ım systému. Takovýmto ja-zyk˚um se také ˇr´ıká makrovac´ı jazyky.

Aplikaˇcnˇe-specifick´e

Jako souˇcást nˇekterých velkých aplikaci figuruj´ı aplikaˇcnˇe-specifické skriptovac´ı jazyky. Tyto jsou zamˇeˇreny na ˇr´ızen´ı programovatelných souˇcást´ı jednotlivých aplikac´ı. Jazyky to-hoto druhu jsou navrhovány pro pouˇzit´ı pouze v jedné aplikaci a obvykle nebývaj´ı vhodné

4 _ˇ

(12)

pro obecnˇejˇs´ı pouˇzit´ı. Mezi nˇe patˇr´ı napˇr´ıklad i hern´ı skripty pro ˇr´ızeni hern´ıch objekt˚u, které se nemus´ı zabývat detailnˇejˇs´ı úlohou objektu v enginu. Do této kategorie jazyku patˇr´ı napˇr´ıklad: Action Code Script, AutoLisp, Emacs Lisp, QuakeC, UnrealScript, VBScript.

Dynamick´e webov´e aplikace

D˚uleˇzitým typem aplikaˇcnˇe-specifických skriptovac´ıch jazyk˚u jsou jazyky pro implementaci dynamických aplikac´ı v prostˇred´ı internetu. Tyto jazyky jsou specializované na tvorbu dy-namických webových stránek a jiných internetových aplikac´ı a jsou nasazeny na serverech poskytuj´ıc´ıch tyto sluˇzby. Tyto jazyky jsou zvoleny z d˚uvodu bezpeˇcnosti a bývaj´ı rozˇs´ıˇreny o prvky pro snadný pˇr´ıstup k databáz´ım apod. Nejmodernˇejˇs´ı webové programovac´ı jazyky jsou jiˇz tak sofistikované ˇze jimi lze v urˇcitých oblastech nahradit i standardn´ı kompilované programovac´ı jazyky. Do této skupiny jazyk˚u patˇr´ı napˇr´ıklad: ColdFusion, JavaScript, Lasso, Miva, PHP, SMX, XSLT.

Zpracov´an´ı textu

Velké mnoˇzstv´ı skriptovac´ıch jazyk˚u bylo primárnˇe urˇceno na zpracován´ı obyˇcejného textu. Na-rozd´ıl od shell˚u vˇetˇsina z nich nebyla urˇcena pro zpracován´ı pˇr´ıkaz˚u zadávaných pˇr´ımo z klávesnice, ale sp´ıˇse ke zpracován´ı celistvých program˚u. Motivace jejich vzniku je vˇsak podobná jako u shell˚u tj. snadnˇejˇs´ı správa operaˇcn´ıch systému zaloˇzených na textových konfiguraˇcn´ıch systémech. Nˇekteré z tˇechto jazyk˚u tvoˇr´ı dodnes nejefektivnˇejˇs´ı systémy pro zpracován´ı textových informac´ı. Velké mnoˇzstv´ı rozˇs´ıˇren´ı tˇechto jazyk˚u z nˇekterých vytvoˇrilo plnˇe pouˇzitelné aplikaˇcn´ı jazyky, jako napˇr´ıklad u Perlu. Do této skupiny jazyk˚u patˇr´ı napˇr´ıklad: AWK, Perl, sed, XSLT.

Programovac´ı skriptovac´ı jazyky

Nˇekteré skriptovac´ı jazyky se navzdory svému p˚uvodn´ımu úˇcelu, vyvinuly v plnˇe pouˇzitelné programovac´ı jazyky pouˇzitelné pro tvorbu vˇetˇs´ıch aplikac´ı. Tyto tˇeˇz´ı ze své výhody rych-lejˇs´ıho vývoje aplikace proti kompilovaným jazyk˚um, automatické správy pamˇeti atd. Pokud programátor nepotˇrebuje psát pˇr´ımo ovladaˇce na hardware, nebo nˇejaký evoluˇcn´ı algorit-mus tak výhoda rychlosti vývoje aplikace pˇredˇc´ı nevýhodu menˇs´ı rychlosti programu. I pˇres to ˇze se vˇetˇsinou pouˇz´ıvaj´ı k tvorbˇe aplikac´ı jako dynamické aplikaˇcn´ı jazyky, ˇcasto se oznaˇcuj´ı jako vyspˇelejˇs´ı skriptovac´ı jazyky. Tyto jazyky jejich uˇzivatelé vˇetˇsinou neoznaˇcuj´ı jako skriptovac´ı jazyky.

Extension/embeddable jazyky

Jazyky z této skupiny jsou vyv´ıjeny za úˇcelem nahrazen´ı aplikaˇcnˇe specifických jazyk˚u, tak ˇ

ze se vkládaj´ı pˇr´ımo do aplikaˇcn´ıch program˚u. Programátoˇri vytváˇrej´ıc´ı aplikaci v nˇekterém ze systémových jazyk˚u, do této aplikace vloˇz´ı na urˇcité m´ısta kód umoˇzˇnuj´ıc´ı jej´ı ovládán´ı pomoc´ı skriptovac´ıho jazyka. Jedn´ım ze známých pˇr´ıpad˚u takového pouˇzit´ı skriptovac´ıho jazyka je JavaScript vyvinutý za úˇcelem spouˇstˇen´ı v internetovém prohl´ıˇzeˇci na stranˇe kli-enta. Dále do této skupiny patˇr´ı jazyky: Ch, ECMAScript, Python, Tcl, RBScript, Windows PowerShell.

(13)

Kapitola 3

Pˇ

rekladaˇ

ce, kompil´

atory a

interprety

V angliˇctinˇe se pro pojem pˇrekládán´ı v oblasti programovac´ıch jazyk˚u pouˇz´ıvá slovo ”compi-lation”, které má sp´ıˇse význam skládán´ı, nebo shromaˇzd’ován´ı. Samotný pojem kompilátor zavedl poˇcátkem padesátých let Grace Murray Hopper. Pˇreklad se v té dobˇe totiˇz provádˇel jako skládán´ı sekvenc´ı podprogram˚u ve strojovém kódu, které byly uloˇzeny v knihovnˇe.

Jedn´ım z prvn´ıch skuteˇcných pˇrekladaˇc˚u by dobˇre známý FORTRAN. Hlavn´ı prioritou tˇechto prvn´ıch pˇrekladaˇc˚u byla vzhledem k malé výpoˇcetn´ı a pamˇet’ové kapacitˇe soudobých poˇc´ıtaˇc˚u optimalizace a efektivita pˇrekládaných algoritm˚u.

S pˇr´ıchodem jazyka Algol 60 nastal zlom v podstatˇe pˇrekladu. Ten zavedl problémovˇe orientovaný pˇr´ıstup, to znamená ˇze pˇrekladaˇce jiˇz neslouˇzily jen pro umoˇznˇen´ı pˇrehlednˇejˇs´ıho zápisu strojového kódu, ale d˚uleˇzitým faktorem se stal ˇreˇsený problém, kterému se pˇrizp˚usobila syntaxe i filosofie jazyka.

Novˇejˇs´ı jazyky mezi které patˇr´ı napˇr´ıklad Pascal, Modulo a Ada jsou vytvoˇreny nezávisle na c´ılové architektuˇre. Dnes se oddˇelen´ı od c´ılové architektury umocˇnuje vytváˇren´ım tzv. virtuáln´ıch stroj˚u, které jsou urˇceny ke spouˇstˇen´ı c´ılových aplikac´ı. Posledn´ı popsaný pˇr´ıstup je charakteristický napˇr´ıklad pro platformy Java nebo .NET.

3.1 Uvod do pˇ

´

rekladaˇ

c˚

u

Pˇrekladaˇc je v podstatˇe program realizuj´ıc´ı textový procesor umoˇzˇnuj´ıc´ı pouˇz´ıvat programo-vac´ı jazyk pro výpoˇcty na poˇc´ıtaˇci. Pˇrekladaˇc naˇc´ıtá program zapsaný ve zdrojovém kódu, ten zpracuje a zap´ıˇse sémanticky ekvivalentn´ı kód ve výstupn´ım c´ılovém jazyce. Kdyˇz je zdrojovým jazykem vyˇsˇs´ı programovac´ı jazyk a c´ılovým jazykem jazyk symbolických in-strukc´ı nazýváme pˇrekladaˇc kompilátorem a proces pˇrekladu kompilac´ı. Pˇrekladaˇc, který zdrojový kód nepˇrekládá do c´ılového jazyka, ale m´ısto toho jej spouˇst´ı a zobrazuje výsledky výpoˇctu se nazývá interpret, nebo také interpretaˇcn´ı pˇrekladaˇc.

Kompilátory a interprety tvoˇr´ı d˚uleˇzitou souˇcást dneˇsn´ıch poˇc´ıtaˇc˚u a jsou ned´ılnou souˇcást´ı prostˇred´ı vˇetˇsiny operaˇcn´ıch systém˚u. Techniky jejich návrhu a zpracován´ı pˇredstavuj´ı stále aktivn´ı oblast výzkumu. Podstatnou roli ve vývoji techniky realizace pˇrekladaˇc˚u sehrála teorie formáln´ıch jazyk˚u a gramatik. Výsledky této teorie lze vyuˇz´ıt k efektivn´ımu návrhu syntaktické analýzy. Syntaktická analýza sice tvoˇr´ı jen ˇcást problematiky ˇreˇsené pˇri tvorbˇe pˇrekladaˇce, ale fakt ˇze syntaktická analýza m˚uˇze pˇrevz´ıt ˇr´ızen´ı celého pˇrekladaˇce velmi usnadn´ı návrh zbylých komponent pˇrekladaˇce.

(14)

Proces kompilace je vhodné rozdˇelit do v´ıce podproces˚u nazvaných fáze, kde se kaˇzdá fáze stará o pˇrevod jedné reprezentace zdrojového kódu na jinou. Tˇemito fázemi jsou:

• lexikáln´ı analýza - slouˇz´ı k nalezen´ı lexikáln´ıch jednotek jazyka ve zdrojovém pro-gramu. Jedna lexikáln´ı jednotka odpov´ıdá napˇr´ıklad identifikátoru, konstantˇe, operátoru, kl´ıˇcovému slovu apod. Lexikáln´ı analýza v podstatˇe pˇrevád´ı kód z reprezentace ve zdrojovém souboru na posloupnost lexikáln´ıch element˚u.

• syntaktická analýza - pˇrij´ımá na vstupu lexémy1 a provád´ı rozklad programu podle gramatiky jazyka, tzn. buduje derivaˇcn´ı strom zdrojového programu.

• intermediárn´ı generován´ı kódu - vyuˇz´ıvá výstupu syntaktické analýzy a produkuje zdrojovému kódu ekvivalentn´ı posloupnost akc´ı. Hlavn´ı rozd´ıl mezi intermediárn´ım kódem a strojovým kódem produkovaným interpretem je ten ˇze intermediárn´ı kód neobsahuje specifikaci úloˇziˇst’ promˇenných v pamˇeti ani pouˇzité registry.

• optimalizace kódu - volitelná fáze, která provád´ı optimalizace z pohledu ˇcasové a pamˇet’ové nároˇcnosti nad intermediárn´ım kódem. ˇCasto se implementuje jako souˇcást fáze generován´ı intermediárn´ıho kódu.

• generován´ı kódu - generuje výsledný strojový kód, nebo v pˇr´ıpadˇe interpretu spouˇst´ı intermediárn´ı kód na virtuáln´ım stroji. Generován´ı kódu v pˇr´ıpadˇe kompilátoru spoˇc´ıvá v pˇriˇrazen´ı pamˇet’ových m´ıst dat˚um, urˇcen´ı zp˚usobu pˇr´ıstupu k nim a výbˇeru registr˚u pro jednotlivé operace.

Z popisu fáz´ı pˇrekladaˇce je zˇrejmé ˇze ˇr´ıd´ıc´ı fáz´ı kompilátoru je syntaktická analýza, je hlavn´ı fáz´ı pˇri analýze zdrojového kódu. Pˇri syntéze c´ılového kódu má hlavn´ı postaven´ı fáze generován´ı intermediárn´ıho kódu.

Dalˇs´ı d˚uleˇzitou ˇcást´ı pˇrekladaˇce je tabulka symbol˚u, do této struktury kompilátor za-znamenává informace z´ıskané o objektech programu v pr˚ubˇehu analýzy. Tyto informace se z´ıskávaj´ı na základˇe kontextu v programu, nebo na základˇe deklarac´ı.

Pokud v pr˚ubˇehu kompilace dojde k nalezen´ı chyby ve zdrojovém kódu, mˇelo by doj´ıt minimálnˇe k vypsán´ı zprávy upozorˇnuj´ıc´ı programátora na chybu. Obecnˇe se vˇsak poˇzaduje aby kompilátor odhalil pˇri kompilaci pokud moˇzno co nejvˇetˇs´ı mnoˇzstv´ı chyb, proto by mˇela ˇ

cást kompilátoru nazvaná zpracován´ı chyb provést takové zásahy aby se pokud moˇzno mohlo pokraˇcovat v kompilaci.

3.2 Lexik´

aln´ı anal´

yza

Lexikáln´ı analýzu v pˇrekladaˇci provád´ı ˇcást nazvaná lexikáln´ı analyzátor. Lexikáln´ı ana-lyzátor je v podstatˇe jednoduchý textový procesor, který slouˇz´ı k odstranˇen´ı redundantn´ıch informac´ı ze zdrojového souboru, t´ım ˇze nalezne jednotlivé lexikáln´ı elementy pˇrekládaného jazyka. Tyto elementy reprezentuj´ı termináln´ı symboly syntaktické analýzy. Z tohoto d˚uvodu je výhodné nechat ˇr´ızen´ı (ve smyslu poˇzadavku na nový symbol) lexikáln´ıho analyzátoru syntaktickému analyzátoru.

1

(15)

Tvar výstupu lexikáln´ıho analyzátoru

Výstup lexikáln´ıho analyzátoru se zapisuje ve tvaru, jenˇz je vhodný pro zpracován´ı dalˇs´ımi ˇ

cástmi kompilátoru. Výstup se vyznaˇcuje následuj´ıc´ımi vlastnostmi. • neobsahuje z hlediska významu programu redundantn´ı informace2.

• nejmenˇs´ım nositelem informace jiˇz nen´ı jeden znak3 ale obraz prvku patˇr´ıc´ı do se-znamu syntaktických jednotek jazyka, nazývaný lexikáln´ı jednotka, nebo také lexém. • informace o lexikáln´ı jednotce obsahuje sloˇzku syntaktickou identifikuj´ıc´ı typ lexikáln´ı jednotky a na sloˇzku sémantickou specifikuj´ıc´ı jej´ı aktuáln´ı hodnotu.(napˇr. u lexému s typem identifikátor bude tato hodnota obsahovat název identifikátoru.).

Lexik´aln´ı jednotky

V kontextu lexikáln´ı analýzy se pro lexikáln´ı jednotku pouˇz´ıvá synonymn´ı název symbol, nebo také lexém. Název symbol je odvozen z funkce lexikáln´ıho analyzátoru, který na poˇzádán´ı syntaktického analyzátoru mu pˇredává symboly vstupn´ı vˇety. Rozliˇsuj´ı se dva základn´ı typy symbol˚u.

• jazykovˇe specifické ˇretˇezce a znaky(do této skupiny patˇr´ı napˇr´ıklad kl´ıˇcové slova pro-gramu, operátory apod.).

• ˇretˇezce znak˚u popisuj´ıc´ı napˇr´ıklad identifikátory, ˇc´ıselné nebo ˇretˇezcové konstanty apod.

Zat´ımco prvn´ı skupina symbol˚u je plnˇe popsána svým typem, tak u druhé je nutné kromˇe typu symbolu zaznamenat i hodnotu symbolu pˇreˇctenou ze vstupn´ıho souboru. Tuto hodnotu m˚uˇze vˇzdy popsat ˇretˇezec který tvoˇr´ı konkrétn´ı symbol ve zdrojovém souboru, nebo jiˇz pˇr´ımo hodnota z´ıskaná z tohoto ˇretˇezce na základˇe znalosti typu symbolu.

Implementace lexik´aln´ıho analyz´atoru

Výstavba lexikáln´ıch analyzátor˚u je zaloˇzena na principu vycházej´ıc´ım z pˇredpokladu, ˇze lexikáln´ı jednotky implementovaného programovac´ıho jazyka tvoˇr´ı formáln´ı jazyk typu 3 Chomského hierarchie. Pak je lze teoreticky popsat regulárn´ı gramatikou, nebo regulárn´ım výrazem a v podstatˇe mechanicky z´ıskat koneˇcný automat, urˇcený k rozpoznán´ı symbol˚u jazyka.

Implementace koneˇcného automatu pro rozpoznáván´ı lexikáln´ıch jednotek tvoˇr´ı jádro celého analyzátoru. Kromˇe rozpoznáván´ı symbol˚u mus´ı lexikáln´ı analyzátor pˇredávat in-formace o vstupn´ım souboru ostatn´ım jednotkám pˇrekladaˇce(do tˇechto informac´ı patˇr´ı napˇr´ıklad ˇrádek ve zdrojovém souboru na kterém se pˇreklad právˇe nacház´ı, nebo text ˇcásti kódu ve kterém se nacházela chyba apod.).

2

napˇr.: tzv. b´ılé m´ısta v kódu, komentáˇre apod.

3

(16)

3.3 Syntaktick´

a anal´

yza

Syntaktický analyzátor (angl. parser) provádˇej´ıc´ı syntaktickou analýzu má v pˇrekladaˇci výsadn´ı postaven´ı. Jeho úlohou je analyzovat posloupnost symbol˚u, které produkuje na svém výstupu lexikáln´ı analyzátor, za úˇcelem vytvoˇren´ı derivaˇcn´ıho stromu celého pro-gramu.

Z hlediska teorie formáln´ıch jazyku je vstupn´ım ˇretˇezcem termináln´ıch symbol˚u po-sloupnost prvn´ıch sloˇzek lexikáln´ıch jednotek jak je rozpoznal lexikáln´ı analyzátor. Avˇsak na rozd´ıl od teorie formáln´ıch jazyk˚u a pˇrekladaˇc˚u nen´ı nutné aby výstupem syntaktické analýzy byl pˇr´ımo pravý nebo levý rozklad jazyka. Podstatná je dekompozice posloupnosti symbol˚u zdrojového programu na fráze odpov´ıdaj´ıc´ı neterminál˚um, z kterých jiˇz pˇrekladaˇc ”pozná” význam pˇrekládané vˇety. Hlavn´ı poˇzadavek na takovouto dekompozici ˇretˇezce ter-minál˚u je deterministický pr˚ubˇeh, pokud takovýto analyzátor realizuje deterministickou syntaktickou analýzu tak nen´ı nutné vytváˇret explicitn´ı reprezentaci derivaˇcn´ıho stromu analyzované vˇety.

Syntaktická analýza v sobˇe pochopitelnˇe zahrnuje automatickou kontrolu syntaktické správnosti pˇrekládaného programu. Po odhalen´ı chyby by proto mˇelo následovat zpracován´ı této chyby, takovým zp˚usobem, aby syntaktická analýza mohla pokraˇcovat.

Implementace syntaktick´eho analyz´atoru

Tvorba syntaktického analyzátoru je jedna z nejlépe teoreticky i prakticky zvládnutých ob-last´ı problematiky pˇrekladaˇc˚u. Teorie bezkontextových gramatik a jazyk˚u dává k dispozici algoritmy pro konstrukci deterministických analyzátor˚u a dokonce i prakticky pouˇzitelné algoritmy pro vytvoˇren´ı konstruktor˚u syntaktických analyzátor˚u. Velký význam v této pro-blematice maj´ı jazyky LL(1) a LALR(1).

3.4 Intermedi´

arn´ı k´

od

Intermediárn´ı kód je kód sloˇzitost´ı náleˇz´ıc´ı mezi zdrojový kód a c´ılový kód. Jeho opod-statnˇen´ı u pˇrekladaˇc˚u tkv´ı v poˇzadavc´ıch na pˇrekladaˇc a efektivnost jeho výstupn´ıho kódu, u kterého se poˇzaduje efektivn´ı vykonáván´ı programu a také efektivn´ı hospodaˇren´ı s vnitˇrn´ı pamˇet´ı. Z tˇechto d˚uvod˚u mnohé pˇrekladaˇce negeneruj´ı výstupn´ı kód pˇr´ımo, ale m´ısto toho vytváˇrej´ı meziprodukt pˇrekladu, kterým je právˇe intermediárn´ı kód.

Kromˇe toho ˇze tento kód neobsahuje specifikaci pamˇet’ových m´ıst a pouˇzitých registr˚u, je charakterizován poˇrad´ım operac´ı, které je jiˇz shodné s poˇrad´ım operac´ı v budouc´ım c´ılovém kódu. Tuto vlastnost(poˇrad´ı akc´ı) nemá vˇetˇsina vyˇsˇs´ıch programovac´ıch jazyk˚u. K zápisu intermediárn´ıho kódu se vyuˇz´ıvá mnoˇzstv´ı struktur nejˇcastˇeji bývá vyuˇz´ıván tzv. 3-adresový kód.

Implementace fáze generován´ı intermediárn´ıho kódu

Pˇri ˇreˇsen´ı problému návrhu a implementace fáze generován´ı intermediárn´ıho kódu je d˚uleˇzitý koncept sémantických podprogram˚u, který pˇredstavuje strukturalizaci fáze generován´ı in-termediárn´ıho kódu na urˇcité logické akce spojené s pˇrepisovac´ımi pravidly gramatiky.

V pˇr´ıpadˇe ˇze syntaktický analyzátor rozpozná urˇcitou syntaktickou konstrukci, která se poj´ı s nˇekterým neterminálem gramatiky, tak sémantický podprogram pˇr´ısluˇsej´ıc´ı k tomuto neterminálu vykoná potˇrebné sémantické akce. Tyto akce mohou zahrnovat.

(17)

op ARG1 ARG2 result

(1) neg c T1

(2) + T1 d T2

(3) * b T2 T3

(4) = T3 a

Tabulka 3.1: Tabulka ˇctveˇric.

• sémantickou analýzu, v jej´ımˇz rámci pˇrekladaˇc odhal´ı takový druh chyb, které nejsou popsány bezkontextovou gramatikou, jako je napˇr´ıklad nekompatibilita typ˚u ope-rand˚u, duplicita návˇeˇst´ı apod.

• generován´ı odpov´ıdaj´ıc´ıch pˇr´ıkaz˚u intermediárn´ıho kódu a vyuˇzit´ı výsledk˚u sémantické analýzy, napˇr. pˇri pˇrevod˚u typ˚u operand˚u.

Syntax´ı ˇr´ızené pˇrekladové schéma

Syntax´ı ˇr´ızené pˇrekladové schéma je schéma v nˇemˇz je popis sémantických akc´ı generátoru intermediárn´ıho kódu v bezprostˇredn´ı návaznosti na syntaktické struktuˇre jazyka. Neexis-tuje vˇsak vˇseobecnˇe rozˇs´ıˇrený a prakticky pouˇz´ıvaný formalismus pro zápis tohoto schématu. Protoˇze vˇetˇsinou existuje velké mnoˇzstv´ı r˚uzných druh˚u sémantických akc´ı, jeˇz znaˇcnˇe závisej´ı na charakteru implementovaných jazykových prostˇredk˚u, je dosud prakticky nej-pouˇz´ıvanˇejˇs´ım prostˇredkem pro zápis sémantických akc´ı programovac´ı jazyk.

Specifikace fáz´ı realizuj´ıc´ıch pˇreklad do intermediárn´ıho kódu pak m˚uˇze sestávat z výˇctu pˇrepisovac´ıch pravidel gramatiky, ke kterým lze pˇr´ıpadnˇe automaticky vytvoˇrit pˇr´ısluˇsný syntaktický analyzátor a ze souboru pravidl˚um odpov´ıdaj´ıc´ıch podprogram˚u v urˇcitém vyˇsˇs´ım programovac´ım jazyce, které popisuj´ı sémantické akce. Z tohoto pojet´ı syntax´ı ˇr´ızeného pˇrekladu vzniká pojem sémantického podprogramu.

Typy intermedi´arn´ıho k´odu

Návrh a fáze implementace intermediárn´ıho kódu je závislá nejen na implementovaném jazyce, ale také na zvoleném typu intermediárn´ıho kódu. Seznam typ˚u intermediárn´ıho kódu následuje.

• 3-adresový kód - tento název je ve skuteˇcnosti abstraktn´ım oznaˇcen´ım dvou typ˚u intermediárn´ıch kódu, a to tzv. ˇctveˇric a trojic. ˇCtveˇrice se skládaj´ı ze záznam˚u o ˇctyˇrech poloˇzkách: op, ARG1, ARG2, result, kde prvn´ı oznaˇcuje typ operace, druhá a tˇret´ı operandy a posledn´ı oznaˇcuje jméno výsledku. Pˇr´ıklad se nacház´ı v tabulce 3.1. Reprezentace trojicemi je podobná reprezentaci ˇctveˇricemi s t´ım rozd´ılem ˇze m´ısto pouˇz´ıván´ı doˇcasných promˇenných k propojen´ı jednotlivých operac´ı jsou vyuˇzity od-kazy pˇr´ımo do tabulky trojic, na pozici kde se nacház´ı výpoˇcet jehoˇz výsledek se poˇzaduje na m´ıstˇe operandu. Pˇr´ıklad se nacház´ı v tabulce3.2.

V tabulkách je uveden pˇr´ıklad zápisu následuj´ıc´ıho kódu: a = b * (-c + d). • syntaktický strom - tento zp˚usob reprezentace má jistou pˇr´ıbuznost s trojicemi.

Syn-taktický strom je abstrakc´ı derivaˇcn´ıho stromu. Koncovými uzly takového stromu jsou operandy a jeho vnitˇrn´ımi uzly jsou operátory operuj´ıc´ı nad operandy v jeho listech.

(18)

op ARG1 ARG2

(1) neg c

(2) + (1) d

(3) * b (2)

(4) = a (3)

Tabulka 3.2: Tabulka trojic.

Tento zp˚usob zápisu je moˇzné vyhodnotit pr˚uchodem typu postorder celým stromem. Pˇr´ıklad takového stromu je na obrázku 3.1.

Obr´azek 3.1: Syntaktick´y strom.

• postfixová notace - podstatou postfixové, nebo také polské notace je um´ıst’ován´ı operátor˚u za pˇr´ısluˇsné operandy. Tato notace, která byla p˚uvodnˇe vytvoˇrena pro reprezentaci výraz˚u má známé výhody. Jsou jimi jednoznaˇcný zápis operac´ı i bez uˇzit´ı závorek a jednoduchý zp˚usob interpretace s vyuˇzit´ım zásobn´ıku. Pˇr´ıklad zápisu výrazu v post-fixové notaci: a c neg d + b * =.

Optimalizace k´odu

C´ılové programy urˇcené k ˇcastému provádˇen´ı by mˇely být rychlé a mˇely by ˇsetˇrit m´ıstem v pamˇeti. Proto nˇekteré pˇrekladaˇce jeˇstˇe pˇred fáz´ı generován´ı c´ılového kódu provádˇej´ı tzv. op-timalizaci intermediárn´ıho kódu. Tato optimalizace aplikuje urˇcité transformace na výstupu generován´ı intermediárn´ıho kódu, za úˇcelem z´ıskán´ı jeho verze, která povede k menˇs´ımu a rychlejˇs´ımu kódu.

Term´ın optimalizace v tomto pˇr´ıpadˇe nen´ı adekvátn´ı z toho d˚uvodu ˇze neexistuje al-goritmická cesta, která by vedla k optimáln´ımu kódu pro daný zdrojový program. Proto produkt optimalizuj´ıc´ıho pˇrekladaˇce bude pokud moˇzno menˇs´ı a rychlejˇs´ı kód, málokdy vˇsak kód optimáln´ı.

V dneˇsn´ı dobˇe m˚uˇze být fáze optimalizován´ı znaˇcnˇe sloˇzitá, kromˇe klasických problém˚u se musej´ı potýkat s problémem r˚uzných instrukˇcn´ıch sad(MMX, 3DNow!, SSE, SSE2, hy-perthreading apod.) a tak se fáze optimalizace v r˚uzných pˇrekladaˇc´ıch liˇs´ı r˚uznou m´ırou propracovanosti.

(19)

3.5 Generov´

an´ı c´ılov´

eho k´

odu, interpretace

Tato fáze pˇrekladu programu se liˇs´ı v závislosti na tom zda implementujeme kompilátor, nebo interpret. Zat´ım co kompilátor v této fázi generuje strojový kód z intermediárn´ıho kódu, tak interpret zde spouˇst´ı jednotlivé pˇr´ıkazy intermediárn´ıho kódu na svém virtuáln´ım stroji.

Generován´ı c´ılového kódu

V této fázi transformuje pˇrekladaˇc intermediárn´ı kód na strojový kód c´ılové architektury. Nejjednoduˇsˇs´ı zp˚usob, kterým lze vygenerovat c´ılový strojový kód je jednoduchý pˇrepis pˇr´ıkaz˚u intermediárn´ıho kódu na strojové instrukce technikou rozvoje makroinstrukc´ı. Tento pˇr´ıstup ale vˇetˇsinou vede k neefektivn´ımu kódu, ve kterém vzniká pˇr´ıliˇs velké mnoˇzstv´ı instrukc´ı pˇr´ıstupu do pamˇeti. Aby se pˇredeˇslo generován´ı takového kódu mus´ı generátor pr˚ubˇeˇznˇe uchovávat informace o obsahu jednotlivých registr˚u a pˇristupovat do pamˇeti jen pokud je to nezbytnˇe nutné.

Pro návrh kvalitn´ıho generátoru strojového kódu je nezbytnˇe nutná dobrá znalost c´ılové architektury. Kaˇzdá architektura obsahuje nˇekolik registr˚u urˇcených pro r˚uzné typy ope-rac´ı. Kvalitn´ı generátor strojového kódu by mˇel umˇet vyuˇz´ıt tyto registry co nejefek-tivnˇeji. Tento problém je obt´ıˇzné ˇreˇsit optimálnˇe, obvykle se na jeho ˇreˇsen´ı aplikuj´ı r˚uzné heuristické pˇr´ıstupy. Mezi dalˇs´ı úkoly generátoru patˇr´ı pokud moˇzno co nejlepˇs´ı vyuˇzit´ı celého instrukˇcn´ıho repertoáru c´ılové architektury. Typickými pˇr´ıklady takových situac´ı jsou napˇr´ıklad pˇriˇc´ıtán´ı jedniˇcky, nebo násoben´ı celého ˇc´ısla mocninou dvou.

ˇ

Casto se m´ısto pˇr´ımého generován´ı strojového kódu vol´ı metoda generován´ı kódu v jazyce symbolických instrukc´ı, který se poté extern´ım programem pˇreloˇz´ı do strojového kódu. Tento pˇr´ıstup usnadn´ı fázi generován´ı kódu, protoˇze se generátor nemus´ı zabývat detaily mezi které patˇr´ı napˇr´ıklad výpoˇcty relativn´ıch adres a adres skok˚u.

Spuˇstˇen´ı k´odu interpretem

Intermediárn´ı kód urˇcený k interpretaci bývá ˇcasto zapsán v postfixové notaci. S t´ım rozd´ılem ˇze se základn´ı myˇslenka interpretace výrazu v postfixové notaci zobecn´ı na celý soubor prostˇredk˚u konkrétn´ıho jazyka. K interpretaci takového kódu postaˇc´ı následuj´ıc´ı struktury.

• program - zdrojový program zapsaný v postfixové notaci, jehoˇz prvky(instrukce) iden-tifikuj´ı operace a operandy.

• z´asobn´ık - vyuˇz´ıvan´y pˇri interpretaci a poskytuj´ıc´ı pracovn´ı pamˇet’.

• tabulka symbol˚u - slouˇz´ıc´ı k uloˇzen´ı z´aznam˚u o objektech, atributem objektu m˚uˇze b´yt i jeho hodnota.

Samotná interpretace prob´ıhá následuj´ıc´ım zp˚usobem. Kód je zpracováván postupnˇe zleva doprava. Pokud interpret naraz´ı na operand tak jej zkop´ıruje na zásobn´ık. V pˇr´ıpadˇe ˇze naraz´ı na n-arn´ı operátor tak naˇcte prvn´ıch n hodnot ze zásobn´ıku provede nad nimi operaci a výsledek uloˇz´ı opˇet na zásobn´ık. Na základˇe tohoto algoritmu lze jednoduˇse implementovat procesor realizuj´ıc´ı interpretaˇcn´ı fázi.

(20)

Kapitola 4

Motivace, souˇ

casn´

y stav pr´

ace

V této ˇcásti je popsána motivace k výbˇeru a ˇreˇsen´ı tématu práce, dále obsahuje popis jednotlivých ˇcást´ı, které byly vypracovány v rámci projektu. U kaˇzdé z popisovaných ˇcást´ı se nacház´ı popis stavu ve kterém se nacház´ı v ˇcase vypracován´ı tohoto dokumentu.

4.1 Motivace

Téma práce jsem zvolil na základˇe vlastn´ıch pokus˚u o implementaci programu pro snadnou manipulaci s obrazem. Tyto znalosti (tj. pˇr´ıstup k problematice zpracován´ı obrazu) budou vyuˇzity v následuj´ıc´ı práci na projektu, která bude zahrnovat detailn´ı návrh jazyka urˇceného pro zpracován´ı obrazu.

Dalˇs´ım d˚uvodem k volbˇe tohoto tématu bylo téma bakaláˇrské práce, která se zabývala návrhem kombinované syntaktické analýzy aplikované pˇri rozkladu vstupn´ıho ˇretˇezce. Pˇri zpracován´ı výˇse uvedeného zadán´ı jsem z´ıskal základn´ı zkuˇsenosti z oblasti pˇrekladaˇc˚u a interpret˚u, které jsem chtˇel dále zuˇzitkovat v této práci.

4.2 Souˇ

casn´

y stav pr´

ace

Následuje výˇcet jednotlivých navrˇzených a implementovaných ˇcást´ı projektu a popis v jaké fázi rozpracován´ı se nacház´ı.

Skripty v jazyce Perl

Skripty pouˇz´ıvané pro automatické generován´ı kontejnerových objekt˚u. Implementaˇcn´ı de-taily popisuj´ıc´ı návrh a vyuˇzit´ı tˇechto skript˚u jsou popsány v pˇr´ıloze. Návrh a implementace tˇechto skript˚u jsou dokonˇceny a pouˇz´ıvaj´ı se pˇri implementaci n´ıˇze popsaných ˇcást´ı projektu. Program generuj´ıc´ı pˇrekladaˇc

Tento program tvoˇr´ı velkou ˇcást celkové práce na projektu. Je urˇcen k automatickému ge-nerován´ı popisu pˇrekladaˇce na základˇe popisu struktury jazyka pˇrekládaných program˚u. Návrh a implementace tohoto programu jsou dokonˇceny. Popis programu se nacház´ı v kapi-tole5. Navrˇzený pˇrekladaˇc. Navrhovaný skriptovac´ı jazyk je realizován jako vstupn´ı soubor tohoto programu.

Souˇcást´ı programu je i jazyk urˇcený k zápisu sémantických podprogram˚u. Návrh a im-plementace tohoto jazyka jsou jiˇz ˇcásteˇcnˇe dokonˇceny, ale stále docház´ı k drobným zmˇenám,

(21)

v závislosti na poˇzadované funkcionalitˇe pˇri návrhu skriptovac´ıho jazyka. Popis tohoto ja-zyka se nacház´ı v kapitole 6. Navrˇzený jazyk sémantických podprogram˚u.

Jazyk pro zpracov´an´ı obrazu

Jazyk je zapisován jako vstup výˇse popsaného programu. Návrh programu a jeho zápis jeˇstˇe nen´ı kompletnˇe dokonˇcen a závis´ı na detailn´ı struktuˇre reprezentovaných obraz˚u. Popis dosud navrˇzených ˇcást´ı skriptovac´ıho jazyka je popsán v kapitole 7. Navrˇzený jazyk pro zpracován´ı obrazu.

4.3 Zhodnocen´ı souˇ

casn´

eho stavu

Byl navrˇzen a implementován program generuj´ıc´ı popis pˇrekladaˇce. Jeho implementace splˇnuje poˇzadavky na nˇej kladené a je provedena s ohledem na efektivn´ı výpoˇcet a inter-pretaci vygenerovaným pˇrekladaˇcem. Existuje moˇznost zápisu zdrojového kódu vygenero-vaného pˇrekladaˇce v jazyce C, která vˇsak zat´ım implementuje jen lexikáln´ı a syntaktickou analýzu tohoto pˇrekladaˇce.

S vyuˇzit´ım výˇse uvedeného programu je navrhován skriptovac´ı jazyk pro zpracován´ı obrazu. Je navrhován s ohledem na snadné pouˇzit´ı a je snaha v rámci moˇznost´ı dodrˇzovat základn´ı syntaxi podobnou syntaxi jazyka C.

(22)

Kapitola 5

Navrˇ

zen´

y pˇ

rekladaˇ

c

Tato kapitola se zabývá návrhem a implementac´ı interpretaˇcn´ıho pˇrekladaˇce. Pˇrekladaˇc je navrˇzen pro zpracován´ı libovolného jazyka, popsaného vstupn´ım souborem obsahuj´ıc´ım popis lexikáln´ıch, syntaktických a sémantických pravidel tohoto jazyka. Úkolem pˇrekladaˇce je na základˇe vstupn´ıho zdrojového programu vygenerovat jeho sémanticky ekvivalentn´ı reprezentaci, kterou bude moˇzné jednoduˇse dále upravovat, tj. spouˇstˇet na virtuáln´ım stroji, nebo provádˇet nad n´ı dalˇs´ı operace (Optimalizace apod.).

Princip funkce pˇrekladaˇce

Z d˚uvod˚u poˇcáteˇcn´ı nezkuˇsenosti s návrhem a implementac´ı pˇrekladaˇc˚u programovac´ıch jazyk˚u by bylo nevhodné implementovat pˇrekladaˇc pˇr´ımo v n´ızkoúrovˇnovém programovac´ım jazyce. Pokud by vyvstal v urˇcité fázi implementace nˇejaký sloˇzitˇejˇs´ı problém, bylo by nutné provádˇet vˇetˇs´ı zásahy do kódu a mohlo by docházet k pˇr´ıpadnému zanáˇsen´ı chyb, apod.

Po prostudován´ı problém˚u návrhu a implementace pˇrekladaˇc˚u, dospˇel autor k názoru ˇze techniky automatizovaného generován´ı d˚uleˇzitých pod-ˇcást´ı pˇrekladaˇce jsou tak pokroˇcilé a nepˇr´ıliˇs sloˇzité na implementaci, ˇze bude snadnˇejˇs´ı vytvoˇrit systém vytváˇrej´ıc´ı pˇrekladaˇc na základˇe jeho popisu, a samotný pˇrekladaˇc navrhnout jako vstupn´ı popis do tohoto systému. Na obrázku 5.1. je zobrazena struktura implementovaného programu, vˇcetnˇe zobrazen´ı postup˚u pˇri vytváˇren´ı pˇrekladaˇce a pˇrekladu zdrojových soubor˚u. V následuj´ıc´ıch podkapi-tolách se nacház´ı podrobnˇejˇs´ı popis jednotlivých pod-ˇcást´ı programu.

5.1 Popis souboru definuj´ıc´ıho jazyk

Podle tohoto vstupn´ıho souboru implementovaný program vygeneruje strukturu popisuj´ıc´ı pˇrekladaˇc. Tuto strukturu poté program vyuˇzije k následnému pˇreloˇzen´ı vstupn´ıho zdro-jového souboru. Popis pˇrekladaˇce je potˇreba vygenerovat pouze jednou, tento se m˚uˇze uloˇzit na disk a pˇri pˇrekladu dalˇs´ıho zdrojového souboru pouze naˇc´ıst ze souboru. V následuj´ıc´ı práci na projektu je zahrnuta i myˇslenka generován´ı zdrojového programu v jazyce C im-plementuj´ıc´ı pˇrekladaˇc popsaný generovanou strukturou1.

Form´at souboru definuj´ıc´ıho jazyk

Do tohoto souboru se zapisuje seznam termináln´ıch a netermináln´ıch symbol˚u syntaktické analýzy, popis tvaru termináln´ıch symbol˚u a sémantické podprogramy jednotlivých pravidel.

(23)

Obr´azek 5.1: Struktura pˇrekladaˇce.

Z´akladn´ı struktura souboru je zobrazena v tabulce5.1.

Následuje vysvˇetlen´ı nˇekterých pojm˚u zapsaných v této struktuˇre.

• <terminal_id> - tento pojem popisuje identifikaci termináln´ıho symbolu, která bude dále pouˇz´ıvaná v seznamu pravidel. Zapisuje se ve tvaru identifikátoru, jako napˇr. v jazyce C. To znamená posloupnost ˇc´ısel, p´ısmen a podtrˇz´ıtek s podm´ınkou ˇze nezaˇc´ıná ˇc´ıslem.

• <nonterminal_id> - tento element popisuje identifikaci non-termináln´ıho symbolu, pro pouˇzit´ı v seznamu syntaktických pravidel. Zapisuje se jako identifikátor ter-mináln´ıho symbolu uzavˇreny mezi znaky ‘<’ a ‘>’.

• <regular_expression> - zastupuje regulárn´ı výraz urˇcený k popisu tvaru termináln´ıho symbolu ve zdrojovém programu jazyka. Nen´ı to regulárn´ı výraz jak jej známe z te-orie formáln´ıch jazyk˚u, ale sp´ıˇse zjednoduˇsená forma, ve které se mohou pouˇz´ıvat zástupné symboly pro mnoˇzinu znak˚u, iterátor a zápis popisuj´ıc´ı výbˇer jednoho z mnoˇziny znak˚u. Seznam speciáln´ıch znak˚u následuje.

– \w - ”white” oznaˇcuje tzv. b´ılé znaky mezi které patˇr´ı mezera, tabulátor a konec ˇrádku. Vyuˇzije se napˇr´ıklad pˇri oznaˇcován´ı terminál˚u, které syntaktický ana-lyzátor nemus´ı zpracovávat. To se provede napˇr´ıklad zápisem \w\w\*.

– \d - ”digit” oznaˇcuje jednu ˇc´ıslici z mnoˇziny 0-9. Slouˇz´ı k definici terminál˚u popisuj´ıc´ıch ˇc´ıselné konstanty, nebo i identifikátory promˇenných.

(24)

init_code: { <semantic_code> } terminals: <terminal_id> {<regular_expression>} ... nonterminals: <nonterminal_id> ... rules:

<nonterminal_id> -> <terminal_id> | <nonterminal_id> ... ->> {

<semantic_code> }

...

Tabulka 5.1: Struktura souboru popisuj´ıc´ıho jazyk.

– \l - ”letter” znaˇc´ı jedno p´ısmeno abecedy z mnoˇzin a-z a A-Z. Slouˇz´ı hlavnˇe k popisu termin´aln´ıch symbol˚u oznaˇcuj´ıc´ıch identifik´atory.

– \! - oznaˇcuje skupinu znak˚u obsahuj´ıc´ı vˇsechny znaky kromˇe znak˚u definovan´eho za t´ımto identifik´atorem.

– \* - popisuje 0-n iterac´ı pˇredch´azej´ıc´ıho znaku. Napˇr´ıklad z´apis "\!"\*" popisuje ˇretˇezec znak˚u.

– \[ a \] - oznaˇcuj´ı závorky pro výbˇer jednoho znaku, který je v nich obsaˇzen. Pˇr´ıkladem vyuˇzit´ı takového zápisu je popis terminálu oznaˇcuj´ıc´ıho identifikátor \[_\l\]\[_\l\d\]\*.

Podrobnˇejˇs´ı popis vyuˇzit´ı tˇechto výraz˚u k rozpoznáván´ı terminál˚u(lexém˚u) zdro-jového programu bude uveden v podkapitole zabývaj´ıc´ı se lexikáln´ı analýzou pˇrekladaˇce. • <semantic_code> - tento symbol zastupuje program zapsaný v interpretovaném

ja-zyce, který slouˇz´ı pro definován´ı sémantických operac´ı provádˇených pˇri redukci podle pravidla, u kterého je tento kód definován. Jedinou výjimku tvoˇr´ı kód zapsaný za kl´ıˇcovým slovem init:, který se spouˇst´ı vˇzdy na zaˇcátku pˇrekladu. Popis jazyka pro zápis sémantických podprogram˚u se nacház´ı v kapitole 6. nazvané Navrˇzený jazyk sémantických podprogram˚u.

Zpracován´ım tohoto popisu jazyka z´ıská program dostatek informac´ı pro vygenerován´ı pˇrekladaˇce schopného zpracovat zdrojový soubor zapsaný v tomto jazyce.

5.2 Nalezen´ı koneˇ

cn´

eho automatu

Tato ˇcást se zabývá struˇcným popisem postup˚u vyuˇzitých pˇri hledán´ı koneˇcného automatu rozliˇsuj´ıc´ıho od sebe jednotlivé termináln´ı symboly, popsané ve vstupn´ım definiˇcn´ım sou-boru regulárn´ımi výrazy.

(25)

0 1 2 3 4 5 6 7 8 9 10 11 < \[ _ \l \] \[ _ \l \d \] \* > 0: ’<’ -> 1 1: ’_’ -> 5 <letter> -> 5 5: ’_’ -> 5 <letter> -> 5 <digit> -> 5 ’>’ -> 12

Tabulka 5.2: Regul´arn´ı v´yraz s mnoˇzinou jeho pˇrechod˚u. ´

Uprava regul´arn´ıch v´yraz˚u

Prvn´ım krokem je pˇrevod regulárn´ıch výraz˚u z textové podoby do zápisu v nˇemˇz jsou speciáln´ı znaky(tj. znaky které zastupuj´ı mnoˇziny znak˚u jednoduchých) stejnˇe jako jed-noduché znaky reprezentovány jedn´ım elementem. Vˇetˇsinou je tento zápis reprezentován polem, ve kterém je ˇc´ıslem jednoznaˇcnˇe identifikován jak jednoduchý znak, tak i speciáln´ı znak vˇcetnˇe jeho funkce. V tomto kroku se také zpracuj´ı tzv. escape sekvence zapsané v textové podobˇe regulárn´ıho výrazu.

V takto vytvoˇrených pol´ıch lze pak na základˇe znalosti aktuáln´ı pozice ve výrazu2 nalézt následuj´ıc´ı moˇzné pˇrechody. Tyto pˇrechody jsou popsány symbolem, nebo mnoˇzinou symbol˚u, které je provádˇej´ı a ˇc´ıslem oznaˇcuj´ıc´ım následuj´ıc´ı pozici ve výrazu po proveden´ı tohoto pˇrechodu. Pˇr´ıklad pˇrechod˚u v regulárn´ım výrazu se nacház´ı v tabulce 5.2.

Schopnost nalezen´ı tˇechto pˇrechod˚u v kaˇzdém výrazu vyuˇzije konstruktor koneˇcného automatu urˇceného k rozpoznáván´ı vˇsech termináln´ıch symbol˚u jazyka.

Nalezen´ı stav˚u koneˇcn´eho automatu

Algoritmus hledaj´ıc´ı stavy koneˇcného automatu je zaloˇzen na výˇse popsané schopnosti vytvoˇrit z regulárn´ıho výrazu, seznam pˇrechod˚u se vstupn´ımi znaky v rámci tohoto výrazu.

´

Ukolem takového algoritmu je spojit jednotlivé pod-automaty vˇsech výraz˚u do jednoho celku, urˇceného k jejich rozpoznáván´ı tj. koneˇcného automatu lexikáln´ı analýzy.

K tomu bude vyuˇzita struktura zaznamenávaj´ıc´ı pro kaˇzdý zpracovávaný stav vytváˇreného automatu mnoˇzinu pod-automat˚u, které reprezentuje, vˇcetnˇe záznamu pozic(stav˚u), ve kterých se tyto pod-automaty nacház´ı. Dále se vyuˇzije struktura implementuj´ıc´ı obyˇcejnou ˇradu, do které se budou vkládat popisy stav˚u (popsané výˇse popsanou strukturou) urˇcené k zpracován´ı.

Na zaˇcátku algoritmus vloˇz´ı do této ˇrady stav obsahuj´ıc´ı seznam vˇsech pod-automat˚u vytvoˇrených z regulárn´ıch výraz˚u, které budou m´ıt indikátor pozice nastavený na nulu. Samotny algoritmus je implementován jako cyklus pracuj´ıc´ı nad ˇradou popis˚u, dokud v ˇradˇe nˇejaký popis stavu ”ˇceká”. V cyklu se popis stavu, který je na ˇradˇe vyzvedne a porovná s mnoˇzinou jiˇz zpracovaných stav˚u. Pokud se v této mnoˇzinˇe nacház´ı stejný popis stavu, tak to znamená ˇze tento stav jiˇz byl zpracován a uprav´ı se jen pˇrechody, které vedly k vytvoˇren´ı tohoto nového stavu tak aby smˇeˇrovaly na stav uloˇzený v seznamu jiˇz zpracovaných. Kdyˇz

(26)

se popis stavu v této mnoˇzinˇe nenacház´ı následuje jeho zpracován´ı. Pˇri nˇem se naleznou vˇsechny moˇzné pˇrechody z tohoto stavu zaloˇzené na moˇzných pˇrechodech v pod-automatech. Je nutné vyb´ırat znaky pro následuj´ıc´ı pˇrechod od nejzákladnˇejˇs´ıch po nejobecnˇejˇs´ı. Po výbˇeru znaku pro následuj´ıc´ı pˇrechod je nutné znovu zkontrolovat vˇsechny ostatn´ı pˇrechody pod-automat˚u zda neobsahuj´ı pˇrechod se stejným znakem, nebo se znakem obecnˇejˇs´ım, který popisuje i znak pˇrechodu. Na základˇe tˇechto porovnán´ı se vytvoˇr´ı nový seznam pod-automat˚u a jejich pozic popisuj´ıc´ı nový stav automatu. Tento novˇe vytvoˇrený popis stavu se vloˇz´ı do ˇrady. Zpracován´ı stavu skonˇc´ı s vyˇcerpán´ım vˇsech moˇznost´ı pˇrechod˚u vˇsech pod-automat˚u. Tento stav se po zpracován´ı vloˇz´ı do mnoˇziny stav˚u automatu a jeho popis se uloˇz´ı do seznamu jiˇz zpracovaných stav˚u.

Tento algoritmus v podstatˇe implementuje paralelizaci v´ıce koneˇcn´ych automatu za ´

uˇcelem nalezen´ı odpov´ıdaj´ıc´ıho koneˇcného automatu vhodného k vyuˇzit´ı lexikáln´ım ana-lyzátorem jazyka. Automat je reprezentován vygenerovanou mnoˇzinou pˇrechodových stav˚u.

5.3 Generov´

an´ı rozkladov´

e tabulky

Rozkladová tabulka je jednou ze základn´ıch struktur ˇr´ıd´ıc´ıch syntaktický rozklad zdro-jového programu. Protoˇze ve vˇetˇsinˇe pˇrekladaˇc˚u je to právˇe syntaktický analyzátor, který ˇr´ıd´ı rozklad zdrojového programu je tvorba této struktury(syntaktické tabulky) stˇeˇzejn´ım krokem tvorby pˇrekladaˇce.

Automatizovaná tvorba této tabulky je velmi dobˇre popsána v mnoha publikac´ıch proto se zde omez´ım jen na struˇcný popis základn´ıch krok˚u tohoto postupu.

J´adra rozkladu

Konverze pˇres tzv. jádra rozkladu je jedna z metod urˇcených pro automatizovanou tvorbu rozkladové tabulky. Tato metoda je zaloˇzena na nalezen´ı a popsán´ı vˇsech moˇzných stav˚u (jader), do kterých se m˚uˇze syntaktický analyzátor dostat pˇri rozkládán´ı zdrojového sou-boru popsaného jazyka. Na základˇe vygenerovaného seznamu tˇechto jader je moˇzné opˇet automatizovaným postupem vytvoˇrit poˇzadovanou rozkladovou tabulku.

Metoda hledán´ı jader rozkladu se dˇel´ı na nˇekolik fáz´ı, kde prvn´ı dvˇe fáze slouˇz´ı k pˇr´ıpravˇe dat vhodných pro jednoduˇsˇs´ı zpracován´ı fáze posledn´ı. Tˇemito fázemi jsou, výpoˇcet mnoˇziny firsts, výpoˇcet mnoˇziny follows a nalezen´ı poˇzadovaných jader rozkladu popsaných v mnoˇzinˇe kernels. Následuj´ıc´ı fáz´ı, která uˇz ale nepatˇr´ı mezi fáze hledaj´ıc´ı jádra rozkladu je generován´ı samotné rozkladové tabulky na základˇe nalezených jader rozkladu.

V´ypoˇcet mnoˇziny firsts

Mnoˇzina firsts obsahuje pro kaˇzdý symbol syntaktické analýzy, tj. pro kaˇzdý terminál a neterminál seznam symbol˚u, které se mohou vyskytovat na zaˇcátku literálu rozepsaného z tohoto symbolu.

Z toho vyplývá ˇze pro termináln´ı symboly bude v tomto seznamu jen tento symbol sa-motný, protoˇze ˇzádný jiný literál se z nˇej vygenerovat nem˚uˇze. Mnoˇzina first netermináln´ıch symbol˚u se nalezne pr˚uchodem pˇres vˇsechny pravidla u kterých neterminál tvoˇr´ı hlavu. V kaˇzdém kroku pr˚uchodu se do mnoˇziny first tohoto neterminálu pˇridá mnoˇzná first prvn´ıho symbolu pravé strany pravidla.

Z d˚uvodu jednoduchého nalezen´ı mnoˇziny first pro termináln´ı symboly tyto mnoˇziny nepoˇc´ıtám dopˇredu ale vypoˇc´ıtám (pˇriˇrad´ım index terminálu) aˇz pˇri potˇrebˇe této mnoˇziny

(27)

v dalˇs´ım v´ypoˇctu.

Pˇri výpoˇctu mnoˇziny first je pro fázi generován´ı jader rozkladu nutné ke kaˇzdému záznamu v mnoˇzinˇe first nˇejakého neterminálu vygenerovat seznam pravidel ze kterých vyplývá pˇr´ısluˇsnost tohoto záznamu do této mnoˇziny first. Takovému seznamu pravidel budeme dále ˇr´ıkat mnoˇzina first rules.

V´ypoˇcet mnoˇziny follows

Jak z názvu mnoˇziny follows vyplývá obsahuje tato pro kaˇzdý neterminál3 seznam symbol˚u které po nˇem mohou následovat v nˇejakém literálu rozepsaném ze startovac´ıho neterminálu gramatiky.

Mnoˇzina se opˇet pro neterminál nalezne pr˚uchodem pˇres vˇsechny pravidla gramatiky jazyka, ale tentokráte se neterminál hledá v pravé stranˇe pravidla. Pokud byl neterminál nalezen záleˇz´ı na pozici ve které se v tˇele pravidla nacház´ı, kdyˇz se nenacház´ı na posledn´ı pozici pˇridá se do jeho mnoˇziny follow mnoˇzina firsts symbolu vpravo od nˇej, v pˇr´ıpadˇe ˇze se nacház´ı na konci tˇela pravidla pˇridá se do jeho mnoˇziny follow mnoˇzina follow neterminálu tvoˇr´ıc´ıho hlavu pravidla.

Pˇri tomto výpoˇctu se uplatn´ı rekurze, protoˇze mnoˇzina follow, která se má pˇridat do mnoˇziny follow poˇc´ıtaného neterminálu jeˇstˇe nemus´ı být spoˇc´ıtána. Avˇsak u této rekurze si mus´ıme dát pozor a s kaˇzdým volán´ım do hloubky pˇredávat i informace o jiˇz výˇse poˇc´ıtaných neterminálech, tyto se uˇz dále nesm´ı zanoˇrovat z d˚uvod˚u zacyklen´ı algoritmu. Z d˚uvodu efektivity výpoˇctu je vhodné mnoˇzinu follow neterminálu poˇc´ıtaného kv˚uli poˇzadavku jiného neterminálu zaznamenat jako spoˇc´ıtanou a v hlavn´ım cyklu pˇres neterminály ji jiˇz zbyteˇcnˇe nepoˇc´ıtat. Toto opatˇren´ı m˚uˇze být pouˇzito jen pokud ve výpoˇctu mnoˇziny follow nedoˇslo nikde k omezen´ı zanoˇrován´ı kv˚uli opakovanému zpracován´ı nˇekterého neterminálu.

Tato mnoˇzina sehraje kl´ıˇcovou roli pˇri rozhodován´ı u kterých terminál˚u na vstupu provést redukci podle pravidla gramatiky.

V´ypoˇcet jader rozkladu

Jádro rozkladu je ˇcásteˇcnˇe analogické ke stavu v koneˇcném automatu. Je to struktura popi-suj´ıc´ı jeden stav ve kterém se m˚uˇze nalézat syntaktický analyzátor pˇri rozkladu vstupn´ıho ˇretˇezce. V jednom jádˇre jsou zaznamenány vˇsechny pravidla ve kterých se m˚uˇze analyzátor ”vyskytovat” pˇri rozkladu, vˇcetnˇe pozic v tˇechto pravidlech, tato skupina se nazývá pravi-dla jádra rozkladu. Druhá skupina v jádˇre se nazývá skupina pˇrechod˚u, ta obsahuje indexy jader ze kterých se do tohoto jádra vstoupilo a se kterým elementem (tj. terminálem nebo i neterminálem) byl pˇrechod proveden.

Algoritmus výpoˇctu jader rozkladu zaˇc´ıná vytvoˇren´ım prvn´ıho jádra, které obsahuje pouze prvn´ı pravidlo s iterátorem na pozici nula, tj. pˇred prvn´ım symbolem tˇela tohoto pravidla, toto novˇe vytvoˇrené jádro se vloˇz´ı do dynamického pole, které slouˇz´ı právˇe jako seznam jader rozkladu. Algoritmus procház´ı pˇres vˇsechny jádra rozkladu v tomto dyna-mickém poli a postupnˇe zpracovává kaˇzdé jádro, skonˇc´ı kdyˇz doraz´ı na konec tohoto pole. Pˇri zpracován´ı jednoho jádra se procház´ı vˇsechny jeho pravidla. Dále se pracuje pouze s tˇemi pravidly, které nemaj´ı iterátor na konci svého tˇela. U takového pravidla se v mnoˇzinˇe first nalezne seznam element˚u, kterými m˚uˇze zaˇc´ınat element nacházej´ıc´ı se za iterátorem v pravidle. Pro kaˇzdý takový element se zaˇcne vytváˇret nové jádro rozkladu (zat´ım se nevkládá do pole koncových jader rozkladu).

3

(28)

Do tohoto nového jádra se vloˇz´ı seznam pravidel z mnoˇziny first rules náleˇz´ıc´ı k ele-mentu se kterým se vytváˇr´ı, iterátor v tˇechto pravidlech bude um´ıstˇen na pozici 1 (tj. za zpracovávaným elementem z mnoˇziny first). Dále se do seznamu pravidel tohoto jádra vloˇz´ı pro element odpov´ıdaj´ıc´ı samotnému elementu jehoˇz mnoˇzina first byla pouˇzita pravidlo aktuáln´ıho jádra, které bylo základem pro vznik nového jádra, s t´ım ˇze se jeho iterátor posune o jednu pozici doprava (tj. za zpracovávaný element).

Do mnoˇziny pˇrechod˚u nového jádra se vloˇz´ı pˇrechod ze zpracovávaného jádra s aktuálnˇe zpracovávaným elementem z mnoˇziny first.

Po vytvoˇren´ı nového jádra rozkladu se projdou vˇsechny existuj´ıc´ı jádra a hledá se jádro se shodným seznamem pravidel a jejich iterátor˚u jako má novˇe vytvoˇrené jádro, mnoˇzina pˇrechod˚u nehraje roli. Pokud nen´ı takové jádro nalezeno vloˇz´ı se nové jádro do pole jader rozkladu. V pˇr´ıpadˇe ˇze se takové jádro nalezne, pˇridá se mnoˇzina pˇrechod˚u nového jádra do nalezeného existuj´ıc´ıho jádra.

Po dokonˇcen´ı tohoto algoritmu m´ame kompletn´ı mnoˇzinu jader rozkladu odpov´ıdaj´ıc´ı pˇredan´e gramatice.

Generov´an´ı rozkladov´e tabulky

Kaˇzdé jádro rozkladu popisuje právˇe jeden stav, ve kterém se m˚uˇze nalézat syntaktický analyzátor pˇri zpracován´ı zdrojového textu, proto také rozkladová tabulka jej´ıˇz ˇrádky od-pov´ıdaj´ı jednotlivým stav˚um obsahuje právˇe tolik ˇrádk˚u kolik bylo vypoˇc´ıtáno jader roz-kladu.

Rozkladová tabulka se skládá ze dvou ˇcást´ı, tˇemi jsou tabulka akc´ı a tabulka pˇrechod˚u. Tabulka akc´ı slouˇz´ı syntaktickému analyzátoru k nalezen´ı následuj´ıc´ı akce, kterou by mˇel vykonat, zat´ımco tabulka pˇrechod˚u popisuje do jakého stavu se syntaktický analyzátor pˇresune po redukci urˇcitého pravidla. Mezi akce nalézaj´ıc´ı se v tabulce akc´ı patˇr´ı akce shift a akce reduce.

Tabulka pˇrechod˚u rozkladové tabulky se vypln´ı na základˇe mnoˇzin pˇrechod˚u jader roz-kladu. Pokud jádro obsahuje pˇrechod, který se provád´ı na základˇe netermináln´ıho symbolu zap´ıˇse se do tabulky pˇrechod˚u na ˇrádek stavu z kterého pˇrechod pˇrecház´ı a sloupec neter-minálu s kterým se pˇrecház´ı index jádra ve kterém se tento pˇrechod nacház´ı.

Akce typu shift se v tabulce akc´ı vyplˇnuj´ı také na základˇe mnoˇzin pˇrechod˚u v jádrech rozkladu. To znamená, pokud jádro rozkladu obsahuje pˇrechod, který se provád´ı na základˇe termináln´ıho symbolu, zap´ıˇse se do rozkladové tabulky na ˇrádek stavu ze kterého se pˇrecház´ı a sloupec termináln´ıho symbolu akce shift s indexem jádra ve kterém se tento pˇrechod nacház´ı.

Pro vygenerován´ı akc´ı reduce je potˇreba proj´ıt vˇsechny jádra rozkladu, ve kterých se hledaj´ı pravidla, která maj´ı iterátor za posledn´ım prvkem tˇela pravidla. Pokud se takovéto pravidlo nalezne procház´ı se vˇsechny elementy z mnoˇziny follow hlavy tokového pravidla. Pracuje se pouze s terminály, a u kaˇzdého z nich se znovu projdou vˇsechny pravidla jádra z d˚uvodu zjiˇstˇen´ı zda neexistuje nˇejaké, které by obsahovalo iterátor pˇred terminálem z mnoˇziny follow s kterým by jsme v tomto pˇr´ıpadˇe chtˇeli pˇredˇcasnˇe redukovat pravidlo. Pokud takové pravidlo neexistuje vloˇz´ı se do rozkladové tabulky na ˇrádek aktuáln´ıho zpra-covávaného jádra a sloupec prvku z mnoˇziny follow akce reduce s indexem zpracovávaného pravidla.

Výsledkem proveden´ı vˇsech tˇechto postup˚u je kompletn´ı rozkladová tabulka pˇripravená pro pouˇzit´ı syntaktickým analyzátorem. Jej´ı výpoˇcet nen´ı jednoduchý, ale d´ıky nˇemu bude jej´ı pouˇzit´ı pˇri rozkládán´ı zdrojového kódu v syntaktické analýze o to jednoduˇsˇs´ı.