the 词法分析第二章形式语言及自动机理论基础guide download.pdf

Ch3 词法分析 3.1 词法分析程序的功能 词法分析程序的功能 源程序 词法分析器 属性字流 L1 ( Scanner ) 从左至右地对源程序进行，按照语言的词法规则 识别各类单词，并产生相应单词的属性字。 Ch3 词法分析 3.1 词法分析程序的功能 关于词法分析程序 * 组织输入、扫描、分析、输出； * 接收字符串形式的源程序，按照源程序输入的次 序依次扫描源程序，在扫描的同时根据语言的词法 规则识别出具有独立意义的单词，并产生与源程序 等价的属性字（Token ）流. 完成词法分析任务的程序称为词法分析程序或词法分 析器或扫描器。 Ch3 词法分析 3.1 词法分析程序的功能 关于词法分析程序 （作为一个独立子程序） (1) 只要不修改接口，则词法分析器所作的修改 不会影响整个编译器，且词法分析器易于维护； (2) 整个编译器结构简捷、清晰； (3) 可以采用有效的方法和工具进行处理。 完全独立 相对独立 协同程序 Ch3 词法分析 3.1 词法分析程序的功能 例3.1 有如下C源程序片段 { int int1; int1 = 33; printf(int1= %d\n,int1); } 词法分析后识别出如下单词： { 、 int 、int1 、 ; 、int1 、= 、 33 、; 、 printf 、( 、int1＝ %d\n” 、 , 、 int1 、 ) 、; 、 } Ch3 词法分析 3.1 词法分析程序的功能 说明 ： 1. 词法分析是编译程序的第一个阶段且是必要阶段； 2. 词法分析的核心任务是扫描、识别单词且对识别 出的单词给出定性、定长的处理； 3. 实现词法分析程序的常用途径： 自动生成 手工生成 Ch3 词法分析 3.2 词法分析器的设计与实现 3.2.1 单词与属性字 1. 单词 单词是语言中具有独立意义的最小语法单位。 独立的意义 要素 * 词法规则制约 最小的语法单位 例如， …A*B…，单词是“A”、“*”和“B” 。 …int int1…,单词是“int”和“int1” 。 …A++*B…,单词是“A”、“++”、“*”和“B” 。 Ch3 词法分析 3.2 词法分析器的设计与实现 3.2.1 单词与属性字 流行语言词法规则的表示： BNF或EBNF ； 3型文法； 正规式 关键字 int | float | for | #include | char | … 标识符 字母{字母|数字} V = 字母 （字母|数字 ）* 标识符 a后缀 | b后缀 |…| z后缀 后缀 a后缀 | b后缀 |…| z