Chương 2 "Phân tích từ vựng" giúp người học nắm được vai trò của giai đoạn phân tích từ vựng, sử dụng các khái niệm biểu thức chính qui (regular expression) và ô - tô - mát hứu hạn (finite automata) trong việc biểu diễn và nhận biết ngôn ngữ. | CHƯƠNG II Phân tích từ vựng Mục tiêu: Nắm được vai trò của giai đoạn phân tích từ vựng, sử dụng các khái niệm biểu thức chính qui (regular expression) và ô- tô- mát hứu hạn (finite automata) trong việc biểu diễn và nhận biết ngôn ngữ Vai trò của phân tích từ vựng Đây là giai đoạn đầu tiên của quá trình biên dịch Nhiệm vụ chính: Đọc từng kí tự vào (input characters) từ chương trình nguồn và nhóm lại thành các token phục vụ cho giai đoạn phân tích cú pháp sau đó Source program Lexical analyzer Get next token Token Parser Symbol table Phân tích từ vựng giúp cho các giai đoạn biên dịch tiếp theo dễ dàng hơn, ví dụ: Giai đoạn phân tích cú pháp không phải quan tâm đến các khoảng trắng cũng như các lời chú trích vì nó đã được loại bỏ khi khi phân tích từ vựng Giảm đáng kể thời gian đọc chương trình nguồn và nhóm thành các token nhờ một số chương trình xử lí chuyên dụng Một số khái niệm Token: Một token là một tập hợp các xâu kí tự có một nghĩa xác định, ví dụ identifier token là | CHƯƠNG II Phân tích từ vựng Mục tiêu: Nắm được vai trò của giai đoạn phân tích từ vựng, sử dụng các khái niệm biểu thức chính qui (regular expression) và ô- tô- mát hứu hạn (finite automata) trong việc biểu diễn và nhận biết ngôn ngữ Vai trò của phân tích từ vựng Đây là giai đoạn đầu tiên của quá trình biên dịch Nhiệm vụ chính: Đọc từng kí tự vào (input characters) từ chương trình nguồn và nhóm lại thành các token phục vụ cho giai đoạn phân tích cú pháp sau đó Source program Lexical analyzer Get next token Token Parser Symbol table Phân tích từ vựng giúp cho các giai đoạn biên dịch tiếp theo dễ dàng hơn, ví dụ: Giai đoạn phân tích cú pháp không phải quan tâm đến các khoảng trắng cũng như các lời chú trích vì nó đã được loại bỏ khi khi phân tích từ vựng Giảm đáng kể thời gian đọc chương trình nguồn và nhóm thành các token nhờ một số chương trình xử lí chuyên dụng Một số khái niệm Token: Một token là một tập hợp các xâu kí tự có một nghĩa xác định, ví dụ identifier token là tập hợp tất cả các identifier. Token chính là các kí hiệu kết thúc (terminal) trong định nghĩa văn phạm của một ngôn ngữ, ví dụ: Các từ khoá, định danh, toán tử, hằng, xâu kí tự, dấu ngoặc đơn, dấu phẩy, dấu chấm phẩy. Pattern: Pattern của một token là các qui tắc kết hợp các kí tự để tạo lên token đó Lexeme: Là một chuỗi các kí tự thoả mãn pattern của một token Bảng sau đưa ra các ví dụ về token, pattern và lexeme Token Lexeme Thông tin mô tả của pattern const if relation id num literal const if , >=, =, pi, count, d2 , 0, "computer" const if hoặc >= hoặc = hoặc một kí tự, tiếp theo là các kí tự hoặc chữ số bất kì hằng số nào các kí tự nằm giữa " và " ngoại trừ " Đặc tả Token Xâu kí tự (string): Là một chuỗi các kí tự từ một bảng chữ cái. Kí hiệu xâu rỗng là Một số khái niệm liên quan đến xâu kí tự: Tiền tố (prefix), hậu tố (suffix), xâu con (substring), tiền tố thực sự (proper prefix) Ngôn ngữ (language): Là tập hợp các xâu
