Lexical Analysis 란?

코드의 문자들을 읽어서 정해진 룰에 따라 이를 토큰으로 만들어 합친다.
또한 여기에서 공백, 주석 등을 지우고 마지막으로는 이 전체 코드를 토큰들로 나눈다.
이 렉시컬 분석기가 소스코드를 읽을 때, 코드를 글자 단위로 읽는다.
그 과정에서 공백, operator symbol, special symbol를 만나면, 해당 단어가 끝난 것으로 간주한다.