토큰과 파싱

토큰 프로그램을 구성하는 최소 단위를 토큰(어휘)이라고 합니다. 자바스크립트 인터프리터는 프로그램을 실행하기에 앞서 프로그램을 토큰으로 분해합니다. 이 동작을 어휘 분석이라고 합니다. 그 후에 토큰을 한 줄로 나열하고 이것이 자바스크립트의 구문 규약에 비추어 보았을 때 올바른 프로그램인지 판정합니다. 이 동작을 구문 분석(파싱)이라고 합니다. 인터프리터에 따라서는 어휘 분석과 구문 분석을 함께 실행하는 경우도 있습니다. 구문을 분석한 결과, 프로그램에 문제가 없다고 판단하면 프로그램을 실행합니다.예를 들어 영어 문장에서는 단어가 토큰입니다. ‘JavaScript is powerful.’이라는 문장에서는 JavaScript, is, powerful이라는 단어 세 개와 마침표(.)가 토큰입니다. 단어를 더 나누면 단순한 알파벳 나열에 불과해지므로 의미를 부여할 수 없습니다. 즉, 토큰은 의미를 가지는 최소한의 문자 덩어리라고 할 수 있습니다
출처:모던자바스크립트 입문