1.1.3.2.8 分解

　　分解 是指將字節(jié)或字符序列分割為像單詞這樣的邏輯塊的過程。Java 提供StreamTokenizer 類, 像下面這樣操作:

　　import java.io.*;

　　public class token1 {

　　public static void main(String args[]) {

　　if (args.length != 1) {

　　System.err.println("missing filename");

　　System.exit(1);

　　}

　　try {

　　FileReader fr = new FileReader(args[0]);

　　BufferedReader br = new BufferedReader(fr);

　　StreamTokenizer st = new StreamTokenizer(br);

　　st.resetSyntax();

　　st.wordChars('a', 'z');

　　int tok;

　　while ((tok = st.nextToken()) != StreamTokenizer.TT_EOF) {

　　if (tok == StreamTokenizer.TT_WORD)

　　;// st.sval has token

　　}

　　br.close();

　　} catch (IOException e) {

　　System.err.println(e);

　　}

　　}

　　}

　　這個例子分解小寫單詞 (字母a-z)。如果你自己實現(xiàn)同等地功能，它可能像這樣：

　　import java.io.*;

　　public class token2 {

　　public static void main(String args[]) {

　　if (args.length != 1) {

　　System.err.println("missing filename");

　　System.exit(1);

　　}

　　try {

　　FileReader fr = new FileReader(args[0]);

　　BufferedReader br = new BufferedReader(fr);

　　int maxlen = 256;

　　int currlen = 0;

　　char wordbuf[] = new char[maxlen];

　　int c;

　　do {

　　c = br.read();

　　if (c >= 'a' && c <= 'z') {

　　if (currlen == maxlen) {

　　maxlen *= 1.5;

　　char xbuf[] = new char[maxlen];

　　System.arraycopy(wordbuf, 0, xbuf, 0, currlen);

　　wordbuf = xbuf;

　　}

　　wordbuf[currlen++] = (char) c;

　　} else if (currlen > 0) {

　　String s = new String(wordbuf, 0, currlen); // do something

　　// with s

　　currlen = 0;

　　}

　　} while (c != -1);

　　br.close();

　　} catch (IOException e) {

　　System.err.println(e);

　　}

　　}

　　}

　　第二個程序比前一個運行快大約 20%，代價是寫一些微妙的底層代碼。

　　StreamTokenizer 是一種混合類，它從字符流(例如 BufferedReader)讀取, 但是同時以字節(jié)的形式操作，將所有的字符當作雙字節(jié)(大于 0xff) ，即使它們是字母字符。

　　　　　　　2010年9月計算機等級考試成績查詢時間匯總