merge from 1.8 branch
[bpt/guile.git] / libguile / read.c
index ed32c4c..9d90135 100644 (file)
@@ -1,4 +1,5 @@
-/* Copyright (C) 1995,1996,1997,1999,2000,2001 Free Software Foundation, Inc.
+/* Copyright (C) 1995,1996,1997,1999,2000,2001,2003, 2004, 2006, 2007 Free Software
+ * Foundation, Inc.
  * 
  * This library is free software; you can redistribute it and/or
  * modify it under the terms of the GNU Lesser General Public
@@ -12,7 +13,7 @@
  *
  * You should have received a copy of the GNU Lesser General Public
  * License along with this library; if not, write to the Free Software
- * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  */
 
 
 #include "libguile/strports.h"
 #include "libguile/vectors.h"
 #include "libguile/validate.h"
+#include "libguile/srfi-4.h"
 
 #include "libguile/read.h"
+#include "libguile/private-options.h"
+
 
 \f
 
@@ -50,7 +54,14 @@ scm_t_option scm_read_opts[] = {
   { SCM_OPTION_BOOLEAN, "case-insensitive", 0,
     "Convert symbols to lower case."},
   { SCM_OPTION_SCM, "keywords", SCM_UNPACK (SCM_BOOL_F),
-    "Style of keyword recognition: #f or 'prefix."}
+    "Style of keyword recognition: #f or 'prefix."},
+#if SCM_ENABLE_ELISP
+  { SCM_OPTION_BOOLEAN, "elisp-vectors", 0,
+    "Support Elisp vector syntax, namely `[...]'."},
+  { SCM_OPTION_BOOLEAN, "elisp-strings", 0,
+    "Support `\\(' and `\\)' in strings."},
+#endif
+  { 0, },
 };
 
 /*
@@ -67,30 +78,29 @@ scm_t_option scm_read_opts[] = {
  */
 
 
-static void
-scm_input_error(char const * function,
-               SCM port, const char * message, SCM arg)
+void
+scm_i_input_error (char const *function,
+                  SCM port, const char *message, SCM arg)
 {
-  char *fn = SCM_STRINGP (SCM_FILENAME(port))
-    ? SCM_STRING_CHARS(SCM_FILENAME(port))
-    : "#<unknown port>";
+  SCM fn = (scm_is_string (SCM_FILENAME(port))
+           ? SCM_FILENAME(port)
+           : scm_from_locale_string ("#<unknown port>"));
 
-  SCM string_port =  scm_open_output_string ();
+  SCM string_port = scm_open_output_string ();
   SCM string = SCM_EOL;
   scm_simple_format (string_port,
-                    scm_makfrom0str ("~A:~S:~S: ~A"),
-                    scm_list_4 (scm_makfrom0str (fn),
-                                scm_int2num (SCM_LINUM (port) + 1),
-                                scm_int2num (SCM_COL (port) + 1),
-                                scm_makfrom0str (message)));
-
+                    scm_from_locale_string ("~A:~S:~S: ~A"),
+                    scm_list_4 (fn,
+                                scm_from_long (SCM_LINUM (port) + 1),
+                                scm_from_int (SCM_COL (port) + 1),
+                                scm_from_locale_string (message)));
     
   string = scm_get_output_string (string_port);
   scm_close_output_port (string_port);
-  scm_error_scm (scm_str2symbol ("read-error"),
-                scm_makfrom0str (function),
+  scm_error_scm (scm_from_locale_symbol ("read-error"),
+                function? scm_from_locale_string (function) : SCM_BOOL_F,
                 string,
-                SCM_EOL,
+                arg,
                 SCM_BOOL_F);
 }
 
@@ -104,7 +114,6 @@ SCM_DEFINE (scm_read_options, "read-options-interface", 0, 1, 0,
 {
   SCM ans = scm_options (setting,
                         scm_read_opts,
-                        SCM_N_READ_OPTIONS,
                         FUNC_NAME);
   if (SCM_COPY_SOURCE_P)
     SCM_RECORD_POSITIONS_P = 1;
@@ -126,7 +135,7 @@ SCM_DEFINE (scm_read, "read", 0, 1, 0,
   SCM tok_buf, copy;
 
   if (SCM_UNBNDP (port))
-    port = scm_cur_inp;
+    port = scm_current_input_port ();
   SCM_VALIDATE_OPINPORT (1, port);
 
   c = scm_flush_ws (port, (char *) NULL);
@@ -134,7 +143,7 @@ SCM_DEFINE (scm_read, "read", 0, 1, 0,
     return SCM_EOF_VAL;
   scm_ungetc (c, port);
 
-  tok_buf = scm_allocate_string (30);
+  tok_buf = scm_c_make_string (30, SCM_UNDEFINED);
   return scm_lreadr (&tok_buf, port, &copy);
 }
 #undef FUNC_NAME
@@ -144,18 +153,45 @@ SCM_DEFINE (scm_read, "read", 0, 1, 0,
 char *
 scm_grow_tok_buf (SCM *tok_buf)
 {
-  size_t oldlen = SCM_STRING_LENGTH (*tok_buf);
-  SCM newstr = scm_allocate_string (2 * oldlen);
+  size_t oldlen = scm_i_string_length (*tok_buf);
+  const char *olddata = scm_i_string_chars (*tok_buf);
+  char *newdata;
+  SCM newstr = scm_i_make_string (2 * oldlen, &newdata);
   size_t i;
 
   for (i = 0; i != oldlen; ++i)
-    SCM_STRING_CHARS (newstr) [i] = SCM_STRING_CHARS (*tok_buf) [i];
+    newdata[i] = olddata[i];
 
   *tok_buf = newstr;
-  return SCM_STRING_CHARS (newstr);
+  return newdata;
 }
 
+/* Consume an SCSH-style block comment.  Assume that we've already
+   read the initial `#!', and eat characters until we get a
+   exclamation-point/sharp-sign sequence. 
+*/
+
+static void
+skip_scsh_block_comment (SCM port)
+{
+  int bang_seen = 0;
+
+  for (;;)
+    {
+      int c = scm_getc (port);
+      
+      if (c == EOF)
+       scm_i_input_error ("skip_block_comment", port, 
+                          "unterminated `#! ... !#' comment", SCM_EOL);
 
+      if (c == '!')
+       bang_seen = 1;
+      else if (c == '#' && bang_seen)
+       return;
+      else
+       bang_seen = 0;
+    }
+}
 
 int 
 scm_flush_ws (SCM port, const char *eoferr)
@@ -168,10 +204,10 @@ scm_flush_ws (SCM port, const char *eoferr)
       goteof:
        if (eoferr)
          {
-           scm_input_error (eoferr,
-                            port,
-                            "end of file",
-                            SCM_EOL);
+           scm_i_input_error (eoferr,
+                              port,
+                              "end of file",
+                              SCM_EOL);
          }
        return c;
       case ';':
@@ -186,6 +222,20 @@ scm_flush_ws (SCM port, const char *eoferr)
            break;
          }
        break;
+      case '#':
+       switch (c = scm_getc (port))
+         {
+         case EOF:
+           eoferr = "read_sharp";
+           goto goteof;
+         case '!':
+           skip_scsh_block_comment (port);
+           break;
+         default:
+           scm_ungetc (c, port);
+           return '#';
+         }
+       break;
       case SCM_LINE_INCREMENTORS:
       case SCM_SINGLE_SPACES:
       case '\t':
@@ -201,7 +251,7 @@ int
 scm_casei_streq (char *s1, char *s2)
 {
   while (*s1 && *s2)
-    if (scm_downcase((int)*s1) != scm_downcase((int)*s2))
+    if (scm_c_downcase((int)*s1) != scm_c_downcase((int)*s2))
       return 0;
     else
       {
@@ -211,6 +261,20 @@ scm_casei_streq (char *s1, char *s2)
   return !(*s1 || *s2);
 }
 
+static int
+scm_i_casei_streq (const char *s1, const char *s2, size_t len2)
+{
+  while (*s1 && len2 > 0)
+    if (scm_c_downcase((int)*s1) != scm_c_downcase((int)*s2))
+      return 0;
+    else
+      {
+       ++s1;
+       ++s2;
+       --len2;
+      }
+  return !(*s1 || len2 > 0);
+}
 
 /* recsexpr is used when recording expressions
  * constructed by read:sharp.
@@ -218,20 +282,20 @@ scm_casei_streq (char *s1, char *s2)
 static SCM
 recsexpr (SCM obj, long line, int column, SCM filename)
 {
-  if (!SCM_CONSP(obj)) {
+  if (!scm_is_pair(obj)) {
     return obj;
   } else {
     SCM tmp = obj, copy;
     /* If this sexpr is visible in the read:sharp source, we want to
        keep that information, so only record non-constant cons cells
        which haven't previously been read by the reader. */
-    if (SCM_FALSEP (scm_whash_lookup (scm_source_whash, obj)))
+    if (scm_is_false (scm_whash_lookup (scm_source_whash, obj)))
       {
        if (SCM_COPY_SOURCE_P)
          {
            copy = scm_cons (recsexpr (SCM_CAR (obj), line, column, filename),
                             SCM_UNDEFINED);
-           while ((tmp = SCM_CDR (tmp)) && SCM_CONSP (tmp))
+           while ((tmp = SCM_CDR (tmp)) && scm_is_pair (tmp))
              {
                SCM_SETCDR (copy, scm_cons (recsexpr (SCM_CAR (tmp),
                                                      line,
@@ -245,7 +309,7 @@ recsexpr (SCM obj, long line, int column, SCM filename)
        else
          {
            recsexpr (SCM_CAR (obj), line, column, filename);
-           while ((tmp = SCM_CDR (tmp)) && SCM_CONSP (tmp))
+           while ((tmp = SCM_CDR (tmp)) && scm_is_pair (tmp))
              recsexpr (SCM_CAR (tmp), line, column, filename);
            copy = SCM_UNDEFINED;
          }
@@ -261,37 +325,14 @@ recsexpr (SCM obj, long line, int column, SCM filename)
   }
 }
 
-/* Consume an SCSH-style block comment.  Assume that we've already
-   read the initial `#!', and eat characters until we get a
-   newline/exclamation-point/sharp-sign/newline sequence.  */
-
-static void
-skip_scsh_block_comment (SCM port)
-#define FUNC_NAME "skip_scsh_block_comment"
-{
-  /* Is this portable?  Dear God, spare me from the non-eight-bit
-     characters.  But is it tasteful?  */
-  long history = 0;
-
-  for (;;)
-    {
-      int c = scm_getc (port);
-
-      if (c == EOF)
-       SCM_MISC_ERROR ("unterminated `#! ... !#' comment", SCM_EOL);
-      history = ((history << 8) | (c & 0xff)) & 0xffffffff;
-
-      /* Were the last four characters read "\n!#\n"?  */
-      if (history == (('\n' << 24) | ('!' << 16) | ('#' << 8) | '\n'))
-       return;
-    }
-}
-#undef FUNC_NAME
-
 
 static SCM scm_get_hash_procedure(int c);
+static SCM scm_i_lreadparen (SCM *, SCM, char *, SCM *, char);
 
 static char s_list[]="list";
+#if SCM_ENABLE_ELISP
+static char s_vector[]="vector";
+#endif
 
 SCM 
 scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
@@ -303,7 +344,6 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
                                  
  tryagain:
   c = scm_flush_ws (port, s_scm_read);
- tryagain_no_flush_ws:
   switch (c)
     {
     case EOF:
@@ -312,15 +352,19 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
     case '(':
       return SCM_RECORD_POSITIONS_P
        ? scm_lreadrecparen (tok_buf, port, s_list, copy)
-       : scm_lreadparen (tok_buf, port, s_list, copy SCM_ELISP_CLOSE);
+       : scm_i_lreadparen (tok_buf, port, s_list, copy, ')');
     case ')':
-      scm_input_error (FUNC_NAME, port,"unexpected \")\"", SCM_EOL);
+      scm_i_input_error (FUNC_NAME, port,"unexpected \")\"", SCM_EOL);
       goto tryagain;
     
-#ifdef SCM_ELISP_READ_EXTENSIONS
+#if SCM_ENABLE_ELISP
     case '[':
-      p = scm_lreadparen (tok_buf, port, "vector", copy, ']');
-      return SCM_NULLP (p) ? scm_nullvect : scm_vector (p);
+      if (SCM_ELISP_VECTORS_P)
+       {
+         p = scm_i_lreadparen (tok_buf, port, s_vector, copy, ']');
+         return scm_is_null (p) ? scm_nullvect : scm_vector (p);
+       }
+      goto read_token;
 #endif
     case '\'':
       p = scm_sym_quote;
@@ -361,14 +405,14 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
        /* Check for user-defined hash procedure first, to allow
           overriding of builtin hash read syntaxes.  */
        SCM sharp = scm_get_hash_procedure (c);
-       if (!SCM_FALSEP (sharp))
+       if (scm_is_true (sharp))
          {
-           int line = SCM_LINUM (port);
+           long line = SCM_LINUM (port);
            int column = SCM_COL (port) - 2;
            SCM got;
 
            got = scm_call_2 (sharp, SCM_MAKE_CHAR (c), port);
-           if (SCM_EQ_P (got, SCM_UNSPECIFIED))
+           if (scm_is_eq (got, SCM_UNSPECIFIED))
              goto handle_sharp;
            if (SCM_RECORD_POSITIONS_P)
              return *copy = recsexpr (got, line, column,
@@ -380,17 +424,48 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
     handle_sharp:
       switch (c)
        {
+         /* Vector, arrays, both uniform and not are handled by this
+            one function.  It also disambiguates between '#f' and
+            '#f32' and '#f64'.
+         */
+       case '0': case '1': case '2': case '3': case '4':
+       case '5': case '6': case '7': case '8': case '9':
+       case 'u': case 's': case 'f':
+       case '@':
        case '(':
-         p = scm_lreadparen (tok_buf, port, "vector", copy SCM_ELISP_CLOSE);
-         return SCM_NULLP (p) ? scm_nullvect : scm_vector (p);
+#if SCM_ENABLE_DEPRECATED
+         /* See below for 'i' and 'e'. */
+       case 'a':
+       case 'c':
+       case 'y':
+       case 'h':
+       case 'l':
+#endif
+         return scm_i_read_array (port, c);
 
        case 't':
        case 'T':
          return SCM_BOOL_T;
-       case 'f':
+
        case 'F':
+         /* See above for lower case 'f'. */
          return SCM_BOOL_F;
 
+
+       case 'i':
+       case 'e':
+#if SCM_ENABLE_DEPRECATED
+         {
+           /* When next char is '(', it really is an old-style
+              uniform array. */
+           int next_c = scm_getc (port);
+           if (next_c != EOF)
+             scm_ungetc (next_c, port);
+           if (next_c == '(')
+             return scm_i_read_array (port, c);
+           /* Fall through. */
+         }
+#endif  
        case 'b':
        case 'B':
        case 'o':
@@ -399,35 +474,28 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
        case 'D':
        case 'x':
        case 'X':
-       case 'i':
        case 'I':
-       case 'e':
        case 'E':
          scm_ungetc (c, port);
          c = '#';
          goto num;
 
        case '!':
-         /* start of a shell script.  Parse as a block comment,
-            terminated by !#, just like SCSH.  */
-         skip_scsh_block_comment (port);
-         /* EOF is not an error here */
-         c = scm_flush_ws (port, (char *)NULL);
-         goto tryagain_no_flush_ws;
-
-#if SCM_HAVE_ARRAYS
+         /* should never happen, #!...!# block comments are skipped
+            over in scm_flush_ws. */
+         abort ();
+
        case '*':
          j = scm_read_token (c, tok_buf, port, 0);
-         p = scm_istr2bve (SCM_STRING_CHARS (*tok_buf) + 1, (long) (j - 1));
-         if (!SCM_FALSEP (p))
+         p = scm_istr2bve (scm_c_substring_shared (*tok_buf, 1, j));
+         if (scm_is_true (p))
            return p;
          else
            goto unkshrp;
-#endif
 
        case '{':
          j = scm_read_token (c, tok_buf, port, 1);
-         return scm_mem2symbol (SCM_STRING_CHARS (*tok_buf), j);
+         return scm_string_to_symbol (scm_c_substring_copy (*tok_buf, 0, j));
 
        case '\\':
          c = scm_getc (port);
@@ -441,35 +509,36 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
               * does only consist of octal digits.  Finally, it should be
               * checked whether the resulting fixnum is in the range of
               * characters.  */
-             p = scm_i_mem2number (SCM_STRING_CHARS (*tok_buf), j, 8);
-             if (SCM_INUMP (p))
-               return SCM_MAKE_CHAR (SCM_INUM (p));
+             p = scm_c_locale_stringn_to_number (scm_i_string_chars (*tok_buf),
+                                                 j, 8);
+             if (SCM_I_INUMP (p))
+               return SCM_MAKE_CHAR (SCM_I_INUM (p));
            }
          for (c = 0; c < scm_n_charnames; c++)
            if (scm_charnames[c]
-               && (scm_casei_streq (scm_charnames[c], SCM_STRING_CHARS (*tok_buf))))
+               && (scm_i_casei_streq (scm_charnames[c],
+                                      scm_i_string_chars (*tok_buf), j)))
              return SCM_MAKE_CHAR (scm_charnums[c]);
-         scm_input_error (FUNC_NAME, port, "unknown # object", SCM_EOL);
+         scm_i_input_error (FUNC_NAME, port, "unknown character name ~a",
+                            scm_list_1 (scm_c_substring (*tok_buf, 0, j)));
 
          /* #:SYMBOL is a syntax for keywords supported in all contexts.  */
        case ':':
-         j = scm_read_token ('-', tok_buf, port, 0);
-         p = scm_mem2symbol (SCM_STRING_CHARS (*tok_buf), j);
-         return scm_make_keyword_from_dash_symbol (p);
+         return scm_symbol_to_keyword (scm_read (port));
 
        default:
        callshrp:
          {
            SCM sharp = scm_get_hash_procedure (c);
 
-           if (!SCM_FALSEP (sharp))
+           if (scm_is_true (sharp))
              {
-               int line = SCM_LINUM (port);
+               long line = SCM_LINUM (port);
                int column = SCM_COL (port) - 2;
                SCM got;
 
                got = scm_call_2 (sharp, SCM_MAKE_CHAR (c), port);
-               if (SCM_EQ_P (got, SCM_UNSPECIFIED))
+               if (scm_is_eq (got, SCM_UNSPECIFIED))
                  goto unkshrp;
                if (SCM_RECORD_POSITIONS_P)
                  return *copy = recsexpr (got, line, column,
@@ -479,8 +548,8 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
              }
          }
        unkshrp:
-       scm_input_error (FUNC_NAME, port, "Unknown # object: ~S",
-                    scm_list_1 (SCM_MAKE_CHAR (c)));
+       scm_i_input_error (FUNC_NAME, port, "Unknown # object: ~S",
+                          scm_list_1 (SCM_MAKE_CHAR (c)));
        }
 
     case '"':
@@ -488,14 +557,28 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
       while ('"' != (c = scm_getc (port)))
        {
          if (c == EOF)
-           scm_input_error (FUNC_NAME, port, "end of file in string constant", SCM_EOL);
+           str_eof: scm_i_input_error (FUNC_NAME, port,
+                                       "end of file in string constant", 
+                                       SCM_EOL);
 
-         while (j + 2 >= SCM_STRING_LENGTH (*tok_buf))
+         while (j + 2 >= scm_i_string_length (*tok_buf))
            scm_grow_tok_buf (tok_buf);
 
          if (c == '\\')
            switch (c = scm_getc (port))
              {
+             case EOF:
+               goto str_eof;
+             case '"':
+             case '\\':
+               break;
+#if SCM_ENABLE_ELISP
+             case '(':
+             case ')':
+               if (SCM_ESCAPED_PARENS_P)
+                 break;
+               goto bad_escaped;
+#endif
              case '\n':
                continue;
              case '0':
@@ -519,14 +602,40 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
              case 'v':
                c = '\v';
                break;
+             case 'x':
+               {
+                 int a, b;
+                 a = scm_getc (port);
+                 if (a == EOF) goto str_eof;
+                 b = scm_getc (port);
+                 if (b == EOF) goto str_eof;
+                 if      ('0' <= a && a <= '9') a -= '0';
+                 else if ('A' <= a && a <= 'F') a = a - 'A' + 10;
+                 else if ('a' <= a && a <= 'f') a = a - 'a' + 10;
+                 else goto bad_escaped;
+                 if      ('0' <= b && b <= '9') b -= '0';
+                 else if ('A' <= b && b <= 'F') b = b - 'A' + 10;
+                 else if ('a' <= b && b <= 'f') b = b - 'a' + 10;
+                 else goto bad_escaped;
+                 c = a * 16 + b;
+                 break;
+               }
+             default:
+             bad_escaped:
+               scm_i_input_error(FUNC_NAME, port,
+                                 "illegal character in escape sequence: ~S",
+                                 scm_list_1 (SCM_MAKE_CHAR (c)));
              }
-         SCM_STRING_CHARS (*tok_buf)[j] = c;
+         scm_c_string_set_x (*tok_buf, j, SCM_MAKE_CHAR (c));
          ++j;
        }
       if (j == 0)
        return scm_nullstr;
-      SCM_STRING_CHARS (*tok_buf)[j] = 0;
-      return scm_mem2string (SCM_STRING_CHARS (*tok_buf), j);
+
+      /* Change this to scm_c_substring_read_only when
+        SCM_STRING_CHARS has been removed.
+      */
+      return scm_c_substring_copy (*tok_buf, 0, j);
 
     case '0': case '1': case '2': case '3': case '4':
     case '5': case '6': case '7': case '8': case '9':
@@ -539,35 +648,35 @@ scm_lreadr (SCM *tok_buf, SCM port, SCM *copy)
        /* Shortcut:  Detected symbol '+ or '- */
        goto tok;
 
-      p = scm_i_mem2number (SCM_STRING_CHARS (*tok_buf), j, 10);
-      if (!SCM_FALSEP (p))
+      p = scm_c_locale_stringn_to_number (scm_i_string_chars (*tok_buf), j, 10);
+      if (scm_is_true (p))
        return p;
       if (c == '#')
        {
          if ((j == 2) && (scm_getc (port) == '('))
            {
              scm_ungetc ('(', port);
-             c = SCM_STRING_CHARS (*tok_buf)[1];
+             c = scm_i_string_chars (*tok_buf)[1];
              goto callshrp;
            }
-         scm_input_error (FUNC_NAME, port, "unknown # object", SCM_EOL);
+         scm_i_input_error (FUNC_NAME, port, "unknown # object", SCM_EOL);
        }
       goto tok;
 
     case ':':
-      if (SCM_EQ_P (SCM_PACK (SCM_KEYWORD_STYLE), scm_keyword_prefix))
-       {
-         j = scm_read_token ('-', tok_buf, port, 0);
-         p = scm_mem2symbol (SCM_STRING_CHARS (*tok_buf), j);
-         return scm_make_keyword_from_dash_symbol (p);
-       }
+      if (scm_is_eq (SCM_PACK (SCM_KEYWORD_STYLE), scm_keyword_prefix))
+       return scm_symbol_to_keyword (scm_read (port));
+
       /* fallthrough */
     default:
+#if SCM_ENABLE_ELISP
+    read_token:
+#endif
       j = scm_read_token (c, tok_buf, port, 0);
       /* fallthrough */
 
     tok:
-      return scm_mem2symbol (SCM_STRING_CHARS (*tok_buf), j);
+      return scm_string_to_symbol (scm_c_substring (*tok_buf, 0, j));
     }
 }
 #undef FUNC_NAME
@@ -580,34 +689,32 @@ _Pragma ("noopt");                /* # pragma _CRI noopt */
 size_t 
 scm_read_token (int ic, SCM *tok_buf, SCM port, int weird)
 {
-  register size_t j;
-  register int c;
-  register char *p;
-
-  c = (SCM_CASE_INSENSITIVE_P ? scm_downcase(ic) : ic);
-  p = SCM_STRING_CHARS (*tok_buf);
+  size_t j;
+  int c;
 
+  c = (SCM_CASE_INSENSITIVE_P ? scm_c_downcase(ic) : ic);
+                                           
   if (weird)
     j = 0;
   else
     {
       j = 0;
-      while (j + 2 >= SCM_STRING_LENGTH (*tok_buf))
-       p = scm_grow_tok_buf (tok_buf);
-      p[j] = c;
+      while (j + 2 >= scm_i_string_length (*tok_buf))
+       scm_grow_tok_buf (tok_buf);
+      scm_c_string_set_x (*tok_buf, j, SCM_MAKE_CHAR (c));
       ++j;
     }
 
   while (1)
     {
-      while (j + 2 >= SCM_STRING_LENGTH (*tok_buf))
-       p = scm_grow_tok_buf (tok_buf);
+      while (j + 2 >= scm_i_string_length (*tok_buf))
+       scm_grow_tok_buf (tok_buf);
       c = scm_getc (port);
       switch (c)
        {
        case '(':
        case ')':
-#ifdef SCM_ELISP_READ_EXTENSIONS
+#if SCM_ENABLE_ELISP
        case '[':
        case ']':
 #endif
@@ -615,13 +722,16 @@ scm_read_token (int ic, SCM *tok_buf, SCM port, int weird)
        case ';':
        case SCM_WHITE_SPACES:
        case SCM_LINE_INCREMENTORS:
-         if (weird)
+         if (weird
+#if SCM_ENABLE_ELISP
+             || ((!SCM_ELISP_VECTORS_P) && ((c == '[') || (c == ']')))
+#endif
+             )
            goto default_case;
 
          scm_ungetc (c, port);
        case EOF:
        eof_case:
-         p[j] = 0;
          return j;
        case '\\':
          if (!weird)
@@ -641,7 +751,6 @@ scm_read_token (int ic, SCM *tok_buf, SCM port, int weird)
          c = scm_getc (port);
          if (c == '#')
            {
-             p[j] = 0;
              return j;
            }
          else
@@ -654,8 +763,8 @@ scm_read_token (int ic, SCM *tok_buf, SCM port, int weird)
        default:
        default_case:
          {
-           c = (SCM_CASE_INSENSITIVE_P ? scm_downcase(c) : c);
-           p[j] = c;
+           c = (SCM_CASE_INSENSITIVE_P ? scm_c_downcase(c) : c);
+            scm_c_string_set_x (*tok_buf, j, SCM_MAKE_CHAR (c));
            ++j;
          }
 
@@ -667,15 +776,9 @@ scm_read_token (int ic, SCM *tok_buf, SCM port, int weird)
 _Pragma ("opt");               /* # pragma _CRI opt */
 #endif
 
-SCM 
-scm_lreadparen (SCM *tok_buf, SCM port, char *name, SCM *copy
-#ifdef SCM_ELISP_READ_EXTENSIONS
-               , char term_char
-#else
-#define term_char ')'
-#endif
-               )
-#define FUNC_NAME "scm_lreadparen"
+static SCM 
+scm_i_lreadparen (SCM *tok_buf, SCM port, char *name, SCM *copy, char term_char)
+#define FUNC_NAME "scm_i_lreadparen"
 {
   SCM tmp;
   SCM tl;
@@ -686,19 +789,19 @@ scm_lreadparen (SCM *tok_buf, SCM port, char *name, SCM *copy
   if (term_char == c)
     return SCM_EOL;
   scm_ungetc (c, port);
-  if (SCM_EQ_P (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
+  if (scm_is_eq (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
     {
       ans = scm_lreadr (tok_buf, port, copy);
     closeit:
       if (term_char != (c = scm_flush_ws (port, name)))
-       scm_input_error (FUNC_NAME, port, "missing close paren", SCM_EOL);
+       scm_i_input_error (FUNC_NAME, port, "missing close paren", SCM_EOL);
       return ans;
     }
   ans = tl = scm_cons (tmp, SCM_EOL);
   while (term_char != (c = scm_flush_ws (port, name)))
     {
       scm_ungetc (c, port);
-      if (SCM_EQ_P (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
+      if (scm_is_eq (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
        {
          SCM_SETCDR (tl, scm_lreadr (tok_buf, port, copy));
          goto closeit;
@@ -709,9 +812,6 @@ scm_lreadparen (SCM *tok_buf, SCM port, char *name, SCM *copy
   return ans;
 }
 #undef FUNC_NAME
-#ifndef SCM_ELISP_READ_EXTENSIONS
-#undef term_char
-#endif
 
 
 SCM 
@@ -723,24 +823,24 @@ scm_lreadrecparen (SCM *tok_buf, SCM port, char *name, SCM *copy)
   register SCM tl, tl2 = SCM_EOL;
   SCM ans, ans2 = SCM_EOL;
   /* Need to capture line and column numbers here. */
-  int line = SCM_LINUM (port);
+  long line = SCM_LINUM (port);
   int column = SCM_COL (port) - 1;
 
   c = scm_flush_ws (port, name);
   if (')' == c)
     return SCM_EOL;
   scm_ungetc (c, port);
-  if (SCM_EQ_P (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
+  if (scm_is_eq (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
     {
       ans = scm_lreadr (tok_buf, port, copy);
       if (')' != (c = scm_flush_ws (port, name)))
-       scm_input_error (FUNC_NAME, port, "missing close paren", SCM_EOL);
+       scm_i_input_error (FUNC_NAME, port, "missing close paren", SCM_EOL);
       return ans;
     }
   /* Build the head of the list structure. */
   ans = tl = scm_cons (tmp, SCM_EOL);
   if (SCM_COPY_SOURCE_P)
-    ans2 = tl2 = scm_cons (SCM_CONSP (tmp)
+    ans2 = tl2 = scm_cons (scm_is_pair (tmp)
                           ? *copy
                           : tmp,
                           SCM_EOL);
@@ -749,16 +849,17 @@ scm_lreadrecparen (SCM *tok_buf, SCM port, char *name, SCM *copy)
       SCM new_tail;
 
       scm_ungetc (c, port);
-      if (SCM_EQ_P (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
+      if (scm_is_eq (scm_sym_dot, (tmp = scm_lreadr (tok_buf, port, copy))))
        {
          SCM_SETCDR (tl, tmp = scm_lreadr (tok_buf, port, copy));
          if (SCM_COPY_SOURCE_P)
-           SCM_SETCDR (tl2, scm_cons (SCM_CONSP (tmp)
+           SCM_SETCDR (tl2, scm_cons (scm_is_pair (tmp)
                                       ? *copy
                                       : tmp,
                                       SCM_EOL));
          if (')' != (c = scm_flush_ws (port, name)))
-           scm_input_error (FUNC_NAME, port, "missing close paren", SCM_EOL);
+           scm_i_input_error (FUNC_NAME, port,
+                              "missing close paren", SCM_EOL);
          goto exit;
        }
 
@@ -768,7 +869,7 @@ scm_lreadrecparen (SCM *tok_buf, SCM port, char *name, SCM *copy)
 
       if (SCM_COPY_SOURCE_P)
        {
-         SCM new_tail2 = scm_cons (SCM_CONSP (tmp) ? *copy : tmp, SCM_EOL);
+         SCM new_tail2 = scm_cons (scm_is_pair (tmp) ? *copy : tmp, SCM_EOL);
          SCM_SETCDR (tl2, new_tail2);
          tl2 = new_tail2;
        }
@@ -798,15 +899,17 @@ SCM_DEFINE (scm_read_hash_extend, "read-hash-extend", 2, 0, 0,
            "starting with the character sequence @code{#} and @var{chr}.\n"
            "@var{proc} will be called with two arguments:  the character\n"
            "@var{chr} and the port to read further data from. The object\n"
-           "returned will be the return value of @code{read}.")
+           "returned will be the return value of @code{read}. \n"
+           "Passing @code{#f} for @var{proc} will remove a previous setting. \n"
+           )
 #define FUNC_NAME s_scm_read_hash_extend
 {
   SCM this;
   SCM prev;
 
   SCM_VALIDATE_CHAR (1, chr);
-  SCM_ASSERT (SCM_FALSEP (proc)
-             || SCM_EQ_P (scm_procedure_p (proc), SCM_BOOL_T),
+  SCM_ASSERT (scm_is_false (proc)
+             || scm_is_eq (scm_procedure_p (proc), SCM_BOOL_T),
              proc, SCM_ARG2, FUNC_NAME);
 
   /* Check if chr is already in the alist.  */
@@ -814,23 +917,23 @@ SCM_DEFINE (scm_read_hash_extend, "read-hash-extend", 2, 0, 0,
   prev = SCM_BOOL_F;
   while (1)
     {
-      if (SCM_NULLP (this))
+      if (scm_is_null (this))
        {
          /* not found, so add it to the beginning.  */
-         if (!SCM_FALSEP (proc))
+         if (scm_is_true (proc))
            {
              *scm_read_hash_procedures = 
                scm_cons (scm_cons (chr, proc), *scm_read_hash_procedures);
            }
          break;
        }
-      if (SCM_EQ_P (chr, SCM_CAAR (this)))
+      if (scm_is_eq (chr, SCM_CAAR (this)))
        {
          /* already in the alist.  */
-         if (SCM_FALSEP (proc))
+         if (scm_is_false (proc))
            {
              /* remove it.  */
-             if (SCM_FALSEP (prev))
+             if (scm_is_false (prev))
                {
                  *scm_read_hash_procedures =
                    SCM_CDR (*scm_read_hash_procedures);
@@ -861,7 +964,7 @@ scm_get_hash_procedure (int c)
 
   while (1)
     {
-      if (SCM_NULLP (rest))
+      if (scm_is_null (rest))
        return SCM_BOOL_F;
   
       if (SCM_CHAR (SCM_CAAR (rest)) == c)
@@ -877,7 +980,7 @@ scm_init_read ()
   scm_read_hash_procedures =
     SCM_VARIABLE_LOC (scm_c_define ("read-hash-procedures", SCM_EOL));
 
-  scm_init_opts (scm_read_options, scm_read_opts, SCM_N_READ_OPTIONS);
+  scm_init_opts (scm_read_options, scm_read_opts);
 #include "libguile/read.x"
 }