Add support for large files, 64-bit Solaris, system locale codings.
[bpt/emacs.git] / src / lread.c
index 0d04bc0..e08b4dd 100644 (file)
@@ -1,5 +1,5 @@
 /* Lisp parsing and input streams.
-   Copyright (C) 1985, 86, 87, 88, 89, 93, 94, 95, 97, 1998
+   Copyright (C) 1985, 86, 87, 88, 89, 93, 94, 95, 97, 98, 1999
       Free Software Foundation, Inc.
 
 This file is part of GNU Emacs.
@@ -27,11 +27,12 @@ Boston, MA 02111-1307, USA.  */
 #include <sys/file.h>
 #include <errno.h>
 #include "lisp.h"
+#include "intervals.h"
 
 #ifndef standalone
 #include "buffer.h"
 #include "charset.h"
-#include <paths.h>
+#include <epaths.h>
 #include "commands.h"
 #include "keyboard.h"
 #include "termhooks.h"
@@ -48,15 +49,15 @@ Boston, MA 02111-1307, USA.  */
 #include "msdos.h"
 #endif
 
+#ifdef HAVE_UNISTD_H
+#include <unistd.h>
+#endif
+
 #ifndef X_OK
 #define X_OK 01
 #endif
 
 #ifdef LISP_FLOAT_TYPE
-#ifdef STDC_HEADERS
-#include <stdlib.h>
-#endif
-
 #include <math.h>
 #endif /* LISP_FLOAT_TYPE */
 
@@ -68,6 +69,14 @@ Boston, MA 02111-1307, USA.  */
 #define O_RDONLY 0
 #endif
 
+#ifdef HAVE_FTELLO
+#define file_offset off_t
+#define file_tell ftello
+#else
+#define file_offset long
+#define file_tell ftell
+#endif
+
 extern int errno;
 
 Lisp_Object Qread_char, Qget_file_char, Qstandard_input, Qcurrent_load_list;
@@ -88,6 +97,9 @@ Lisp_Object Vsource_directory;
 /* Search path for files to be loaded. */
 Lisp_Object Vload_path;
 
+/* File name of user's init file.  */
+Lisp_Object Vuser_init_file;
+
 /* This is the user-visible association list that maps features to
    lists of defs in their load files. */
 Lisp_Object Vload_history;
@@ -113,10 +125,16 @@ Lisp_Object read_objects;
 /* Nonzero means load should forcibly load all dynamic doc strings.  */
 static int load_force_doc_strings;
 
+/* Nonzero means read should convert strings to unibyte.  */
+static int load_convert_to_unibyte;
+
 /* Function to use for loading an Emacs lisp source file (not
    compiled) instead of readevalloop.  */
 Lisp_Object Vload_source_file_function;
 
+/* List of all DEFVAR_BOOL variables.  Used by the byte optimizer.  */
+Lisp_Object Vbyte_boolean_vars;
+
 /* List of descriptors now open for Fload.  */
 static Lisp_Object load_descriptor_list;
 
@@ -128,21 +146,32 @@ static int read_pure;
 
 /* For use within read-from-string (this reader is non-reentrant!!)  */
 static int read_from_string_index;
+static int read_from_string_index_byte;
 static int read_from_string_limit;
 
 /* Number of bytes left to read in the buffer character
    that `readchar' has already advanced over.  */
 static int readchar_backlog;
 
-/* This contains the last string skipped with #@, but only on some systems.
-     On other systems we can't put the string here.  */
+/* This contains the last string skipped with #@.  */
 static char *saved_doc_string;
 /* Length of buffer allocated in saved_doc_string.  */
 static int saved_doc_string_size;
 /* Length of actual data in saved_doc_string.  */
 static int saved_doc_string_length;
 /* This is the file position that string came from.  */
-static int saved_doc_string_position;
+static file_offset saved_doc_string_position;
+
+/* This contains the previous string skipped with #@.
+   We copy it from saved_doc_string when a new string
+   is put in saved_doc_string.  */
+static char *prev_saved_doc_string;
+/* Length of buffer allocated in prev_saved_doc_string.  */
+static int prev_saved_doc_string_size;
+/* Length of actual data in prev_saved_doc_string.  */
+static int prev_saved_doc_string_length;
+/* This is the file position that string came from.  */
+static file_offset prev_saved_doc_string_position;
 
 /* Nonzero means inside a new-style backquote
    with no surrounding parentheses.
@@ -166,61 +195,128 @@ readchar (readcharfun)
      Lisp_Object readcharfun;
 {
   Lisp_Object tem;
-  register struct buffer *inbuffer;
-  register int c, mpos;
+  register int c;
 
   if (BUFFERP (readcharfun))
     {
-      inbuffer = XBUFFER (readcharfun);
+      register struct buffer *inbuffer = XBUFFER (readcharfun);
 
-      if (readchar_backlog == 0)
-       {
-         int pt_byte = BUF_PT_BYTE (inbuffer);
-         int orig_pt_byte = pt_byte;
+      int pt_byte = BUF_PT_BYTE (inbuffer);
+      int orig_pt_byte = pt_byte;
 
-         if (pt_byte >= BUF_ZV_BYTE (inbuffer))
-           return -1;
+      if (readchar_backlog > 0)
+       /* We get the address of the byte just passed,
+          which is the last byte of the character.
+          The other bytes in this character are consecutive with it,
+          because the gap can't be in the middle of a character.  */
+       return *(BUF_BYTE_ADDRESS (inbuffer, BUF_PT_BYTE (inbuffer) - 1)
+                - --readchar_backlog);
 
-         if (! NILP (inbuffer->enable_multibyte_characters))
-           BUF_INC_POS (inbuffer, pt_byte);
+      if (pt_byte >= BUF_ZV_BYTE (inbuffer))
+       return -1;
+
+      readchar_backlog = -1;
+
+      if (! NILP (inbuffer->enable_multibyte_characters))
+       {
+         unsigned char workbuf[4];
+         unsigned char *str = workbuf;
+         int length;
+
+         /* Fetch the character code from the buffer.  */
+         unsigned char *p = BUF_BYTE_ADDRESS (inbuffer, pt_byte);
+         BUF_INC_POS (inbuffer, pt_byte);
+         c = STRING_CHAR (p, pt_byte - orig_pt_byte);
+
+         /* Find the byte-sequence representation of that character.  */
+         if (SINGLE_BYTE_CHAR_P (c))
+           length = 1, workbuf[0] = c;
          else
-           pt_byte++;
-         SET_BUF_PT_BOTH (inbuffer, BUF_PT (inbuffer) + 1, pt_byte);
-         readchar_backlog = pt_byte - orig_pt_byte;
+           length = non_ascii_char_to_string (c, workbuf, &str);
+
+         /* If the bytes for this character in the buffer
+            are not identical with what the character code implies,
+            read the bytes one by one from the buffer.  */
+         if (length != pt_byte - orig_pt_byte
+             || (length == 1 ? *str != *p : bcmp (str, p, length)))
+           {
+             readchar_backlog = pt_byte - orig_pt_byte;
+             c = BUF_FETCH_BYTE (inbuffer, orig_pt_byte);
+             readchar_backlog--;
+           }
+       }
+      else
+       {
+         c = BUF_FETCH_BYTE (inbuffer, pt_byte);
+         pt_byte++;
        }
+      SET_BUF_PT_BOTH (inbuffer, BUF_PT (inbuffer) + 1, pt_byte);
 
-      /* We get the address of the byte just passed,
-        which is the last byte of the character.
-        The other bytes in this character are consecutive with it,
-        because the gap can't be in the middle of a character.  */
-      return *(BUF_BYTE_ADDRESS (inbuffer, BUF_PT_BYTE (inbuffer) - 1)
-              - --readchar_backlog);
+      return c;
     }
   if (MARKERP (readcharfun))
     {
-      inbuffer = XMARKER (readcharfun)->buffer;
+      register struct buffer *inbuffer = XMARKER (readcharfun)->buffer;
 
-      if (readchar_backlog == 0)
-       {
-         int bytepos = marker_byte_position (readcharfun);
-         int orig_bytepos = bytepos;
+      int bytepos = marker_byte_position (readcharfun);
+      int orig_bytepos = bytepos;
 
-         if (bytepos >= BUF_ZV_BYTE (inbuffer))
-           return -1;
+      if (readchar_backlog > 0)
+       /* We get the address of the byte just passed,
+          which is the last byte of the character.
+          The other bytes in this character are consecutive with it,
+          because the gap can't be in the middle of a character.  */
+       return *(BUF_BYTE_ADDRESS (inbuffer, XMARKER (readcharfun)->bytepos - 1)
+                - --readchar_backlog);
 
-         if (! NILP (inbuffer->enable_multibyte_characters))
-           INC_POS (bytepos);
+      if (bytepos >= BUF_ZV_BYTE (inbuffer))
+       return -1;
+
+      readchar_backlog = -1;
+
+      if (! NILP (inbuffer->enable_multibyte_characters))
+       {
+         unsigned char workbuf[4];
+         unsigned char *str = workbuf;
+         int length;
+
+         /* Fetch the character code from the buffer.  */
+         unsigned char *p = BUF_BYTE_ADDRESS (inbuffer, bytepos);
+         BUF_INC_POS (inbuffer, bytepos);
+         c = STRING_CHAR (p, bytepos - orig_bytepos);
+
+         /* Find the byte-sequence representation of that character.  */
+         if (SINGLE_BYTE_CHAR_P (c))
+           length = 1, workbuf[0] = c;
          else
-           bytepos++;
-         XMARKER (readcharfun)->bytepos = bytepos;
-         XMARKER (readcharfun)->charpos++;
+           length = non_ascii_char_to_string (c, workbuf, &str);
 
-         readchar_backlog = bytepos - orig_bytepos;
+         /* If the bytes for this character in the buffer
+            are not identical with what the character code implies,
+            read the bytes one by one from the buffer.  */
+         if (length != bytepos - orig_bytepos
+             || (length == 1 ? *str != *p : bcmp (str, p, length)))
+           {
+             readchar_backlog = bytepos - orig_bytepos;
+             c = BUF_FETCH_BYTE (inbuffer, orig_bytepos);
+             readchar_backlog--;
+           }
+       }
+      else
+       {
+         c = BUF_FETCH_BYTE (inbuffer, bytepos);
+         bytepos++;
        }
 
-      return *(BUF_BEG_ADDR (inbuffer) + XMARKER (readcharfun)->bytepos
-              - readchar_backlog--);
+      XMARKER (readcharfun)->bytepos = bytepos;
+      XMARKER (readcharfun)->charpos++;
+
+      return c;
     }
+
+  if (EQ (readcharfun, Qlambda))
+    return read_bytecode_char (0);
+
   if (EQ (readcharfun, Qget_file_char))
     {
       c = getc (instream);
@@ -237,13 +333,14 @@ readchar (readcharfun)
 
   if (STRINGP (readcharfun))
     {
-      register int c;
-      /* This used to be return of a conditional expression,
-        but that truncated -1 to a char on VMS.  */
-      if (read_from_string_index < read_from_string_limit)
-       c = XSTRING (readcharfun)->data[read_from_string_index++];
-      else
+      if (read_from_string_index >= read_from_string_limit)
        c = -1;
+      else if (STRING_MULTIBYTE (readcharfun))
+       FETCH_STRING_CHAR_ADVANCE (c, readcharfun,
+                                  read_from_string_index,
+                                  read_from_string_index_byte);
+      else
+       c = XSTRING (readcharfun)->data[read_from_string_index++];
 
       return c;
     }
@@ -269,13 +366,13 @@ unreadchar (readcharfun, c)
     ;
   else if (BUFFERP (readcharfun))
     {
-      if (!SINGLE_BYTE_CHAR_P (c))
+      struct buffer *b = XBUFFER (readcharfun);
+      int bytepos = BUF_PT_BYTE (b);
+
+      if (readchar_backlog >= 0)
        readchar_backlog++;
       else
        {
-         struct buffer *b = XBUFFER (readcharfun);
-         int bytepos = BUF_PT_BYTE (b);
-
          BUF_PT (b)--;
          if (! NILP (b->enable_multibyte_characters))
            BUF_DEC_POS (b, bytepos);
@@ -287,13 +384,13 @@ unreadchar (readcharfun, c)
     }
   else if (MARKERP (readcharfun))
     {
-      if (!SINGLE_BYTE_CHAR_P (c))
+      struct buffer *b = XMARKER (readcharfun)->buffer;
+      int bytepos = XMARKER (readcharfun)->bytepos;
+
+      if (readchar_backlog >= 0)
        readchar_backlog++;
       else
        {
-         struct buffer *b = XMARKER (readcharfun)->buffer;
-         int bytepos = XMARKER (readcharfun)->bytepos;
-
          XMARKER (readcharfun)->charpos--;
          if (! NILP (b->enable_multibyte_characters))
            BUF_DEC_POS (b, bytepos);
@@ -304,7 +401,13 @@ unreadchar (readcharfun, c)
        }
     }
   else if (STRINGP (readcharfun))
-    read_from_string_index--;
+    {
+      read_from_string_index--;
+      read_from_string_index_byte
+       = string_char_to_byte (readcharfun, read_from_string_index);
+    }
+  else if (EQ (readcharfun, Qlambda))
+    read_bytecode_char (1);
   else if (EQ (readcharfun, Qget_file_char))
     ungetc (c, instream);
   else
@@ -313,8 +416,11 @@ unreadchar (readcharfun, c)
 
 static Lisp_Object read0 (), read1 (), read_list (), read_vector ();
 static int read_multibyte ();
+static Lisp_Object substitute_object_recurse ();
+static void        substitute_object_in_subtree (), substitute_in_interval ();
+
 \f
-/* get a character from the tty */
+/* Get a character from the tty.  */
 
 extern Lisp_Object read_char ();
 
@@ -331,11 +437,15 @@ extern Lisp_Object read_char ();
    If ERROR_NONASCII is non-zero, we signal an error if the input we
    get isn't an ASCII character with modifiers.  If it's zero but
    ASCII_REQUIRED is non-zero, we just re-read until we get an ASCII
-   character.  */
+   character.
+
+   If INPUT_METHOD is nonzero, we invoke the current input method
+   if the character warrants that.  */
 
 Lisp_Object
-read_filtered_event (no_switch_frame, ascii_required, error_nonascii)
-     int no_switch_frame, ascii_required, error_nonascii;
+read_filtered_event (no_switch_frame, ascii_required, error_nonascii,
+                    input_method)
+     int no_switch_frame, ascii_required, error_nonascii, input_method;
 {
 #ifdef standalone
   return make_number (getchar ());
@@ -346,7 +456,9 @@ read_filtered_event (no_switch_frame, ascii_required, error_nonascii)
 
   /* Read until we get an acceptable event.  */
  retry:
-  val = read_char (0, 0, 0, Qnil, 0);
+  val = read_char (0, 0, 0,
+                  (input_method ? Qnil : Qt),
+                  0);
 
   if (BUFFERP (val))
     goto retry;
@@ -369,7 +481,7 @@ read_filtered_event (no_switch_frame, ascii_required, error_nonascii)
       /* Convert certain symbols to their ASCII equivalents.  */
       if (SYMBOLP (val))
        {
-         Lisp_Object tem, tem1, tem2;
+         Lisp_Object tem, tem1;
          tem = Fget (val, Qevent_symbol_element_mask);
          if (!NILP (tem))
            {
@@ -401,7 +513,7 @@ read_filtered_event (no_switch_frame, ascii_required, error_nonascii)
 #endif
 }
 
-DEFUN ("read-char", Fread_char, Sread_char, 0, 0, 0,
+DEFUN ("read-char", Fread_char, Sread_char, 0, 2, 0,
   "Read a character from the command input (keyboard or macro).\n\
 It is returned as a number.\n\
 If the user generates an event which is not a character (i.e. a mouse\n\
@@ -409,25 +521,48 @@ click or function key event), `read-char' signals an error.  As an\n\
 exception, switch-frame events are put off until non-ASCII events can\n\
 be read.\n\
 If you want to read non-character events, or ignore them, call\n\
-`read-event' or `read-char-exclusive' instead.")
-  ()
+`read-event' or `read-char-exclusive' instead.\n\
+\n\
+If the optional argument PROMPT is non-nil, display that as a prompt.\n\
+If the optional argument INHERIT-INPUT-METHOD is non-nil and some\n\
+input method is turned on in the current buffer, that input method\n\
+is used for reading a character.")
+  (prompt, inherit_input_method)
+     Lisp_Object prompt, inherit_input_method;
 {
-  return read_filtered_event (1, 1, 1);
+  if (! NILP (prompt))
+    message_with_string ("%s", prompt, 0);
+  return read_filtered_event (1, 1, 1, ! NILP (inherit_input_method));
 }
 
-DEFUN ("read-event", Fread_event, Sread_event, 0, 0, 0,
-  "Read an event object from the input stream.")
-  ()
+DEFUN ("read-event", Fread_event, Sread_event, 0, 2, 0,
+  "Read an event object from the input stream.\n\
+If the optional argument PROMPT is non-nil, display that as a prompt.\n\
+If the optional argument INHERIT-INPUT-METHOD is non-nil and some\n\
+input method is turned on in the current buffer, that input method\n\
+is used for reading a character.")
+  (prompt, inherit_input_method)
+     Lisp_Object prompt, inherit_input_method;
 {
-  return read_filtered_event (0, 0, 0);
+  if (! NILP (prompt))
+    message_with_string ("%s", prompt, 0);
+  return read_filtered_event (0, 0, 0, ! NILP (inherit_input_method));
 }
 
-DEFUN ("read-char-exclusive", Fread_char_exclusive, Sread_char_exclusive, 0, 0, 0,
+DEFUN ("read-char-exclusive", Fread_char_exclusive, Sread_char_exclusive, 0, 2, 0,
   "Read a character from the command input (keyboard or macro).\n\
-It is returned as a number.  Non-character events are ignored.")
-  ()
+It is returned as a number.  Non-character events are ignored.\n\
+\n\
+If the optional argument PROMPT is non-nil, display that as a prompt.\n\
+If the optional argument INHERIT-INPUT-METHOD is non-nil and some\n\
+input method is turned on in the current buffer, that input method\n\
+is used for reading a character.")
+  (prompt, inherit_input_method)
+     Lisp_Object prompt, inherit_input_method;
 {
-  return read_filtered_event (1, 1, 0);
+  if (! NILP (prompt))
+    message_with_string ("%s", prompt, 0);
+  return read_filtered_event (1, 1, 0, ! NILP (inherit_input_method));
 }
 
 DEFUN ("get-file-char", Fget_file_char, Sget_file_char, 0, 0, 0,
@@ -473,8 +608,9 @@ Return t if file exists.")
   /* 1 means we are loading a compiled file.  */
   int compiled = 0;
   Lisp_Object handler;
+  char *fmode = "r";
 #ifdef DOS_NT
-  char *dosmode = "rt";
+  fmode = "rt";
 #endif /* DOS_NT */
 
   CHECK_STRING (file, 0);
@@ -493,7 +629,7 @@ Return t if file exists.")
      since it would try to load a directory as a Lisp file */
   if (XSTRING (file)->size > 0)
     {
-      int size = XSTRING (file)->size;
+      int size = STRING_BYTES (XSTRING (file));
 
       GCPRO1 (file);
 
@@ -530,15 +666,28 @@ Return t if file exists.")
        return Qnil;
     }
 
-  /* If FD is 0, that means openp found a remote file.  */
+  if (EQ (Qt, Vuser_init_file))
+    Vuser_init_file = found;
+
+  /* If FD is 0, that means openp found a magic file.  */
   if (fd == 0)
     {
-      handler = Ffind_file_name_handler (found, Qload);
-      return call5 (handler, Qload, found, noerror, nomessage, Qt);
+      if (NILP (Fequal (found, file)))
+       /* If FOUND is a different file name from FILE,
+          find its handler even if we have already inhibited
+          the `load' operation on FILE.  */
+       handler = Ffind_file_name_handler (found, Qt);
+      else
+       handler = Ffind_file_name_handler (found, Qload);
+      if (! NILP (handler))
+       return call5 (handler, Qload, found, noerror, nomessage, Qt);
     }
 
-  if (!bcmp (&(XSTRING (found)->data[XSTRING (found)->size - 4]),
-            ".elc", 4))
+  /* Load .elc files directly, but not when they are
+     remote and have no handler!  */
+  if (!bcmp (&(XSTRING (found)->data[STRING_BYTES (XSTRING (found)) - 4]),
+            ".elc", 4)
+      && fd != 0)
     {
       struct stat s1, s2;
       int result;
@@ -546,10 +695,10 @@ Return t if file exists.")
       compiled = 1;
 
 #ifdef DOS_NT
-      dosmode = "rb";
+      fmode = "rb";
 #endif /* DOS_NT */
       stat ((char *)XSTRING (found)->data, &s1);
-      XSTRING (found)->data[XSTRING (found)->size - 1] = 0;
+      XSTRING (found)->data[STRING_BYTES (XSTRING (found)) - 1] = 0;
       result = stat ((char *)XSTRING (found)->data, &s2);
       if (result >= 0 && (unsigned) s1.st_mtime < (unsigned) s2.st_mtime)
        {
@@ -561,29 +710,30 @@ Return t if file exists.")
            message_with_string ("Source file `%s' newer than byte-compiled file",
                                 found, 1);
        }
-      XSTRING (found)->data[XSTRING (found)->size - 1] = 'c';
+      XSTRING (found)->data[STRING_BYTES (XSTRING (found)) - 1] = 'c';
     }
   else
     {
       /* We are loading a source file (*.el).  */
       if (!NILP (Vload_source_file_function))
        {
-         close (fd);
+         if (fd != 0)
+           emacs_close (fd);
          return call4 (Vload_source_file_function, found, file,
                        NILP (noerror) ? Qnil : Qt,
                        NILP (nomessage) ? Qnil : Qt);
        }
     }
 
-#ifdef DOS_NT
-  close (fd);
-  stream = fopen ((char *) XSTRING (found)->data, dosmode);
-#else  /* not DOS_NT */
-  stream = fdopen (fd, "r");
-#endif /* not DOS_NT */
+#ifdef WINDOWSNT
+  emacs_close (fd);
+  stream = fopen ((char *) XSTRING (found)->data, fmode);
+#else  /* not WINDOWSNT */
+  stream = fdopen (fd, fmode);
+#endif /* not WINDOWSNT */
   if (stream == 0)
     {
-      close (fd);
+      emacs_close (fd);
       error ("Failure to create stdio stream for %s", XSTRING (file)->data);
     }
 
@@ -603,8 +753,8 @@ Return t if file exists.")
 
   GCPRO1 (file);
   lispstream = Fcons (Qnil, Qnil);
-  XSETFASTINT (XCONS (lispstream)->car, (EMACS_UINT)stream >> 16);
-  XSETFASTINT (XCONS (lispstream)->cdr, (EMACS_UINT)stream & 0xffff);
+  XSETFASTINT (XCAR (lispstream), (EMACS_UINT)stream >> 16);
+  XSETFASTINT (XCDR (lispstream), (EMACS_UINT)stream & 0xffff);
   record_unwind_protect (load_unwind, lispstream);
   record_unwind_protect (load_descriptor_unwind, load_descriptor_list);
   specbind (Qload_file_name, found);
@@ -612,7 +762,7 @@ Return t if file exists.")
   load_descriptor_list
     = Fcons (make_number (fileno (stream)), load_descriptor_list);
   load_in_progress++;
-  readevalloop (Qget_file_char, stream, file, Feval, 0);
+  readevalloop (Qget_file_char, stream, file, Feval, 0, Qnil, Qnil);
   unbind_to (count, Qnil);
 
   /* Run any load-hooks for this file.  */
@@ -626,6 +776,11 @@ Return t if file exists.")
   saved_doc_string = 0;
   saved_doc_string_size = 0;
 
+  if (prev_saved_doc_string)
+    free (prev_saved_doc_string);
+  prev_saved_doc_string = 0;
+  prev_saved_doc_string_size = 0;
+
   if (!noninteractive && NILP (nomessage))
     {
       if (!compiled)
@@ -643,8 +798,8 @@ static Lisp_Object
 load_unwind (stream)  /* used as unwind-protect function in load */
      Lisp_Object stream;
 {
-  fclose ((FILE *) (XFASTINT (XCONS (stream)->car) << 16
-                   | XFASTINT (XCONS (stream)->cdr)));
+  fclose ((FILE *) (XFASTINT (XCAR (stream)) << 16
+                   | XFASTINT (XCDR (stream))));
   if (--load_in_progress < 0) load_in_progress = 0;
   return Qnil;
 }
@@ -665,8 +820,8 @@ close_load_descs ()
 {
 #ifndef WINDOWSNT
   Lisp_Object tail;
-  for (tail = load_descriptor_list; !NILP (tail); tail = XCONS (tail)->cdr)
-    close (XFASTINT (XCONS (tail)->car));
+  for (tail = load_descriptor_list; !NILP (tail); tail = XCDR (tail))
+    emacs_close (XFASTINT (XCAR (tail)));
 #endif
 }
 \f
@@ -746,7 +901,7 @@ openp (path, str, suffix, storeptr, exec_only)
 
       /* Calculate maximum size of any filename made from
         this path element/specified file name and any possible suffix.  */
-      want_size = strlen (suffix) + XSTRING (filename)->size + 1;
+      want_size = strlen (suffix) + STRING_BYTES (XSTRING (filename)) + 1;
       if (fn_size < want_size)
        fn = (char *) alloca (fn_size = 100 + want_size);
 
@@ -766,13 +921,14 @@ openp (path, str, suffix, storeptr, exec_only)
              && XSTRING (filename)->data[1] == ':')
            {
              strncpy (fn, XSTRING (filename)->data + 2,
-                      XSTRING (filename)->size - 2);
-             fn[XSTRING (filename)->size - 2] = 0;
+                      STRING_BYTES (XSTRING (filename)) - 2);
+             fn[STRING_BYTES (XSTRING (filename)) - 2] = 0;
            }
          else
            {
-             strncpy (fn, XSTRING (filename)->data, XSTRING (filename)->size);
-             fn[XSTRING (filename)->size] = 0;
+             strncpy (fn, XSTRING (filename)->data,
+                      STRING_BYTES (XSTRING (filename)));
+             fn[STRING_BYTES (XSTRING (filename))] = 0;
            }
 
          if (lsuffix != 0)  /* Bug happens on CCI if lsuffix is 0.  */
@@ -814,7 +970,7 @@ openp (path, str, suffix, storeptr, exec_only)
                  if (exec_only)
                    fd = (access (fn, X_OK) == 0) ? 1 : -1;
                  else
-                   fd = open (fn, O_RDONLY, 0);
+                   fd = emacs_open (fn, O_RDONLY, 0);
 
                  if (fd >= 0)
                    {
@@ -854,10 +1010,6 @@ build_load_history (stream, source)
   register Lisp_Object tem, tem2;
   register int foundit, loading;
 
-  /* Don't bother recording anything for preloaded files.  */
-  if (!NILP (Vpurify_flag))
-    return;
-
   loading = stream || !NARROWED;
 
   tail = Vload_history;
@@ -920,13 +1072,26 @@ unreadpure ()    /* Used as unwind-protect function in readevalloop */
   return Qnil;
 }
 
+static Lisp_Object
+readevalloop_1 (old)
+     Lisp_Object old;
+{
+  load_convert_to_unibyte = ! NILP (old);
+  return Qnil;
+}
+
+/* UNIBYTE specifies how to set load_convert_to_unibyte
+   for this invocation.
+   READFUN, if non-nil, is used instead of `read'.  */
+
 static void
-readevalloop (readcharfun, stream, sourcename, evalfun, printflag)
+readevalloop (readcharfun, stream, sourcename, evalfun, printflag, unibyte, readfun)
      Lisp_Object readcharfun;
      FILE *stream;
      Lisp_Object sourcename;
      Lisp_Object (*evalfun) ();
      int printflag;
+     Lisp_Object unibyte, readfun;
 {
   register int c;
   register Lisp_Object val;
@@ -941,8 +1106,10 @@ readevalloop (readcharfun, stream, sourcename, evalfun, printflag)
 
   specbind (Qstandard_input, readcharfun);
   specbind (Qcurrent_load_list, Qnil);
+  record_unwind_protect (readevalloop_1, load_convert_to_unibyte ? Qt : Qnil);
+  load_convert_to_unibyte = !NILP (unibyte);
 
-  readchar_backlog = 0;
+  readchar_backlog = -1;
 
   GCPRO1 (sourcename);
 
@@ -977,10 +1144,12 @@ readevalloop (readcharfun, stream, sourcename, evalfun, printflag)
        {
          UNREAD (c);
          read_objects = Qnil;
-         if (NILP (Vload_read_function))
-           val = read0 (readcharfun);
-         else
+         if (! NILP (readfun))
+           val = call1 (readfun, readcharfun);
+         else if (! NILP (Vload_read_function))
            val = call1 (Vload_read_function, readcharfun);
+         else
+           val = read0 (readcharfun);
        }
 
       val = (*evalfun) (val);
@@ -1002,7 +1171,7 @@ readevalloop (readcharfun, stream, sourcename, evalfun, printflag)
 
 #ifndef standalone
 
-DEFUN ("eval-buffer", Feval_buffer, Seval_buffer, 0, 3, "",
+DEFUN ("eval-buffer", Feval_buffer, Seval_buffer, 0, 5, "",
   "Execute the current buffer as Lisp code.\n\
 Programs can pass two arguments, BUFFER and PRINTFLAG.\n\
 BUFFER is the buffer to evaluate (nil means use current buffer).\n\
@@ -1011,10 +1180,15 @@ nil means discard it; anything else is stream for print.\n\
 \n\
 If the optional third argument FILENAME is non-nil,\n\
 it specifies the file name to use for `load-history'.\n\
+The optional fourth argument UNIBYTE specifies `load-convert-to-unibyte'\n\
+for this invocation.\n\
+\n\
+The optional fifth argument DO-ALLOW-PRINT, if not-nil, specifies that\n\
+`print' and related functions should work normally even if PRINTFLAG is nil.\n\
 \n\
 This function preserves the position of point.")
-  (buffer, printflag, filename)
-     Lisp_Object buffer, printflag, filename;
+  (buffer, printflag, filename, unibyte, do_allow_print)
+     Lisp_Object buffer, printflag, filename, unibyte, do_allow_print;
 {
   int count = specpdl_ptr - specpdl;
   Lisp_Object tem, buf;
@@ -1026,7 +1200,7 @@ This function preserves the position of point.")
   if (NILP (buf))
     error ("No such buffer");
 
-  if (NILP (printflag))
+  if (NILP (printflag) && NILP (do_allow_print))
     tem = Qsymbolp;
   else
     tem = printflag;
@@ -1037,7 +1211,7 @@ This function preserves the position of point.")
   specbind (Qstandard_output, tem);
   record_unwind_protect (save_excursion_restore, save_excursion_save ());
   BUF_SET_PT (XBUFFER (buf), BUF_BEGV (XBUFFER (buf)));
-  readevalloop (buf, 0, filename, Feval, !NILP (printflag));
+  readevalloop (buf, 0, filename, Feval, !NILP (printflag), unibyte, Qnil);
   unbind_to (count, Qnil);
 
   return Qnil;
@@ -1066,22 +1240,26 @@ point remains at the end of the last character read from the buffer.")
   specbind (Qstandard_output, tem);
   record_unwind_protect (save_excursion_restore, save_excursion_save ());
   SET_PT (BEGV);
-  readevalloop (cbuf, 0, XBUFFER (cbuf)->filename, Feval, !NILP (printflag));
+  readevalloop (cbuf, 0, XBUFFER (cbuf)->filename, Feval,
+               !NILP (printflag), Qnil, Qnil);
   return unbind_to (count, Qnil);
 }
 #endif
 
-DEFUN ("eval-region", Feval_region, Seval_region, 2, 3, "r",
+DEFUN ("eval-region", Feval_region, Seval_region, 2, 4, "r",
   "Execute the region as Lisp code.\n\
 When called from programs, expects two arguments,\n\
 giving starting and ending indices in the current buffer\n\
 of the text to be executed.\n\
 Programs can pass third argument PRINTFLAG which controls output:\n\
 nil means discard it; anything else is stream for printing it.\n\
+Also the fourth argument READ-FUNCTION, if non-nil, is used\n\
+instead of `read' to read each expression.  It gets one argument\n\
+which is the input stream for reading characters.\n\
 \n\
 This function does not move point.")
-  (start, end, printflag)
-     Lisp_Object start, end, printflag;
+  (start, end, printflag, read_function)
+     Lisp_Object start, end, printflag, read_function;
 {
   int count = specpdl_ptr - specpdl;
   Lisp_Object tem, cbuf;
@@ -1101,7 +1279,8 @@ This function does not move point.")
   /* This both uses start and checks its type.  */
   Fgoto_char (start);
   Fnarrow_to_region (make_number (BEGV), end);
-  readevalloop (cbuf, 0, XBUFFER (cbuf)->filename, Feval, !NILP (printflag));
+  readevalloop (cbuf, 0, XBUFFER (cbuf)->filename, Feval,
+               !NILP (printflag), Qnil, read_function);
 
   return unbind_to (count, Qnil);
 }
@@ -1128,7 +1307,7 @@ STREAM or the value of `standard-input' may be:\n\
   if (EQ (stream, Qt))
     stream = Qread_char;
 
-  readchar_backlog = 0;
+  readchar_backlog = -1;
   new_backquote_flag = 0;
   read_objects = Qnil;
 
@@ -1157,12 +1336,12 @@ START and END optionally delimit a substring of STRING from which to read;\n\
   CHECK_STRING (string,0);
 
   if (NILP (end))
-    endval = XSTRING (string)->size_byte;
+    endval = XSTRING (string)->size;
   else
     {
       CHECK_NUMBER (end, 2);
-      endval = string_char_to_byte (string, XINT (end));
-      if (endval < 0 || endval > XSTRING (string)->size_byte)
+      endval = XINT (end);
+      if (endval < 0 || endval > XSTRING (string)->size)
        args_out_of_range (string, end);
     }
 
@@ -1171,21 +1350,20 @@ START and END optionally delimit a substring of STRING from which to read;\n\
   else
     {
       CHECK_NUMBER (start, 1);
-      startval = string_char_to_byte (string, XINT (start));
+      startval = XINT (start);
       if (startval < 0 || startval > endval)
        args_out_of_range (string, start);
     }
 
   read_from_string_index = startval;
+  read_from_string_index_byte = string_char_to_byte (string, startval);
   read_from_string_limit = endval;
 
   new_backquote_flag = 0;
   read_objects = Qnil;
 
   tem = read0 (string);
-  endval = string_byte_to_char (string,
-                               read_from_string_index);
-  return Fcons (tem, make_number (endval));
+  return Fcons (tem, make_number (read_from_string_index));
 }
 \f
 /* Use this for recursive reads, in contexts where internal tokens
@@ -1323,8 +1501,10 @@ read_escape (readcharfun, stringp)
       c = READCHAR;
       if (c == '\\')
        c = read_escape (readcharfun, 0);
-      if ((c & 0177) == '?')
-       return 0177 | c;
+      if ((c & ~CHAR_MODIFIER_MASK) == '?')
+       return 0177 | (c & CHAR_MODIFIER_MASK);
+      else if (! SINGLE_BYTE_CHAR_P ((c & ~CHAR_MODIFIER_MASK)))
+       return c | ctrl_modifier;
       /* ASCII control chars are made from letters (both cases),
         as well as the non-letters within 0100...0137.  */
       else if ((c & 0137) >= 0101 && (c & 0137) <= 0132)
@@ -1427,7 +1607,7 @@ read1 (readcharfun, pch, first_in_list)
       return read_list (0, readcharfun);
 
     case '[':
-      return read_vector (readcharfun);
+      return read_vector (readcharfun, 0);
 
     case ')':
     case ']':
@@ -1444,7 +1624,7 @@ read1 (readcharfun, pch, first_in_list)
          if (c == '[')
            {
              Lisp_Object tmp;
-             tmp = read_vector (readcharfun);
+             tmp = read_vector (readcharfun, 0);
              if (XVECTOR (tmp)->size < CHAR_TABLE_STANDARD_SLOTS
                  || XVECTOR (tmp)->size > CHAR_TABLE_STANDARD_SLOTS + 10)
                error ("Invalid size char-table");
@@ -1458,7 +1638,7 @@ read1 (readcharfun, pch, first_in_list)
              if (c == '[')
                {
                  Lisp_Object tmp;
-                 tmp = read_vector (readcharfun);
+                 tmp = read_vector (readcharfun, 0);
                  if (XVECTOR (tmp)->size != SUB_CHAR_TABLE_STANDARD_SLOTS)
                    error ("Invalid size char-table");
                  XSETCHAR_TABLE (tmp, XCHAR_TABLE (tmp));
@@ -1495,6 +1675,10 @@ read1 (readcharfun, pch, first_in_list)
              val = Fmake_bool_vector (length, Qnil);
              bcopy (XSTRING (tmp)->data, XBOOL_VECTOR (val)->data,
                     size_in_chars);
+             /* Clear the extraneous bits in the last byte.  */
+             if (XINT (length) != size_in_chars * BITS_PER_CHAR)
+               XBOOL_VECTOR (val)->data[size_in_chars - 1]
+                 &= (1 << (XINT (length) % BITS_PER_CHAR)) - 1;
              return val;
            }
          Fsignal (Qinvalid_read_syntax, Fcons (make_string ("#&...", 5),
@@ -1505,7 +1689,7 @@ read1 (readcharfun, pch, first_in_list)
          /* Accept compiled functions at read-time so that we don't have to
             build them using function calls.  */
          Lisp_Object tmp;
-         tmp = read_vector (readcharfun);
+         tmp = read_vector (readcharfun, 1);
          return Fmake_byte_code (XVECTOR (tmp)->size,
                                  XVECTOR (tmp)->contents);
        }
@@ -1560,12 +1744,31 @@ read1 (readcharfun, pch, first_in_list)
          if (c >= 0)
            UNREAD (c);
          
-#ifndef DOS_NT /* I don't know if filepos works right on MSDOS and Windoze.  */
          if (load_force_doc_strings && EQ (readcharfun, Qget_file_char))
            {
              /* If we are supposed to force doc strings into core right now,
                 record the last string that we skipped,
                 and record where in the file it comes from.  */
+
+             /* But first exchange saved_doc_string
+                with prev_saved_doc_string, so we save two strings.  */
+             {
+               char *temp = saved_doc_string;
+               int temp_size = saved_doc_string_size;
+               file_offset temp_pos = saved_doc_string_position;
+               int temp_len = saved_doc_string_length;
+
+               saved_doc_string = prev_saved_doc_string;
+               saved_doc_string_size = prev_saved_doc_string_size;
+               saved_doc_string_position = prev_saved_doc_string_position;
+               saved_doc_string_length = prev_saved_doc_string_length;
+
+               prev_saved_doc_string = temp;
+               prev_saved_doc_string_size = temp_size;
+               prev_saved_doc_string_position = temp_pos;
+               prev_saved_doc_string_length = temp_len;
+             }
+
              if (saved_doc_string_size == 0)
                {
                  saved_doc_string_size = nskip + 100;
@@ -1578,7 +1781,7 @@ read1 (readcharfun, pch, first_in_list)
                                                        saved_doc_string_size);
                }
 
-             saved_doc_string_position = ftell (instream);
+             saved_doc_string_position = file_tell (instream);
 
              /* Copy that many characters into saved_doc_string.  */
              for (i = 0; i < nskip && c >= 0; i++)
@@ -1587,7 +1790,6 @@ read1 (readcharfun, pch, first_in_list)
              saved_doc_string_length = i;
            }
          else
-#endif /* not DOS_NT */
            {
              /* Skip that many characters.  */
              for (i = 0; i < nskip && c >= 0; i++)
@@ -1623,8 +1825,23 @@ read1 (readcharfun, pch, first_in_list)
          /* #n=object returns object, but associates it with n for #n#.  */
          if (c == '=')
            {
+             /* Make a placeholder for #n# to use temporarily */
+             Lisp_Object placeholder;
+             Lisp_Object cell;
+
+             placeholder = Fcons(Qnil, Qnil);
+             cell = Fcons (make_number (n), placeholder);
+             read_objects = Fcons (cell, read_objects);
+
+             /* Read the object itself. */
              tem = read0 (readcharfun);
-             read_objects = Fcons (Fcons (make_number (n), tem), read_objects);
+
+             /* Now put it everywhere the placeholder was... */
+             substitute_object_in_subtree (tem, placeholder);
+
+             /* ...and #n# will use the real value from now on.  */
+             Fsetcdr (cell, tem);
+             
              return tem;
            }
          /* #n# returns a previously read object.  */
@@ -1691,8 +1908,6 @@ read1 (readcharfun, pch, first_in_list)
 
     case '?':
       {
-       register Lisp_Object val;
-
        c = READCHAR;
        if (c < 0) return Fsignal (Qend_of_file, Qnil);
 
@@ -1704,7 +1919,7 @@ read1 (readcharfun, pch, first_in_list)
        return make_number (c);
       }
 
-    case '\"':
+    case '"':
       {
        register char *p = read_buffer;
        register char *end = read_buffer + read_buffer_size;
@@ -1721,47 +1936,48 @@ read1 (readcharfun, pch, first_in_list)
        while ((c = READCHAR) >= 0
               && c != '\"')
          {
-           if (p == end)
+           if (end - p < MAX_LENGTH_OF_MULTI_BYTE_FORM)
              {
                char *new = (char *) xrealloc (read_buffer, read_buffer_size *= 2);
                p += new - read_buffer;
                read_buffer += new - read_buffer;
                end = read_buffer + read_buffer_size;
              }
+
            if (c == '\\')
              {
                c = read_escape (readcharfun, 1);
-               if (! SINGLE_BYTE_CHAR_P ((c & ~CHAR_META)))
+
+               /* C is -1 if \ newline has just been seen */
+               if (c == -1)
                  {
-                   unsigned char workbuf[4];
-                   unsigned char *str = workbuf;
-                   int length;
-
-                   length = non_ascii_char_to_string (c, workbuf, &str);
-                   if (length > 1)
-                     force_multibyte = 1;
-
-                   if (p + length > end)
-                     {
-                       char *new = (char *) xrealloc (read_buffer, read_buffer_size *= 2);
-                       p += new - read_buffer;
-                       read_buffer += new - read_buffer;
-                       end = read_buffer + read_buffer_size;
-                     }
-                   bcopy (str, p, length);
-                   p += length;
+                   if (p == read_buffer)
+                     cancel = 1;
                    continue;
                  }
-               else if (! ASCII_BYTE_P (c))
+
+               /* If an escape specifies a non-ASCII single-byte character,
+                  this must be a unibyte string.  */
+               if (SINGLE_BYTE_CHAR_P ((c & ~CHAR_MODIFIER_MASK))
+                   && ! ASCII_BYTE_P ((c & ~CHAR_MODIFIER_MASK)))
                  force_singlebyte = 1;
              }
 
-           /* c is -1 if \ newline has just been seen */
-           if (c == -1)
+           if (! SINGLE_BYTE_CHAR_P ((c & ~CHAR_MODIFIER_MASK)))
              {
-               if (p == read_buffer)
-                 cancel = 1;
+               unsigned char workbuf[4];
+               unsigned char *str = workbuf;
+               int length;
+
+               /* Any modifiers for a multibyte character are invalid.  */
+               if (c & CHAR_MODIFIER_MASK)
+                 error ("Invalid modifier in string");
+               length = non_ascii_char_to_string (c, workbuf, &str);
+               if (length > 1)
+                 force_multibyte = 1;
+
+               bcopy (str, p, length);
+               p += length;
              }
            else
              {
@@ -1771,6 +1987,15 @@ read1 (readcharfun, pch, first_in_list)
                else if (c == (CHAR_CTL | '?'))
                  c = 127;
 
+               if (c & CHAR_SHIFT)
+                 {
+                   /* Shift modifier is valid only with [A-Za-z].  */
+                   if ((c & 0377) >= 'A' && (c & 0377) <= 'Z')
+                     c &= ~CHAR_SHIFT;
+                   else if ((c & 0377) >= 'a' && (c & 0377) <= 'z')
+                     c = (c & ~CHAR_SHIFT) - ('a' - 'A');
+                 }
+
                if (c & CHAR_META)
                  /* Move the meta bit to the right place for a string.  */
                  c = (c & ~CHAR_META) | 0x80;
@@ -1788,20 +2013,41 @@ read1 (readcharfun, pch, first_in_list)
        if (!NILP (Vpurify_flag) && NILP (Vdoc_file_name) && cancel)
          return make_number (0);
 
-       if (force_singlebyte && force_multibyte)
-         error ("Multibyte and single-byte escapes in one string constant");
-
-       if (force_singlebyte)
+       if (force_multibyte)
+         nchars = multibyte_chars_in_text (read_buffer, p - read_buffer);
+       else if (force_singlebyte)
          nchars = p - read_buffer;
-       else if (! NILP (buffer_defaults.enable_multibyte_characters)
-                || force_multibyte)
+       else if (load_convert_to_unibyte)
+         {
+           Lisp_Object string;
+           nchars = multibyte_chars_in_text (read_buffer, p - read_buffer);
+           if (p - read_buffer != nchars)
+             {
+               string = make_multibyte_string (read_buffer, nchars,
+                                               p - read_buffer);
+               return Fstring_make_unibyte (string);
+             }
+         }
+       else if (EQ (readcharfun, Qget_file_char)
+                || EQ (readcharfun, Qlambda))
+         /* Nowadays, reading directly from a file
+            is used only for compiled Emacs Lisp files,
+            and those always use the Emacs internal encoding.
+            Meanwhile, Qlambda is used for reading dynamic byte code
+            (compiled with byte-compile-dynamic = t).  */
          nchars = multibyte_chars_in_text (read_buffer, p - read_buffer);
        else
+         /* In all other cases, if we read these bytes as
+            separate characters, treat them as separate characters now.  */
          nchars = p - read_buffer;
 
        if (read_pure)
-         return make_pure_string (read_buffer, nchars, p - read_buffer);
-       return make_multibyte_string (read_buffer, nchars, p - read_buffer);
+         return make_pure_string (read_buffer, nchars, p - read_buffer,
+                                  (force_multibyte
+                                   || (p - read_buffer != nchars)));
+       return make_specified_string (read_buffer, nchars, p - read_buffer,
+                                     (force_multibyte
+                                      || (p - read_buffer != nchars)));
       }
 
     case '.':
@@ -1845,7 +2091,7 @@ read1 (readcharfun, pch, first_in_list)
                      || c == '[' || c == ']' || c == '#'
                      ))
            {
-             if (p == end)
+             if (end - p < MAX_LENGTH_OF_MULTI_BYTE_FORM)
                {
                  register char *new = (char *) xrealloc (read_buffer, read_buffer_size *= 2);
                  p += new - read_buffer;
@@ -1858,7 +2104,19 @@ read1 (readcharfun, pch, first_in_list)
                  quoted = 1;
                }
 
-             *p++ = c;
+             if (! SINGLE_BYTE_CHAR_P (c))
+               {
+                 unsigned char workbuf[4];
+                 unsigned char *str = workbuf;
+                 int length;
+
+                 length = non_ascii_char_to_string (c, workbuf, &str);
+
+                 bcopy (str, p, length);
+                 p += length;
+               }
+             else
+               *p++ = c;
 
              c = READCHAR;
            }
@@ -1908,21 +2166,35 @@ read1 (readcharfun, pch, first_in_list)
 #ifdef LISP_FLOAT_TYPE
            if (isfloat_string (read_buffer))
              {
-               double value = atof (read_buffer);
-               if (read_buffer[0] == '-' && value == 0.0)
-                 value *= -1.0;
-               /* The only way this can be true, after isfloat_string
+               /* Compute NaN and infinities using 0.0 in a variable,
+                  to cope with compilers that think they are smarter
+                  than we are.  */
+               double zero = 0.0;
+
+               double value;
+
+               /* Negate the value ourselves.  This treats 0, NaNs,
+                  and infinity properly on IEEE floating point hosts,
+                  and works around a common bug where atof ("-0.0")
+                  drops the sign.  */
+               int negative = read_buffer[0] == '-';
+
+               /* The only way p[-1] can be 'F' or 'N', after isfloat_string
                   returns 1, is if the input ends in e+INF or e+NaN.  */
-               if (p[-1] == 'F' || p[-1] == 'N')
+               switch (p[-1])
                  {
-                   if (p[-1] == 'N')
-                     value = 0.0 / 0.0;
-                   else if (read_buffer[0] == '-')
-                     value = -1.0e999;
-                   else
-                     value = 1.0e999;
+                 case 'F':
+                   value = 1.0 / zero;
+                   break;
+                 case 'N':
+                   value = zero / zero;
+                   break;
+                 default:
+                   value = atof (read_buffer + negative);
+                   break;
                  }
-               return make_float (value);
+
+               return make_float (negative ? - value : value);
              }
 #endif
          }
@@ -1935,6 +2207,129 @@ read1 (readcharfun, pch, first_in_list)
     }
 }
 \f
+
+/* List of nodes we've seen during substitute_object_in_subtree. */
+static Lisp_Object seen_list;
+
+static void
+substitute_object_in_subtree (object, placeholder)
+     Lisp_Object object;
+     Lisp_Object placeholder;
+{
+  Lisp_Object check_object;
+
+  /* We haven't seen any objects when we start. */
+  seen_list = Qnil;
+
+  /* Make all the substitutions. */
+  check_object
+    = substitute_object_recurse (object, placeholder, object);
+  
+  /* Clear seen_list because we're done with it. */
+  seen_list = Qnil;
+
+  /* The returned object here is expected to always eq the
+     original. */
+  if (!EQ (check_object, object))
+    error ("Unexpected mutation error in reader");
+}
+
+/*  Feval doesn't get called from here, so no gc protection is needed. */
+#define SUBSTITUTE(get_val, set_val)                 \
+{                                                    \
+  Lisp_Object old_value = get_val;                   \
+  Lisp_Object true_value                             \
+    = substitute_object_recurse (object, placeholder,\
+                              old_value);           \
+                                                     \
+  if (!EQ (old_value, true_value))                   \
+    {                                                \
+       set_val;                                      \
+    }                                                \
+}
+
+static Lisp_Object
+substitute_object_recurse (object, placeholder, subtree)
+     Lisp_Object object;
+     Lisp_Object placeholder;
+     Lisp_Object subtree;
+{
+  /* If we find the placeholder, return the target object. */
+  if (EQ (placeholder, subtree))
+    return object;
+
+  /* If we've been to this node before, don't explore it again. */
+  if (!EQ (Qnil, Fmemq (subtree, seen_list)))
+    return subtree;
+
+  /* If this node can be the entry point to a cycle, remember that
+     we've seen it.  It can only be such an entry point if it was made
+     by #n=, which means that we can find it as a value in
+     read_objects.  */
+  if (!EQ (Qnil, Frassq (subtree, read_objects)))
+    seen_list = Fcons (subtree, seen_list);
+      
+  /* Recurse according to subtree's type.
+     Every branch must return a Lisp_Object.  */
+  switch (XTYPE (subtree))
+    {
+    case Lisp_Vectorlike:
+      {
+       int i;
+       int length = Flength(subtree);
+       for (i = 0; i < length; i++)
+         {
+           Lisp_Object idx = make_number (i);
+           SUBSTITUTE (Faref (subtree, idx),
+                       Faset (subtree, idx, true_value)); 
+         }
+       return subtree;
+      }
+
+    case Lisp_Cons:
+      {
+       SUBSTITUTE (Fcar_safe (subtree),
+                   Fsetcar (subtree, true_value)); 
+       SUBSTITUTE (Fcdr_safe (subtree),
+                   Fsetcdr (subtree, true_value)); 
+       return subtree;
+      }
+
+#ifdef USE_TEXT_PROPERTIES
+    case Lisp_String:
+      {
+       /* Check for text properties in each interval.
+          substitute_in_interval contains part of the logic. */ 
+
+       INTERVAL    root_interval = XSTRING (subtree)->intervals;
+       Lisp_Object arg           = Fcons (object, placeholder);
+          
+       traverse_intervals (root_interval, 1, 0,
+                           &substitute_in_interval, arg); 
+
+       return subtree;
+      }
+#endif /* defined USE_TEXT_PROPERTIES */
+
+      /* Other types don't recurse any further. */
+    default:
+      return subtree;
+    }
+}
+
+/*  Helper function for substitute_object_recurse.  */
+static void
+substitute_in_interval (interval, arg)
+     INTERVAL    interval;
+     Lisp_Object arg;
+{
+  Lisp_Object object      = Fcar (arg);
+  Lisp_Object placeholder = Fcdr (arg);
+
+  SUBSTITUTE(interval->plist, interval->plist = true_value);
+}
+
+\f
 #ifdef LISP_FLOAT_TYPE
 
 #define LEAD_INT 1
@@ -1947,8 +2342,10 @@ int
 isfloat_string (cp)
      register char *cp;
 {
-  register state;
+  register int state;
   
+  char *start = cp;
+
   state = 0;
   if (*cp == '+' || *cp == '-')
     cp++;
@@ -1984,6 +2381,8 @@ isfloat_string (cp)
       while (*cp >= '0' && *cp <= '9')
        cp++;
     }
+  else if (cp == start)
+    ;
   else if (cp[-1] == '+' && cp[0] == 'I' && cp[1] == 'N' && cp[2] == 'F')
     {
       state |= EXP_INT;
@@ -2005,13 +2404,14 @@ isfloat_string (cp)
 #endif /* LISP_FLOAT_TYPE */
 \f
 static Lisp_Object
-read_vector (readcharfun)
+read_vector (readcharfun, bytecodeflag)
      Lisp_Object readcharfun;
+     int bytecodeflag;
 {
   register int i;
   register int size;
   register Lisp_Object *ptr;
-  register Lisp_Object tem, vector;
+  register Lisp_Object tem, item, vector;
   register struct Lisp_Cons *otem;
   Lisp_Object len;
 
@@ -2019,12 +2419,55 @@ read_vector (readcharfun)
   len = Flength (tem);
   vector = (read_pure ? make_pure_vector (XINT (len)) : Fmake_vector (len, Qnil));
 
-
   size = XVECTOR (vector)->size;
   ptr = XVECTOR (vector)->contents;
   for (i = 0; i < size; i++)
     {
-      ptr[i] = read_pure ? Fpurecopy (Fcar (tem)) : Fcar (tem);
+      item = Fcar (tem);
+      /* If `load-force-doc-strings' is t when reading a lazily-loaded
+        bytecode object, the docstring containing the bytecode and
+        constants values must be treated as unibyte and passed to
+        Fread, to get the actual bytecode string and constants vector.  */
+      if (bytecodeflag && load_force_doc_strings)
+       {
+         if (i == COMPILED_BYTECODE)
+           {
+             if (!STRINGP (item))
+               error ("invalid byte code");
+
+             /* Delay handling the bytecode slot until we know whether
+                it is lazily-loaded (we can tell by whether the
+                constants slot is nil).  */
+             ptr[COMPILED_CONSTANTS] = item;
+             item = Qnil;
+           }
+         else if (i == COMPILED_CONSTANTS)
+           {
+             Lisp_Object bytestr = ptr[COMPILED_CONSTANTS];
+
+             if (NILP (item))
+               {
+                 /* Coerce string to unibyte (like string-as-unibyte,
+                    but without generating extra garbage and
+                    guaranteeing no change in the contents).  */
+                 XSTRING (bytestr)->size = STRING_BYTES (XSTRING (bytestr));
+                 SET_STRING_BYTES (XSTRING (bytestr), -1);
+
+                 item = Fread (bytestr);
+                 if (!CONSP (item))
+                   error ("invalid byte code");
+
+                 otem = XCONS (item);
+                 bytestr = XCAR (item);
+                 item = XCDR (item);
+                 free_cons (otem);
+               }
+
+             /* Now handle the bytecode slot.  */
+             ptr[COMPILED_BYTECODE] = read_pure ? Fpurecopy (bytestr) : bytestr;
+           }
+       }
+      ptr[i] = read_pure ? Fpurecopy (item) : item;
       otem = XCONS (tem);
       tem = Fcdr (tem);
       free_cons (otem);
@@ -2108,7 +2551,7 @@ read_list (flag, readcharfun)
            {
              GCPRO2 (val, tail);
              if (!NILP (tail))
-               XCONS (tail)->cdr = read0 (readcharfun);
+               XCDR (tail) = read0 (readcharfun);
              else
                val = read0 (readcharfun);
              read1 (readcharfun, &ch, 0);
@@ -2121,7 +2564,9 @@ read_list (flag, readcharfun)
                    {
                      /* Get a doc string from the file we are loading.
                         If it's in saved_doc_string, get it from there.  */
-                     int pos = XINT (XCONS (val)->cdr);
+                     int pos = XINT (XCDR (val));
+                     /* Position is negative for user variables.  */
+                     if (pos < 0) pos = -pos;
                      if (pos >= saved_doc_string_position
                          && pos < (saved_doc_string_position
                                    + saved_doc_string_length))
@@ -2153,8 +2598,40 @@ read_list (flag, readcharfun)
                          return make_string (saved_doc_string + start,
                                              to - start);
                        }
+                     /* Look in prev_saved_doc_string the same way.  */
+                     else if (pos >= prev_saved_doc_string_position
+                              && pos < (prev_saved_doc_string_position
+                                        + prev_saved_doc_string_length))
+                       {
+                         int start = pos - prev_saved_doc_string_position;
+                         int from, to;
+
+                         /* Process quoting with ^A,
+                            and find the end of the string,
+                            which is marked with ^_ (037).  */
+                         for (from = start, to = start;
+                              prev_saved_doc_string[from] != 037;)
+                           {
+                             int c = prev_saved_doc_string[from++];
+                             if (c == 1)
+                               {
+                                 c = prev_saved_doc_string[from++];
+                                 if (c == 1)
+                                   prev_saved_doc_string[to++] = c;
+                                 else if (c == '0')
+                                   prev_saved_doc_string[to++] = 0;
+                                 else if (c == '_')
+                                   prev_saved_doc_string[to++] = 037;
+                               }
+                             else
+                               prev_saved_doc_string[to++] = c;
+                           }
+
+                         return make_string (prev_saved_doc_string + start,
+                                             to - start);
+                       }
                      else
-                       return read_doc_string (val);
+                       return get_doc_string (val, 0, 0);
                    }
 
                  return val;
@@ -2167,7 +2644,7 @@ read_list (flag, readcharfun)
             ? pure_cons (elt, Qnil)
             : Fcons (elt, Qnil));
       if (!NILP (tail))
-       XCONS (tail)->cdr = tem;
+       XCDR (tail) = tem;
       else
        val = tem;
       tail = tem;
@@ -2234,7 +2711,7 @@ make_symbol (str)
   int len = strlen (str);
 
   return Fmake_symbol ((!NILP (Vpurify_flag)
-                       ? make_pure_string (str, len, len)
+                       ? make_pure_string (str, len, len, 0)
                        : make_string (str, len)));
 }
 \f
@@ -2255,7 +2732,7 @@ it defaults to the value of `obarray'.")
 
   tem = oblookup (obarray, XSTRING (string)->data,
                  XSTRING (string)->size,
-                 XSTRING (string)->size_byte);
+                 STRING_BYTES (XSTRING (string)));
   if (!INTEGERP (tem))
     return tem;
 
@@ -2264,7 +2741,8 @@ it defaults to the value of `obarray'.")
   sym = Fmake_symbol (string);
   XSYMBOL (sym)->obarray = obarray;
 
-  if (XSTRING (string)->data[0] == ':')
+  if ((XSTRING (string)->data[0] == ':')
+      && EQ (obarray, initial_obarray))
     XSYMBOL (sym)->value = sym;
 
   ptr = &XVECTOR (obarray)->contents[XINT (tem)];
@@ -2292,7 +2770,7 @@ it defaults to the value of `obarray'.")
 
   tem = oblookup (obarray, XSTRING (string)->data,
                  XSTRING (string)->size,
-                 XSTRING (string)->size_byte);
+                 STRING_BYTES (XSTRING (string)));
   if (!INTEGERP (tem))
     return tem;
   return Qnil;
@@ -2323,7 +2801,7 @@ OBARRAY defaults to the value of the variable `obarray'.")
 
   tem = oblookup (obarray, XSTRING (string)->data,
                  XSTRING (string)->size,
-                 XSTRING (string)->size_byte);
+                 STRING_BYTES (XSTRING (string)));
   if (INTEGERP (tem))
     return Qnil;
   /* If arg was a symbol, don't delete anything but that symbol itself.  */
@@ -2398,7 +2876,7 @@ oblookup (obarray, ptr, size, size_byte)
   else
     for (tail = bucket; ; XSETSYMBOL (tail, XSYMBOL (tail)->next))
       {
-       if (XSYMBOL (tail)->name->size_byte == size_byte
+       if (STRING_BYTES (XSYMBOL (tail)->name) == size_byte
            && XSYMBOL (tail)->name->size == size
            && !bcmp (XSYMBOL (tail)->name->data, ptr, size_byte))
          return tail;
@@ -2464,8 +2942,6 @@ OBARRAY defaults to the value of `obarray'.")
   (function, obarray)
      Lisp_Object function, obarray;
 {
-  Lisp_Object tem;
-
   if (NILP (obarray)) obarray = Vobarray;
   obarray = check_obarray (obarray);
 
@@ -2484,7 +2960,7 @@ init_obarray ()
 
   XSETFASTINT (oblength, OBARRAY_SIZE);
 
-  Qnil = Fmake_symbol (make_pure_string ("nil", 3, 3));
+  Qnil = Fmake_symbol (make_pure_string ("nil", 3, 3, 0));
   Vobarray = Fmake_vector (oblength, make_number (0));
   initial_obarray = Vobarray;
   staticpro (&initial_obarray);
@@ -2497,7 +2973,7 @@ init_obarray ()
   tem = &XVECTOR (Vobarray)->contents[hash];
   *tem = Qnil;
 
-  Qunbound = Fmake_symbol (make_pure_string ("unbound", 7, 7));
+  Qunbound = Fmake_symbol (make_pure_string ("unbound", 7, 7, 0));
   XSYMBOL (Qnil)->function = Qunbound;
   XSYMBOL (Qunbound)->value = Qunbound;
   XSYMBOL (Qunbound)->function = Qunbound;
@@ -2513,7 +2989,7 @@ init_obarray ()
   Qvariable_documentation = intern ("variable-documentation");
   staticpro (&Qvariable_documentation);
 
-  read_buffer_size = 100;
+  read_buffer_size = 100 + MAX_LENGTH_OF_MULTI_BYTE_FORM;
   read_buffer = (char *) malloc (read_buffer_size);
 }
 \f
@@ -2567,6 +3043,7 @@ defvar_bool (namestring, address)
   XMISCTYPE (val) = Lisp_Misc_Boolfwd;
   XBOOLFWD (val)->boolvar = address;
   XSYMBOL (sym)->value = val;
+  Vbyte_boolean_vars = Fcons (sym, Vbyte_boolean_vars);
 }
 
 /* Similar but define a variable whose value is the Lisp Object stored
@@ -2656,11 +3133,6 @@ init_lread ()
   char *normal;
   int turn_off_warning = 0;
 
-#ifdef HAVE_SETLOCALE
-  /* Make sure numbers are parsed as we expect.  */
-  setlocale (LC_NUMERIC, "C");
-#endif /* HAVE_SETLOCALE */
-
   /* Compute the default load-path.  */
 #ifdef CANNOT_DUMP
   normal = PATH_LOADSEARCH;
@@ -2790,7 +3262,7 @@ init_lread ()
 
       for (path_tail = Vload_path;
           !NILP (path_tail);
-          path_tail = XCONS (path_tail)->cdr)
+          path_tail = XCDR (path_tail))
        {
          Lisp_Object dirfile;
          dirfile = Fcar (path_tail);
@@ -2799,7 +3271,7 @@ init_lread ()
              dirfile = Fdirectory_file_name (dirfile);
              if (access (XSTRING (dirfile)->data, 0) < 0)
                dir_warning ("Warning: Lisp directory `%s' does not exist.\n",
-                            XCONS (path_tail)->car);
+                            XCAR (path_tail));
            }
        }
     }
@@ -2819,6 +3291,8 @@ init_lread ()
   Vload_file_name = Qnil;
 
   load_descriptor_list = Qnil;
+
+  Vstandard_input = Qt;
 }
 
 /* Print a warning, using format string FORMAT, that directory DIRNAME
@@ -2834,7 +3308,9 @@ dir_warning (format, dirname)
 
   fprintf (stderr, format, XSTRING (dirname)->data);
   sprintf (buffer, format, XSTRING (dirname)->data);
-  message_dolog (buffer, strlen (buffer), 0, STRING_MULTIBYTE (dirname));
+  /* Don't log the warning before we've initialized!! */
+  if (initialized)
+    message_dolog (buffer, strlen (buffer), 0, STRING_MULTIBYTE (dirname));
 }
 
 void
@@ -2873,7 +3349,7 @@ See documentation of `read' for possible values.");
     "*List of directories to search for files to load.\n\
 Each element is a string (directory name) or nil (try default directory).\n\
 Initialized based on EMACSLOADPATH environment variable, if any,\n\
-otherwise to default specified by file `paths.h' when Emacs was built.");
+otherwise to default specified by file `epaths.h' when Emacs was built.");
 
   DEFVAR_BOOL ("load-in-progress", &load_in_progress,
     "Non-nil iff inside of `load'.");
@@ -2902,6 +3378,10 @@ or variables, and cons cells `(provide . FEATURE)' and `(require . FEATURE)'.");
     "Full name of file being loaded by `load'.");
   Vload_file_name = Qnil;
 
+  DEFVAR_LISP ("user-init-file", &Vuser_init_file,
+    "File name, including directory, of user's initialization file.");
+  Vuser_init_file = Qnil;
+
   DEFVAR_LISP ("current-load-list", &Vcurrent_load_list,
     "Used for internal purposes by `load'.");
   Vcurrent_load_list = Qnil;
@@ -2925,6 +3405,12 @@ See `load' for the meaning of the remaining arguments.");
 This is useful when the file being loaded is a temporary copy.");
   load_force_doc_strings = 0;
 
+  DEFVAR_BOOL ("load-convert-to-unibyte", &load_convert_to_unibyte,
+     "Non-nil means `load' converts strings to unibyte whenever possible.\n\
+This is normally used in `load-with-code-conversion'\n\
+for loading non-compiled files.");
+  load_convert_to_unibyte = 0;
+
   DEFVAR_LISP ("source-directory", &Vsource_directory,
      "Directory in which Emacs sources were found when Emacs was built.\n\
 You cannot count on them to still be there!");
@@ -2936,6 +3422,10 @@ You cannot count on them to still be there!");
      "List of files that were preloaded (when dumping Emacs).");
   Vpreloaded_file_list = Qnil;
 
+  DEFVAR_LISP ("byte-boolean-vars", &Vbyte_boolean_vars,
+     "List of all DEFVAR_BOOL variables, used by the byte code optimizer.");
+  Vbyte_boolean_vars = Qnil;
+
   /* Vsource_directory was initialized in init_lread.  */
 
   load_descriptor_list = Qnil;
@@ -2981,4 +3471,6 @@ You cannot count on them to still be there!");
 
   staticpro (&read_objects);
   read_objects = Qnil;
+  staticpro (&seen_list);
+  
 }