Revert "(scm_shell_usage): Note need for subscription to bug-guile@gnu.org."
[bpt/guile.git] / libguile / gc.c
index 2e163df..ce8c8af 100644 (file)
@@ -1,4 +1,4 @@
-/* Copyright (C) 1995,1996,1997,1998,1999,2000,2001, 2002, 2003 Free Software Foundation, Inc.
+/* Copyright (C) 1995,1996,1997,1998,1999,2000,2001, 2002, 2003, 2006, 2008 Free Software Foundation, Inc.
  *
  * This library is free software; you can redistribute it and/or
  * modify it under the terms of the GNU Lesser General Public
  *
  * You should have received a copy of the GNU Lesser General Public
  * License along with this library; if not, write to the Free Software
- * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  */
 
-
 /* #define DEBUGINFO */
 
-#if HAVE_CONFIG_H
+#ifdef HAVE_CONFIG_H
 #  include <config.h>
 #endif
 
 #include <string.h>
 #include <assert.h>
 
-#ifdef __ia64__
-#include <ucontext.h>
-extern unsigned long * __libc_ia64_register_backing_store_base;
-#endif
-
 #include "libguile/_scm.h"
 #include "libguile/eval.h"
 #include "libguile/stime.h"
@@ -52,6 +46,7 @@ extern unsigned long * __libc_ia64_register_backing_store_base;
 #include "libguile/validate.h"
 #include "libguile/deprecation.h"
 #include "libguile/gc.h"
+#include "libguile/dynwind.h"
 
 #ifdef GUILE_DEBUG_MALLOC
 #include "libguile/debug-malloc.h"
@@ -65,13 +60,9 @@ extern unsigned long * __libc_ia64_register_backing_store_base;
 #include <unistd.h>
 #endif
 
-
-
-unsigned int scm_gc_running_p = 0;
-
 /* Lock this mutex before doing lazy sweeping.
  */
-scm_t_rec_mutex scm_i_sweep_mutex;
+scm_i_pthread_mutex_t scm_i_sweep_mutex = SCM_I_PTHREAD_MUTEX_INITIALIZER;
 
 /* Set this to != 0 if every cell that is accessed shall be checked:
  */
@@ -127,7 +118,7 @@ scm_i_expensive_validation_check (SCM cell)
       else
        {
          counter = scm_debug_cells_gc_interval;
-         scm_igc ("scm_assert_cell_valid");
+         scm_gc ();
        }
     }
 }
@@ -152,7 +143,7 @@ scm_assert_cell_valid (SCM cell)
       */
       if (scm_expensive_debug_cell_accesses_p)
        scm_i_expensive_validation_check (cell);
-      
+#if (SCM_DEBUG_MARKING_API == 0)
       if (!SCM_GC_MARK_P (cell))
        {
          fprintf (stderr,
@@ -162,7 +153,8 @@ scm_assert_cell_valid (SCM cell)
                    (unsigned long) SCM_UNPACK (cell));
          abort ();
        }
-
+#endif /* SCM_DEBUG_MARKING_API */
+      
       scm_i_cell_validation_already_running = 0;  /* re-enable */
     }
 }
@@ -206,50 +198,38 @@ SCM_DEFINE (scm_set_debug_cell_accesses_x, "set-debug-cell-accesses!", 1, 0, 0,
 
 \f
 
-scm_t_key scm_i_freelist;
-scm_t_key scm_i_freelist2;
-
 
 /* scm_mtrigger
  * is the number of bytes of malloc allocation needed to trigger gc.
  */
 unsigned long scm_mtrigger;
 
-/* scm_gc_heap_lock
- * If set, don't expand the heap.  Set only during gc, during which no allocation
- * is supposed to take place anyway.
- */
-int scm_gc_heap_lock = 0;
-
-/* GC Blocking
- * Don't pause for collection if this is set -- just
- * expand the heap.
- */
-int scm_block_gc = 1;
-
-/* During collection, this accumulates objects holding
- * weak references.
- */
-SCM scm_weak_vectors;
-
 /* GC Statistics Keeping
  */
 unsigned long scm_cells_allocated = 0;
+unsigned long scm_last_cells_allocated = 0;
 unsigned long scm_mallocated = 0;
-unsigned long scm_gc_cells_collected;
-unsigned long scm_gc_cells_collected_1 = 0; /* previous GC yield */
-unsigned long scm_gc_malloc_collected;
-unsigned long scm_gc_ports_collected;
-unsigned long scm_gc_time_taken = 0;
-static unsigned long t_before_gc;
-unsigned long scm_gc_mark_time_taken = 0;
-unsigned long scm_gc_times = 0;
-unsigned long scm_gc_cells_swept = 0;
-double scm_gc_cells_marked_acc = 0.;
-double scm_gc_cells_swept_acc = 0.;
-int scm_gc_cell_yield_percentage =0;
+long int scm_i_find_heap_calls = 0;
+/* Global GC sweep statistics since the last full GC.  */
+scm_t_sweep_statistics scm_i_gc_sweep_stats = { 0, 0 };
+
+/* Total count of cells marked/swept.  */
+static double scm_gc_cells_marked_acc = 0.;
+static double scm_gc_cells_marked_conservatively_acc = 0.;
+static double scm_gc_cells_swept_acc = 0.;
+static double scm_gc_cells_allocated_acc = 0.;
+
+static unsigned long scm_gc_time_taken = 0;
+static unsigned long scm_gc_mark_time_taken = 0;
+
+static unsigned long scm_gc_times = 0;
+
+static int scm_gc_cell_yield_percentage = 0;
+static unsigned long protected_obj_count = 0;
+
+/* The following are accessed from `gc-malloc.c' and `gc-card.c'.  */
 int scm_gc_malloc_yield_percentage = 0;
-unsigned long protected_obj_count = 0;
+unsigned long scm_gc_malloc_collected = 0;
 
 
 SCM_SYMBOL (sym_cells_allocated, "cells-allocated");
@@ -261,12 +241,12 @@ SCM_SYMBOL (sym_gc_time_taken, "gc-time-taken");
 SCM_SYMBOL (sym_gc_mark_time_taken, "gc-mark-time-taken");
 SCM_SYMBOL (sym_times, "gc-times");
 SCM_SYMBOL (sym_cells_marked, "cells-marked");
+SCM_SYMBOL (sym_cells_marked_conservatively, "cells-marked-conservatively");
 SCM_SYMBOL (sym_cells_swept, "cells-swept");
 SCM_SYMBOL (sym_malloc_yield, "malloc-yield");
 SCM_SYMBOL (sym_cell_yield, "cell-yield");
 SCM_SYMBOL (sym_protected_objects, "protected-objects");
-
-
+SCM_SYMBOL (sym_total_cells_allocated, "total-cells-allocated");
 
 
 /* Number of calls to SCM_NEWCELL since startup.  */
@@ -276,6 +256,46 @@ unsigned scm_newcell2_count;
 
 /* {Scheme Interface to GC}
  */
+static SCM
+tag_table_to_type_alist (void *closure, SCM key, SCM val, SCM acc)
+{
+  if (scm_is_integer (key))
+    {
+      int c_tag = scm_to_int (key);
+
+      char const * name = scm_i_tag_name (c_tag);
+      if (name != NULL)
+       {
+         key = scm_from_locale_string (name);
+       }
+      else
+       {
+         char s[100];
+         sprintf (s, "tag %d", c_tag);
+         key = scm_from_locale_string (s);
+       }
+    }
+  
+  return scm_cons (scm_cons (key, val), acc);
+}
+
+SCM_DEFINE (scm_gc_live_object_stats, "gc-live-object-stats", 0, 0, 0,
+            (),
+           "Return an alist of statistics of the current live objects. ")
+#define FUNC_NAME s_scm_gc_live_object_stats
+{
+  SCM tab = scm_make_hash_table (scm_from_int (57));
+  SCM alist;
+
+  scm_i_all_segments_statistics (tab);
+  
+  alist
+    = scm_internal_hash_fold (&tag_table_to_type_alist, NULL, SCM_EOL, tab);
+  
+  return alist;
+}
+#undef FUNC_NAME     
+
 extern int scm_gc_malloc_yield_percentage;
 SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
             (),
@@ -297,47 +317,44 @@ SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
   unsigned long int local_protected_obj_count;
   double local_scm_gc_cells_swept;
   double local_scm_gc_cells_marked;
+  double local_scm_gc_cells_marked_conservatively;
+  double local_scm_total_cells_allocated;
   SCM answer;
   unsigned long *bounds = 0;
-  int table_size = scm_i_heap_segment_table_size;  
-  SCM_DEFER_INTS;
-
-  /*
-    temporarily store the numbers, so as not to cause GC.
-   */
-  bounds = malloc (sizeof (int)  * table_size * 2);
-  if (!bounds)
-    abort();
-  for (i = table_size; i--; )
-    {
-      bounds[2*i] = (unsigned long)scm_i_heap_segment_table[i]->bounds[0];
-      bounds[2*i+1] = (unsigned long)scm_i_heap_segment_table[i]->bounds[1];
-    }
+  int table_size = 0;
+  SCM_CRITICAL_SECTION_START;
 
+  bounds = scm_i_segment_table_info (&table_size);
 
   /* Below, we cons to produce the resulting list.  We want a snapshot of
    * the heap situation before consing.
    */
   local_scm_mtrigger = scm_mtrigger;
   local_scm_mallocated = scm_mallocated;
-  local_scm_heap_size = SCM_HEAP_SIZE;
+  local_scm_heap_size =
+    (scm_i_master_freelist.heap_total_cells + scm_i_master_freelist2.heap_total_cells);
 
-  local_scm_cells_allocated = scm_cells_allocated;
+  local_scm_cells_allocated =
+    scm_cells_allocated + scm_i_gc_sweep_stats.collected;
   
   local_scm_gc_time_taken = scm_gc_time_taken;
   local_scm_gc_mark_time_taken = scm_gc_mark_time_taken;
   local_scm_gc_times = scm_gc_times;
   local_scm_gc_malloc_yield_percentage = scm_gc_malloc_yield_percentage;
-  local_scm_gc_cell_yield_percentage scm_gc_cell_yield_percentage;
+  local_scm_gc_cell_yield_percentage = scm_gc_cell_yield_percentage;
   local_protected_obj_count = protected_obj_count;
   local_scm_gc_cells_swept =
     (double) scm_gc_cells_swept_acc
-    + (double) scm_gc_cells_swept;
+    + (double) scm_i_gc_sweep_stats.swept;
   local_scm_gc_cells_marked = scm_gc_cells_marked_acc 
-    +(double) scm_gc_cells_swept 
-    -(double) scm_gc_cells_collected;
+    + (double) scm_i_gc_sweep_stats.swept
+    - (double) scm_i_gc_sweep_stats.collected;
+  local_scm_gc_cells_marked_conservatively
+    = scm_gc_cells_marked_conservatively_acc;
 
+  local_scm_total_cells_allocated = scm_gc_cells_allocated_acc
+    + (double) scm_i_gc_sweep_stats.collected;
+  
   for (i = table_size; i--;)
     {
       heap_segs = scm_cons (scm_cons (scm_from_ulong (bounds[2*i]),
@@ -345,13 +362,19 @@ SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
                            heap_segs);
     }
   
+  /* njrev: can any of these scm_cons's or scm_list_n signal a memory
+     error?  If so we need a frame here. */
   answer =
     scm_list_n (scm_cons (sym_gc_time_taken,
                          scm_from_ulong (local_scm_gc_time_taken)),
                scm_cons (sym_cells_allocated,
                          scm_from_ulong (local_scm_cells_allocated)),
+               scm_cons (sym_total_cells_allocated,
+                         scm_from_double (local_scm_total_cells_allocated)),
                scm_cons (sym_heap_size,
                          scm_from_ulong (local_scm_heap_size)),
+               scm_cons (sym_cells_marked_conservatively,
+                         scm_from_ulong (local_scm_gc_cells_marked_conservatively)),
                scm_cons (sym_mallocated,
                          scm_from_ulong (local_scm_mallocated)),
                scm_cons (sym_mtrigger,
@@ -365,54 +388,41 @@ SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
                scm_cons (sym_cells_swept,
                          scm_from_double (local_scm_gc_cells_swept)),
                scm_cons (sym_malloc_yield,
-                         scm_from_long(local_scm_gc_malloc_yield_percentage)),
+                         scm_from_long (local_scm_gc_malloc_yield_percentage)),
                scm_cons (sym_cell_yield,
                          scm_from_long (local_scm_gc_cell_yield_percentage)),
                scm_cons (sym_protected_objects,
                          scm_from_ulong (local_protected_obj_count)),
                scm_cons (sym_heap_segments, heap_segs),
                SCM_UNDEFINED);
-  SCM_ALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
   
   free (bounds);
   return answer;
 }
 #undef FUNC_NAME
 
-static void
-gc_start_stats (const char *what SCM_UNUSED)
-{
-  t_before_gc = scm_c_get_internal_run_time ();
-
-  scm_gc_cells_marked_acc += (double) scm_gc_cells_swept
-    - (double) scm_gc_cells_collected;
-  scm_gc_cells_swept_acc += (double) scm_gc_cells_swept;
-
-  scm_gc_cell_yield_percentage = ( scm_gc_cells_collected * 100 ) / SCM_HEAP_SIZE; 
-  
-  scm_gc_cells_swept = 0;
-  scm_gc_cells_collected_1 = scm_gc_cells_collected;
-
-  /*
-    CELLS SWEPT is another word for the number of cells that were
-    examined during GC. YIELD is the number that we cleaned
-    out. MARKED is the number that weren't cleaned. 
-   */
-  scm_gc_cells_collected = 0;
-  scm_gc_malloc_collected = 0;
-  scm_gc_ports_collected = 0;
-}
-
+/*
+  Update nice-to-know-statistics.
+ */
 static void
 gc_end_stats ()
 {
-  unsigned long t = scm_c_get_internal_run_time ();
-  scm_gc_time_taken += (t - t_before_gc);
+  /* CELLS SWEPT is another word for the number of cells that were examined
+     during GC. YIELD is the number that we cleaned out. MARKED is the number
+     that weren't cleaned.  */
+  scm_gc_cell_yield_percentage = (scm_i_gc_sweep_stats.collected * 100) /
+    (scm_i_master_freelist.heap_total_cells + scm_i_master_freelist2.heap_total_cells);
+
+  scm_gc_cells_allocated_acc +=
+    (double) scm_i_gc_sweep_stats.collected;
+  scm_gc_cells_marked_acc += (double) scm_i_last_marked_cell_count;
+  scm_gc_cells_marked_conservatively_acc += (double) scm_i_find_heap_calls;
+  scm_gc_cells_swept_acc += (double) scm_i_gc_sweep_stats.swept;
 
   ++scm_gc_times;
 }
 
-
 SCM_DEFINE (scm_object_address, "object-address", 1, 0, 0,
             (SCM obj),
            "Return an integer that for the lifetime of @var{obj} is uniquely\n"
@@ -430,7 +440,19 @@ SCM_DEFINE (scm_gc, "gc", 0, 0, 0,
            "no longer accessible.")
 #define FUNC_NAME s_scm_gc
 {
-  scm_igc ("call");
+  scm_i_scm_pthread_mutex_lock (&scm_i_sweep_mutex);
+  scm_gc_running_p = 1;
+  scm_i_gc ("call");
+  /* njrev: It looks as though other places, e.g. scm_realloc,
+     can call scm_i_gc without acquiring the sweep mutex.  Does this
+     matter?  Also scm_i_gc (or its descendants) touch the
+     scm_sys_protects, which are protected in some cases
+     (e.g. scm_permobjs above in scm_gc_stats) by a critical section,
+     not by the sweep mutex.  Shouldn't all the GC-relevant objects be
+     protected in the same way? */
+  scm_gc_running_p = 0;
+  scm_i_pthread_mutex_unlock (&scm_i_sweep_mutex);
+  scm_c_hook_run (&scm_after_gc_c_hook, 0);
   return SCM_UNSPECIFIED;
 }
 #undef FUNC_NAME
@@ -438,48 +460,59 @@ SCM_DEFINE (scm_gc, "gc", 0, 0, 0,
 
 \f
 
-/* When we get POSIX threads support, the master will be global and
- * common while the freelist will be individual for each thread.
+/* The master is global and common while the freelist will be
+ * individual for each thread.
  */
 
 SCM
 scm_gc_for_newcell (scm_t_cell_type_statistics *freelist, SCM *free_cells)
 {
   SCM cell;
-  scm_rec_mutex_lock (&scm_i_sweep_mutex);
+  int did_gc = 0;
 
-  *free_cells = scm_i_sweep_some_segments (freelist);
-  if (*free_cells == SCM_EOL && scm_i_gc_grow_heap_p (freelist))
+  scm_i_scm_pthread_mutex_lock (&scm_i_sweep_mutex);
+  scm_gc_running_p = 1;
+  
+  *free_cells = scm_i_sweep_for_freelist (freelist);
+  if (*free_cells == SCM_EOL)
     {
-      freelist->heap_segment_idx = scm_i_get_new_heap_segment (freelist, abort_on_error);
-      *free_cells = scm_i_sweep_some_segments (freelist);
-    }
+      float delta = scm_i_gc_heap_size_delta (freelist);
+      if (delta > 0.0)
+       {
+         size_t bytes = ((unsigned long) delta) * sizeof (scm_t_cell);
+         freelist->heap_segment_idx =
+           scm_i_get_new_heap_segment (freelist, bytes, abort_on_error);
 
-  if (*free_cells == SCM_EOL && !scm_block_gc)
+         *free_cells = scm_i_sweep_for_freelist (freelist);
+       }
+    }
+  
+  if (*free_cells == SCM_EOL)
     {
-      /*
-       with the advent of lazy sweep, GC yield is only know just
-       before doing the GC.
-      */
-      scm_i_adjust_min_yield (freelist);
-
       /*
        out of fresh cells. Try to get some new ones.
        */
+      char reason[] = "0-cells";
+      reason[0] += freelist->span;
+      
+      did_gc = 1;
+      scm_i_gc (reason);
 
-      scm_igc ("cells");
-
-      *free_cells = scm_i_sweep_some_segments (freelist);
+      *free_cells = scm_i_sweep_for_freelist (freelist);
     }
   
   if (*free_cells == SCM_EOL)
     {
       /*
        failed getting new cells. Get new juice or die.
-       */
-      freelist->heap_segment_idx = scm_i_get_new_heap_segment (freelist, abort_on_error);
-      *free_cells = scm_i_sweep_some_segments (freelist);
+      */
+      float delta = scm_i_gc_heap_size_delta (freelist);
+      assert (delta > 0.0);
+      size_t bytes = ((unsigned long) delta) * sizeof (scm_t_cell);
+      freelist->heap_segment_idx =
+       scm_i_get_new_heap_segment (freelist, bytes, abort_on_error);
+
+      *free_cells = scm_i_sweep_for_freelist (freelist);
     }
   
   if (*free_cells == SCM_EOL)
@@ -489,7 +522,11 @@ scm_gc_for_newcell (scm_t_cell_type_statistics *freelist, SCM *free_cells)
 
   *free_cells = SCM_FREE_CELL_CDR (cell);
 
-  scm_rec_mutex_unlock (&scm_i_sweep_mutex);
+  scm_gc_running_p = 0;
+  scm_i_pthread_mutex_unlock (&scm_i_sweep_mutex);
+
+  if (did_gc)
+    scm_c_hook_run (&scm_after_gc_c_hook, 0);
 
   return cell;
 }
@@ -501,45 +538,9 @@ scm_t_c_hook scm_before_sweep_c_hook;
 scm_t_c_hook scm_after_sweep_c_hook;
 scm_t_c_hook scm_after_gc_c_hook;
 
-void
-scm_igc (const char *what)
+static void
+scm_check_deprecated_memory_return ()
 {
-  scm_rec_mutex_lock (&scm_i_sweep_mutex);
-  ++scm_gc_running_p;
-  scm_c_hook_run (&scm_before_gc_c_hook, 0);
-
-#ifdef DEBUGINFO
-  fprintf (stderr,"gc reason %s\n", what);
-  
-  fprintf (stderr,
-          SCM_NULLP (*SCM_FREELIST_LOC (scm_i_freelist))
-          ? "*"
-          : (SCM_NULLP (*SCM_FREELIST_LOC (scm_i_freelist2)) ? "o" : "m"));
-#endif
-
-  /* During the critical section, only the current thread may run. */
-  scm_i_thread_put_to_sleep ();
-
-  if (!scm_root || !scm_stack_base || scm_block_gc)
-    {
-      --scm_gc_running_p;
-      return;
-    }
-
-  gc_start_stats (what);
-
-  if (scm_gc_heap_lock)
-    /* We've invoked the collector while a GC is already in progress.
-       That should never happen.  */
-    abort ();
-
-  ++scm_gc_heap_lock;
-
-  /*
-    Let's finish the sweep. The conservative GC might point into the
-    garbage, and marking that would create a mess.
-   */
-  scm_i_sweep_all_segments("GC");
   if (scm_mallocated < scm_i_deprecated_memory_return)
     {
       /* The byte count of allocated objects has underflowed.  This is
@@ -554,30 +555,83 @@ scm_igc (const char *what)
       abort ();
     }
   scm_mallocated -= scm_i_deprecated_memory_return;
+  scm_i_deprecated_memory_return = 0;
+}
 
+long int scm_i_last_marked_cell_count;
+
+/* Must be called while holding scm_i_sweep_mutex.
+
+   This function is fairly long, but it touches various global
+   variables. To not obscure the side effects on global variables,
+   this function has not been split up.
+ */
+void
+scm_i_gc (const char *what)
+{
+  unsigned long t_before_gc = 0;
   
+  scm_i_thread_put_to_sleep ();
   
-  scm_c_hook_run (&scm_before_mark_c_hook, 0);
+  scm_c_hook_run (&scm_before_gc_c_hook, 0);
 
-  scm_mark_all ();
-  
-  scm_gc_mark_time_taken += (scm_c_get_internal_run_time () - t_before_gc);
+#ifdef DEBUGINFO
+  fprintf (stderr,"gc reason %s\n", what);
+  fprintf (stderr,
+          scm_is_null (*SCM_FREELIST_LOC (scm_i_freelist))
+          ? "*"
+          : (scm_is_null (*SCM_FREELIST_LOC (scm_i_freelist2)) ? "o" : "m"));
+#endif
 
-  scm_c_hook_run (&scm_before_sweep_c_hook, 0);
+  t_before_gc = scm_c_get_internal_run_time ();
+  scm_gc_malloc_collected = 0;
 
   /*
-    Moved this lock upwards so that we can alloc new heap at the end of a sweep.
-
-    DOCME: why should the heap be locked anyway?
+    Set freelists to NULL so scm_cons () always triggers gc, causing
+    the assertion above to fail.
+  */
+  *SCM_FREELIST_LOC (scm_i_freelist) = SCM_EOL;
+  *SCM_FREELIST_LOC (scm_i_freelist2) = SCM_EOL;
+  
+  /*
+    Let's finish the sweep. The conservative GC might point into the
+    garbage, and marking that would create a mess.
    */
-  --scm_gc_heap_lock;
+  scm_i_sweep_all_segments ("GC", &scm_i_gc_sweep_stats);
+  scm_check_deprecated_memory_return ();
+
+#if (SCM_DEBUG_CELL_ACCESSES == 0 && SCM_SIZEOF_UNSIGNED_LONG == 4)
+  /* Sanity check our numbers. */
+  /* TODO(hanwen): figure out why the stats are off on x64_64. */
+  /* If this was not true, someone touched mark bits outside of the
+     mark phase. */
+  if (scm_i_last_marked_cell_count != scm_i_marked_count ())
+    {
+      static char msg[] =
+       "The number of marked objects changed since the last GC: %d vs %d.";
+      /* At some point, we should probably use a deprecation warning. */
+      fprintf(stderr, msg, scm_i_last_marked_cell_count, scm_i_marked_count ());
+    }
+  assert (scm_i_gc_sweep_stats.swept
+         == (scm_i_master_freelist.heap_total_cells
+             + scm_i_master_freelist2.heap_total_cells));
+  assert (scm_i_gc_sweep_stats.collected + scm_i_last_marked_cell_count
+         == scm_i_gc_sweep_stats.swept);
+#endif /* SCM_DEBUG_CELL_ACCESSES */
+  
+  /* Mark */
+  scm_c_hook_run (&scm_before_mark_c_hook, 0);
 
-  scm_gc_sweep ();
+  scm_mark_all ();
+  scm_gc_mark_time_taken += (scm_c_get_internal_run_time () - t_before_gc);
 
+  scm_i_last_marked_cell_count = scm_cells_allocated = scm_i_marked_count ();
 
-  /*
-    TODO: this hook should probably be moved to just before the mark,
-    since that's where the  sweep is finished in lazy sweeping.
+  /* Sweep
+
+    TODO: the after_sweep hook should probably be moved to just before
+    the mark, since that's where the sweep is finished in lazy
+    sweeping.
 
     MDJ 030219 <djurfeldt@nada.kth.se>: No, probably not.  The
     original meaning implied at least two things: that it would be
@@ -598,25 +652,41 @@ scm_igc (const char *what)
     distinct classes of hook functions since this can prevent some
     bad interference when several modules adds gc hooks.
    */
-  scm_c_hook_run (&scm_after_sweep_c_hook, 0);
-  gc_end_stats ();
-
-  scm_i_thread_wake_up ();
+  scm_c_hook_run (&scm_before_sweep_c_hook, 0);
 
   /*
-    See above.
+    Nothing here: lazy sweeping.
    */
-  scm_c_hook_run (&scm_after_gc_c_hook, 0);
-  --scm_gc_running_p;
-  scm_rec_mutex_unlock (&scm_i_sweep_mutex);
+  scm_i_reset_segments ();
+  
+  *SCM_FREELIST_LOC (scm_i_freelist) = SCM_EOL;
+  *SCM_FREELIST_LOC (scm_i_freelist2) = SCM_EOL;
 
+  /* Invalidate the freelists of other threads. */
+  scm_i_thread_invalidate_freelists ();
+
+  scm_c_hook_run (&scm_after_sweep_c_hook, 0);
+
+  gc_end_stats ();
+
+  scm_i_gc_sweep_stats.collected = scm_i_gc_sweep_stats.swept = 0;
+  scm_i_gc_sweep_freelist_reset (&scm_i_master_freelist);
+  scm_i_gc_sweep_freelist_reset (&scm_i_master_freelist2);
+  
+  /* Arguably, this statistic is fairly useless: marking will dominate
+     the time taken.
+  */
+  scm_gc_time_taken += (scm_c_get_internal_run_time () - t_before_gc);
+    
+  scm_i_thread_wake_up ();
   /*
     For debugging purposes, you could do
-    scm_i_sweep_all_segments("debug"), but then the remains of the
+    scm_i_sweep_all_segments ("debug"), but then the remains of the
     cell aren't left to analyse.
    */
 }
 
+
 \f
 /* {GC Protection Helper Functions}
  */
@@ -642,7 +712,7 @@ scm_igc (const char *what)
  * the conservative gc we add the call to scm_remember_upto_here_1 _after_ the
  * call to 'some_function'.  Note that this would not be necessary if str was
  * used anyway after the call to 'some_function'.
- *   char *chars = SCM_I_STRING_CHARS (str);
+ *   char *chars = scm_i_string_chars (str);
  *   some_function (chars);
  *   scm_remember_upto_here_1 (str);  // str will be alive up to this point.
  */
@@ -695,9 +765,11 @@ scm_return_first_int (int i, ...)
 SCM
 scm_permanent_object (SCM obj)
 {
-  SCM_REDEFER_INTS;
-  scm_permobjs = scm_cons (obj, scm_permobjs);
-  SCM_REALLOW_INTS;
+  SCM cell = scm_cons (obj, SCM_EOL);
+  SCM_CRITICAL_SECTION_START;
+  SCM_SETCDR (cell, scm_permobjs);
+  scm_permobjs = cell;
+  SCM_CRITICAL_SECTION_END;
   return obj;
 }
 
@@ -713,7 +785,7 @@ scm_permanent_object (SCM obj)
 */
 
 /* Implementation note:  For every object X, there is a counter which
-   scm_gc_protect_object(X) increments and scm_gc_unprotect_object(X) decrements.
+   scm_gc_protect_object (X) increments and scm_gc_unprotect_object (X) decrements.
 */
 
 
@@ -724,14 +796,16 @@ scm_gc_protect_object (SCM obj)
   SCM handle;
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: Indeed; if my comment above is correct, there is the same
+     critsec/mutex inconsistency here. */
+  SCM_CRITICAL_SECTION_START;
 
   handle = scm_hashq_create_handle_x (scm_protects, obj, scm_from_int (0));
   SCM_SETCDR (handle, scm_sum (SCM_CDR (handle), scm_from_int (1)));
 
   protected_obj_count ++;
   
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 
   return obj;
 }
@@ -747,8 +821,15 @@ scm_gc_unprotect_object (SCM obj)
   SCM handle;
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: and again. */
+  SCM_CRITICAL_SECTION_START;
 
+  if (scm_gc_running_p)
+    {
+      fprintf (stderr, "scm_unprotect_object called during GC.\n");
+      abort ();
+    }
   handle = scm_hashq_get_handle (scm_protects, obj);
 
   if (scm_is_false (handle))
@@ -766,7 +847,7 @@ scm_gc_unprotect_object (SCM obj)
     }
   protected_obj_count --;
 
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 
   return obj;
 }
@@ -778,13 +859,15 @@ scm_gc_register_root (SCM *p)
   SCM key = scm_from_ulong ((unsigned long) p);
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: and again. */
+  SCM_CRITICAL_SECTION_START;
 
   handle = scm_hashv_create_handle_x (scm_gc_registered_roots, key,
                                      scm_from_int (0));
+  /* njrev: note also that the above can probably signal an error */
   SCM_SETCDR (handle, scm_sum (SCM_CDR (handle), scm_from_int (1)));
 
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 }
 
 void
@@ -794,7 +877,8 @@ scm_gc_unregister_root (SCM *p)
   SCM key = scm_from_ulong ((unsigned long) p);
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: and again. */
+  SCM_CRITICAL_SECTION_START;
 
   handle = scm_hashv_get_handle (scm_gc_registered_roots, key);
 
@@ -812,7 +896,7 @@ scm_gc_unregister_root (SCM *p)
        SCM_SETCDR (handle, count);
     }
 
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 }
 
 void
@@ -833,25 +917,6 @@ scm_gc_unregister_roots (SCM *b, unsigned long n)
 
 int scm_i_terminating;
 
-/* called on process termination.  */
-#ifdef HAVE_ATEXIT
-static void
-cleanup (void)
-#else
-#ifdef HAVE_ON_EXIT
-extern int on_exit (void (*procp) (), int arg);
-
-static void
-cleanup (int status, void *arg)
-#else
-#error Dont know how to setup a cleanup handler on your system.
-#endif
-#endif
-{
-  scm_i_terminating = 1;
-  scm_flush_all_ports ();
-}
-
 \f
 
 
@@ -884,30 +949,23 @@ scm_storage_prehistory ()
   scm_c_hook_init (&scm_after_gc_c_hook, 0, SCM_C_HOOK_NORMAL);
 }
 
+scm_i_pthread_mutex_t scm_i_gc_admin_mutex = SCM_I_PTHREAD_MUTEX_INITIALIZER;
+
 int
 scm_init_storage ()
 {
   size_t j;
 
-  /* Fixme: Should use mutexattr from the low-level API. */
-  scm_rec_mutex_init (&scm_i_sweep_mutex, &scm_i_plugin_rec_mutex);
-  
   j = SCM_NUM_PROTECTS;
   while (j)
     scm_sys_protects[--j] = SCM_BOOL_F;
-  scm_block_gc = 1;
 
-  scm_gc_init_freelist();
+  scm_gc_init_freelist ();
   scm_gc_init_malloc ();
 
-  j = SCM_HEAP_SEG_SIZE;
-
-  
-  /* Initialise the list of ports.  */
-  scm_i_port_table = (scm_t_port **)
-    malloc (sizeof (scm_t_port *) * scm_i_port_table_room);
-  if (!scm_i_port_table)
-    return 1;
+#if 0
+  /* We can't have a cleanup handler since we have no thread to run it
+     in. */
 
 #ifdef HAVE_ATEXIT
   atexit (cleanup);
@@ -917,7 +975,9 @@ scm_init_storage ()
 #endif
 #endif
 
-  scm_stand_in_procs = scm_c_make_hash_table (257);
+#endif
+
+  scm_stand_in_procs = scm_make_weak_key_hash_table (scm_from_int (257));
   scm_permobjs = SCM_EOL;
   scm_protects = scm_c_make_hash_table (31);
   scm_gc_registered_roots = scm_c_make_hash_table (31);
@@ -950,7 +1010,7 @@ gc_async_thunk (void)
  */
 static void *
 mark_gc_async (void * hook_data SCM_UNUSED,
-              void *func_data SCM_UNUSED,
+              void *fn_data SCM_UNUSED,
               void *data SCM_UNUSED)
 {
   /* If cell access debugging is enabled, the user may choose to perform
@@ -977,6 +1037,7 @@ mark_gc_async (void * hook_data SCM_UNUSED,
    * collection hooks and the execution count of the scheme level
    * after-gc-hook.
    */
+
 #if (SCM_DEBUG_CELL_ACCESSES == 1)
   if (scm_debug_cells_gc_interval == 0)
     scm_system_async_mark (gc_async);
@@ -1003,28 +1064,49 @@ scm_init_gc ()
 #include "libguile/gc.x"
 }
 
+#ifdef __ia64__
+# ifdef __hpux
+#  include <sys/param.h>
+#  include <sys/pstat.h>
+void *
+scm_ia64_register_backing_store_base (void)
+{
+  struct pst_vm_status vm_status;
+  int i = 0;
+  while (pstat_getprocvm (&vm_status, sizeof (vm_status), 0, i++) == 1)
+    if (vm_status.pst_type == PS_RSESTACK)
+      return (void *) vm_status.pst_vaddr;
+  abort ();
+}
+void *
+scm_ia64_ar_bsp (const void *ctx)
+{
+  uint64_t bsp;
+  __uc_get_ar_bsp (ctx, &bsp);
+  return (void *) bsp;
+}
+# endif /* hpux */
+# ifdef linux
+#  include <ucontext.h>
+void *
+scm_ia64_register_backing_store_base (void)
+{
+  extern void *__libc_ia64_register_backing_store_base;
+  return __libc_ia64_register_backing_store_base;
+}
+void *
+scm_ia64_ar_bsp (const void *opaque)
+{
+  const ucontext_t *ctx = opaque;
+  return (void *) ctx->uc_mcontext.sc_ar_bsp;
+}
+# endif        /* linux */
+#endif /* __ia64__ */
 
 void
 scm_gc_sweep (void)
 #define FUNC_NAME "scm_gc_sweep"
 {
-  scm_i_deprecated_memory_return = 0;
-
-  scm_i_gc_sweep_freelist_reset (&scm_i_master_freelist);
-  scm_i_gc_sweep_freelist_reset (&scm_i_master_freelist2);
-
-  /*
-    NOTHING HERE: LAZY SWEEPING ! 
-   */
-  scm_i_reset_segments ();
-  
-  /* When we move to POSIX threads private freelists should probably
-     be GC-protected instead. */
-  *SCM_FREELIST_LOC (scm_i_freelist) = SCM_EOL;
-  *SCM_FREELIST_LOC (scm_i_freelist2) = SCM_EOL;
-
-  /* Invalidate the freelists of other threads. */
-  scm_i_thread_invalidate_freelists ();
 }
 
 #undef FUNC_NAME