Critical section review.
[bpt/guile.git] / libguile / gc.c
index c8709e0..81d873e 100644 (file)
@@ -15,6 +15,7 @@
  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  */
 
+#define _GNU_SOURCE
 
 /* #define DEBUGINFO */
 
@@ -52,6 +53,7 @@ extern unsigned long * __libc_ia64_register_backing_store_base;
 #include "libguile/validate.h"
 #include "libguile/deprecation.h"
 #include "libguile/gc.h"
+#include "libguile/dynwind.h"
 
 #ifdef GUILE_DEBUG_MALLOC
 #include "libguile/debug-malloc.h"
@@ -65,13 +67,9 @@ extern unsigned long * __libc_ia64_register_backing_store_base;
 #include <unistd.h>
 #endif
 
-
-
-unsigned int scm_gc_running_p = 0;
-
 /* Lock this mutex before doing lazy sweeping.
  */
-scm_t_rec_mutex scm_i_sweep_mutex;
+scm_i_pthread_mutex_t scm_i_sweep_mutex = SCM_I_PTHREAD_MUTEX_INITIALIZER;
 
 /* Set this to != 0 if every cell that is accessed shall be checked:
  */
@@ -127,7 +125,7 @@ scm_i_expensive_validation_check (SCM cell)
       else
        {
          counter = scm_debug_cells_gc_interval;
-         scm_igc ("scm_assert_cell_valid");
+         scm_gc ();
        }
     }
 }
@@ -185,25 +183,18 @@ SCM_DEFINE (scm_set_debug_cell_accesses_x, "set-debug-cell-accesses!", 1, 0, 0,
     {
       scm_debug_cell_accesses_p = 0;
     }
-  else if (SCM_EQ_P (flag, SCM_BOOL_T))
+  else if (scm_is_eq (flag, SCM_BOOL_T))
     {
       scm_debug_cells_gc_interval = 0;
       scm_debug_cell_accesses_p = 1;
       scm_expensive_debug_cell_accesses_p = 0;
     }
-  else if (SCM_INUMP (flag))
+  else
     {
-      long int f = SCM_INUM (flag);
-      if (f <= 0)
-       SCM_OUT_OF_RANGE (1, flag);
-      scm_debug_cells_gc_interval = f;
+      scm_debug_cells_gc_interval = scm_to_signed_integer (flag, 0, INT_MAX);
       scm_debug_cell_accesses_p = 1;
       scm_expensive_debug_cell_accesses_p = 1;
     }
-  else
-    {
-      SCM_WRONG_TYPE_ARG (1, flag);
-    }
   return SCM_UNSPECIFIED;
 }
 #undef FUNC_NAME
@@ -213,27 +204,12 @@ SCM_DEFINE (scm_set_debug_cell_accesses_x, "set-debug-cell-accesses!", 1, 0, 0,
 
 \f
 
-scm_t_key scm_i_freelist;
-scm_t_key scm_i_freelist2;
-
 
 /* scm_mtrigger
  * is the number of bytes of malloc allocation needed to trigger gc.
  */
 unsigned long scm_mtrigger;
 
-/* scm_gc_heap_lock
- * If set, don't expand the heap.  Set only during gc, during which no allocation
- * is supposed to take place anyway.
- */
-int scm_gc_heap_lock = 0;
-
-/* GC Blocking
- * Don't pause for collection if this is set -- just
- * expand the heap.
- */
-int scm_block_gc = 1;
-
 /* During collection, this accumulates objects holding
  * weak references.
  */
@@ -283,6 +259,33 @@ unsigned scm_newcell2_count;
 
 /* {Scheme Interface to GC}
  */
+static SCM
+tag_table_to_type_alist (void *closure, SCM key, SCM val, SCM acc)
+{
+  scm_t_bits c_tag = scm_to_int (key);
+
+  char const * name = scm_i_tag_name (c_tag);
+  if (name != NULL)
+    key = scm_from_locale_string (name);
+  
+  return scm_cons (scm_cons (key, val), acc);
+}
+
+SCM_DEFINE (scm_gc_live_object_stats, "gc-live-object-stats", 0, 0, 0,
+            (),
+           "Return an alist of statistics of the current live objects. ")
+#define FUNC_NAME s_scm_gc_live_object_stats
+{
+  SCM tab = scm_make_hash_table (scm_from_int (57));
+  scm_i_all_segments_statistics (tab);
+  
+  SCM alist
+    = scm_internal_hash_fold (&tag_table_to_type_alist, NULL, SCM_EOL, tab);
+  
+  return alist;
+}
+#undef FUNC_NAME     
+
 extern int scm_gc_malloc_yield_percentage;
 SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
             (),
@@ -307,7 +310,7 @@ SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
   SCM answer;
   unsigned long *bounds = 0;
   int table_size = scm_i_heap_segment_table_size;  
-  SCM_DEFER_INTS;
+  SCM_CRITICAL_SECTION_START;
 
   /*
     temporarily store the numbers, so as not to cause GC.
@@ -347,26 +350,40 @@ SCM_DEFINE (scm_gc_stats, "gc-stats", 0, 0, 0,
 
   for (i = table_size; i--;)
     {
-      heap_segs = scm_cons (scm_cons (scm_ulong2num (bounds[2*i]),
-                                     scm_ulong2num (bounds[2*i+1])),
+      heap_segs = scm_cons (scm_cons (scm_from_ulong (bounds[2*i]),
+                                     scm_from_ulong (bounds[2*i+1])),
                            heap_segs);
     }
-  
-  answer = scm_list_n (scm_cons (sym_gc_time_taken, scm_ulong2num (local_scm_gc_time_taken)),
-                      scm_cons (sym_cells_allocated, scm_ulong2num (local_scm_cells_allocated)),
-                      scm_cons (sym_heap_size, scm_ulong2num (local_scm_heap_size)),
-                      scm_cons (sym_mallocated, scm_ulong2num (local_scm_mallocated)),
-                      scm_cons (sym_mtrigger, scm_ulong2num (local_scm_mtrigger)),
-                      scm_cons (sym_times, scm_ulong2num (local_scm_gc_times)),
-                      scm_cons (sym_gc_mark_time_taken, scm_ulong2num (local_scm_gc_mark_time_taken)),
-                      scm_cons (sym_cells_marked, scm_i_dbl2big (local_scm_gc_cells_marked)),
-                      scm_cons (sym_cells_swept, scm_i_dbl2big (local_scm_gc_cells_swept)),
-                      scm_cons (sym_malloc_yield, scm_long2num (local_scm_gc_malloc_yield_percentage)),
-                      scm_cons (sym_cell_yield, scm_long2num (local_scm_gc_cell_yield_percentage)),
-                      scm_cons (sym_protected_objects, scm_ulong2num (local_protected_obj_count)),
-                      scm_cons (sym_heap_segments, heap_segs),
-                      SCM_UNDEFINED);
-  SCM_ALLOW_INTS;
+  /* njrev: can any of these scm_cons's or scm_list_n signal a memory
+     error?  If so we need a frame here. */
+  answer =
+    scm_list_n (scm_cons (sym_gc_time_taken,
+                         scm_from_ulong (local_scm_gc_time_taken)),
+               scm_cons (sym_cells_allocated,
+                         scm_from_ulong (local_scm_cells_allocated)),
+               scm_cons (sym_heap_size,
+                         scm_from_ulong (local_scm_heap_size)),
+               scm_cons (sym_mallocated,
+                         scm_from_ulong (local_scm_mallocated)),
+               scm_cons (sym_mtrigger,
+                         scm_from_ulong (local_scm_mtrigger)),
+               scm_cons (sym_times,
+                         scm_from_ulong (local_scm_gc_times)),
+               scm_cons (sym_gc_mark_time_taken,
+                         scm_from_ulong (local_scm_gc_mark_time_taken)),
+               scm_cons (sym_cells_marked,
+                         scm_from_double (local_scm_gc_cells_marked)),
+               scm_cons (sym_cells_swept,
+                         scm_from_double (local_scm_gc_cells_swept)),
+               scm_cons (sym_malloc_yield,
+                         scm_from_long(local_scm_gc_malloc_yield_percentage)),
+               scm_cons (sym_cell_yield,
+                         scm_from_long (local_scm_gc_cell_yield_percentage)),
+               scm_cons (sym_protected_objects,
+                         scm_from_ulong (local_protected_obj_count)),
+               scm_cons (sym_heap_segments, heap_segs),
+               SCM_UNDEFINED);
+  SCM_CRITICAL_SECTION_END;
   
   free (bounds);
   return answer;
@@ -413,7 +430,7 @@ SCM_DEFINE (scm_object_address, "object-address", 1, 0, 0,
            "returned by this function for @var{obj}")
 #define FUNC_NAME s_scm_object_address
 {
-  return scm_ulong2num ((unsigned long) SCM_UNPACK (obj));
+  return scm_from_ulong (SCM_UNPACK (obj));
 }
 #undef FUNC_NAME
 
@@ -424,7 +441,19 @@ SCM_DEFINE (scm_gc, "gc", 0, 0, 0,
            "no longer accessible.")
 #define FUNC_NAME s_scm_gc
 {
-  scm_igc ("call");
+  scm_i_scm_pthread_mutex_lock (&scm_i_sweep_mutex);
+  scm_gc_running_p = 1;
+  scm_i_gc ("call");
+  /* njrev: It looks as though other places, e.g. scm_realloc,
+     can call scm_i_gc without acquiring the sweep mutex.  Does this
+     matter?  Also scm_i_gc (or its descendants) touch the
+     scm_sys_protects, which are protected in some cases
+     (e.g. scm_permobjs above in scm_gc_stats) by a critical section,
+     not by the sweep mutex.  Shouldn't all the GC-relevant objects be
+     protected in the same way? */
+  scm_gc_running_p = 0;
+  scm_i_pthread_mutex_unlock (&scm_i_sweep_mutex);
+  scm_c_hook_run (&scm_after_gc_c_hook, 0);
   return SCM_UNSPECIFIED;
 }
 #undef FUNC_NAME
@@ -432,16 +461,18 @@ SCM_DEFINE (scm_gc, "gc", 0, 0, 0,
 
 \f
 
-/* When we get POSIX threads support, the master will be global and
- * common while the freelist will be individual for each thread.
+/* The master is global and common while the freelist will be
+ * individual for each thread.
  */
 
 SCM
 scm_gc_for_newcell (scm_t_cell_type_statistics *freelist, SCM *free_cells)
 {
   SCM cell;
+  int did_gc = 0;
  
-  scm_rec_mutex_lock (&scm_i_sweep_mutex);
+  scm_i_scm_pthread_mutex_lock (&scm_i_sweep_mutex);
+  scm_gc_running_p = 1;
 
   *free_cells = scm_i_sweep_some_segments (freelist);
   if (*free_cells == SCM_EOL && scm_i_gc_grow_heap_p (freelist))
@@ -450,10 +481,10 @@ scm_gc_for_newcell (scm_t_cell_type_statistics *freelist, SCM *free_cells)
       *free_cells = scm_i_sweep_some_segments (freelist);
     }
 
-  if (*free_cells == SCM_EOL && !scm_block_gc)
+  if (*free_cells == SCM_EOL)
     {
       /*
-       with the advent of lazy sweep, GC yield is only know just
+       with the advent of lazy sweep, GC yield is only known just
        before doing the GC.
       */
       scm_i_adjust_min_yield (freelist);
@@ -462,7 +493,8 @@ scm_gc_for_newcell (scm_t_cell_type_statistics *freelist, SCM *free_cells)
        out of fresh cells. Try to get some new ones.
        */
 
-      scm_igc ("cells");
+      did_gc = 1;
+      scm_i_gc ("cells");
 
       *free_cells = scm_i_sweep_some_segments (freelist);
     }
@@ -483,7 +515,11 @@ scm_gc_for_newcell (scm_t_cell_type_statistics *freelist, SCM *free_cells)
 
   *free_cells = SCM_FREE_CELL_CDR (cell);
 
-  scm_rec_mutex_unlock (&scm_i_sweep_mutex);
+  scm_gc_running_p = 0;
+  scm_i_pthread_mutex_unlock (&scm_i_sweep_mutex);
+
+  if (did_gc)
+    scm_c_hook_run (&scm_after_gc_c_hook, 0);
 
   return cell;
 }
@@ -495,40 +531,34 @@ scm_t_c_hook scm_before_sweep_c_hook;
 scm_t_c_hook scm_after_sweep_c_hook;
 scm_t_c_hook scm_after_gc_c_hook;
 
+/* Must be called while holding scm_i_sweep_mutex.
+ */
+
 void
-scm_igc (const char *what)
+scm_i_gc (const char *what)
 {
-  scm_rec_mutex_lock (&scm_i_sweep_mutex);
-  ++scm_gc_running_p;
+  scm_i_thread_put_to_sleep ();
+
   scm_c_hook_run (&scm_before_gc_c_hook, 0);
 
 #ifdef DEBUGINFO
   fprintf (stderr,"gc reason %s\n", what);
   
   fprintf (stderr,
-          SCM_NULLP (*SCM_FREELIST_LOC (scm_i_freelist))
+          scm_is_null (*SCM_FREELIST_LOC (scm_i_freelist))
           ? "*"
-          : (SCM_NULLP (*SCM_FREELIST_LOC (scm_i_freelist2)) ? "o" : "m"));
+          : (scm_is_null (*SCM_FREELIST_LOC (scm_i_freelist2)) ? "o" : "m"));
 #endif
 
-  /* During the critical section, only the current thread may run. */
-  scm_i_thread_put_to_sleep ();
-
-  if (!scm_root || !scm_stack_base || scm_block_gc)
-    {
-      --scm_gc_running_p;
-      return;
-    }
-
   gc_start_stats (what);
 
-  if (scm_gc_heap_lock)
-    /* We've invoked the collector while a GC is already in progress.
-       That should never happen.  */
-    abort ();
-
-  ++scm_gc_heap_lock;
-
+  /*
+    Set freelists to NULL so scm_cons() always triggers gc, causing
+    the assertion above to fail.
+  */
+  *SCM_FREELIST_LOC (scm_i_freelist) = SCM_EOL;
+  *SCM_FREELIST_LOC (scm_i_freelist2) = SCM_EOL;
+  
   /*
     Let's finish the sweep. The conservative GC might point into the
     garbage, and marking that would create a mess.
@@ -550,28 +580,17 @@ scm_igc (const char *what)
   scm_mallocated -= scm_i_deprecated_memory_return;
 
   
-  
-  scm_c_hook_run (&scm_before_mark_c_hook, 0);
+  /* Mark */
 
+  scm_c_hook_run (&scm_before_mark_c_hook, 0);
   scm_mark_all ();
-  
   scm_gc_mark_time_taken += (scm_c_get_internal_run_time () - t_before_gc);
 
-  scm_c_hook_run (&scm_before_sweep_c_hook, 0);
-
-  /*
-    Moved this lock upwards so that we can alloc new heap at the end of a sweep.
-
-    DOCME: why should the heap be locked anyway?
-   */
-  --scm_gc_heap_lock;
-
-  scm_gc_sweep ();
-
+  /* Sweep
 
-  /*
-    TODO: this hook should probably be moved to just before the mark,
-    since that's where the  sweep is finished in lazy sweeping.
+    TODO: the after_sweep hook should probably be moved to just before
+    the mark, since that's where the sweep is finished in lazy
+    sweeping.
 
     MDJ 030219 <djurfeldt@nada.kth.se>: No, probably not.  The
     original meaning implied at least two things: that it would be
@@ -592,18 +611,15 @@ scm_igc (const char *what)
     distinct classes of hook functions since this can prevent some
     bad interference when several modules adds gc hooks.
    */
+
+  scm_c_hook_run (&scm_before_sweep_c_hook, 0);
+  scm_gc_sweep ();
   scm_c_hook_run (&scm_after_sweep_c_hook, 0);
+
   gc_end_stats ();
 
   scm_i_thread_wake_up ();
 
-  /*
-    See above.
-   */
-  scm_c_hook_run (&scm_after_gc_c_hook, 0);
-  --scm_gc_running_p;
-  scm_rec_mutex_unlock (&scm_i_sweep_mutex);
-
   /*
     For debugging purposes, you could do
     scm_i_sweep_all_segments("debug"), but then the remains of the
@@ -636,7 +652,7 @@ scm_igc (const char *what)
  * the conservative gc we add the call to scm_remember_upto_here_1 _after_ the
  * call to 'some_function'.  Note that this would not be necessary if str was
  * used anyway after the call to 'some_function'.
- *   char *chars = SCM_STRING_CHARS (str);
+ *   char *chars = scm_i_string_chars (str);
  *   some_function (chars);
  *   scm_remember_upto_here_1 (str);  // str will be alive up to this point.
  */
@@ -689,9 +705,11 @@ scm_return_first_int (int i, ...)
 SCM
 scm_permanent_object (SCM obj)
 {
-  SCM_REDEFER_INTS;
-  scm_permobjs = scm_cons (obj, scm_permobjs);
-  SCM_REALLOW_INTS;
+  SCM cell = scm_cons (obj, SCM_EOL);
+  SCM_CRITICAL_SECTION_START;
+  SCM_SETCDR (cell, scm_permobjs);
+  scm_permobjs = cell;
+  SCM_CRITICAL_SECTION_END;
   return obj;
 }
 
@@ -718,14 +736,16 @@ scm_gc_protect_object (SCM obj)
   SCM handle;
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: Indeed; if my comment above is correct, there is the same
+     critsec/mutex inconsistency here. */
+  SCM_CRITICAL_SECTION_START;
 
-  handle = scm_hashq_create_handle_x (scm_protects, obj, SCM_MAKINUM (0));
-  SCM_SETCDR (handle, scm_sum (SCM_CDR (handle), SCM_MAKINUM (1)));
+  handle = scm_hashq_create_handle_x (scm_protects, obj, scm_from_int (0));
+  SCM_SETCDR (handle, scm_sum (SCM_CDR (handle), scm_from_int (1)));
 
   protected_obj_count ++;
   
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 
   return obj;
 }
@@ -741,8 +761,15 @@ scm_gc_unprotect_object (SCM obj)
   SCM handle;
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: and again. */
+  SCM_CRITICAL_SECTION_START;
 
+  if (scm_gc_running_p)
+    {
+      fprintf (stderr, "scm_unprotect_object called during GC.\n");
+      abort ();
+    }
   handle = scm_hashq_get_handle (scm_protects, obj);
 
   if (scm_is_false (handle))
@@ -752,15 +779,15 @@ scm_gc_unprotect_object (SCM obj)
     }
   else
     {
-      SCM count = scm_difference (SCM_CDR (handle), SCM_MAKINUM (1));
-      if (SCM_EQ_P (count, SCM_MAKINUM (0)))
+      SCM count = scm_difference (SCM_CDR (handle), scm_from_int (1));
+      if (scm_is_eq (count, scm_from_int (0)))
        scm_hashq_remove_x (scm_protects, obj);
       else
        SCM_SETCDR (handle, count);
     }
   protected_obj_count --;
 
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 
   return obj;
 }
@@ -769,25 +796,29 @@ void
 scm_gc_register_root (SCM *p)
 {
   SCM handle;
-  SCM key = scm_long2num ((long) p);
+  SCM key = scm_from_ulong ((unsigned long) p);
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: and again. */
+  SCM_CRITICAL_SECTION_START;
 
-  handle = scm_hashv_create_handle_x (scm_gc_registered_roots, key, SCM_MAKINUM (0));
-  SCM_SETCDR (handle, scm_sum (SCM_CDR (handle), SCM_MAKINUM (1)));
+  handle = scm_hashv_create_handle_x (scm_gc_registered_roots, key,
+                                     scm_from_int (0));
+  /* njrev: note also that the above can probably signal an error */
+  SCM_SETCDR (handle, scm_sum (SCM_CDR (handle), scm_from_int (1)));
 
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 }
 
 void
 scm_gc_unregister_root (SCM *p)
 {
   SCM handle;
-  SCM key = scm_long2num ((long) p);
+  SCM key = scm_from_ulong ((unsigned long) p);
 
   /* This critical section barrier will be replaced by a mutex. */
-  SCM_REDEFER_INTS;
+  /* njrev: and again. */
+  SCM_CRITICAL_SECTION_START;
 
   handle = scm_hashv_get_handle (scm_gc_registered_roots, key);
 
@@ -798,14 +829,14 @@ scm_gc_unregister_root (SCM *p)
     }
   else
     {
-      SCM count = scm_difference (SCM_CDR (handle), SCM_MAKINUM (1));
-      if (SCM_EQ_P (count, SCM_MAKINUM (0)))
+      SCM count = scm_difference (SCM_CDR (handle), scm_from_int (1));
+      if (scm_is_eq (count, scm_from_int (0)))
        scm_hashv_remove_x (scm_gc_registered_roots, key);
       else
        SCM_SETCDR (handle, count);
     }
 
-  SCM_REALLOW_INTS;
+  SCM_CRITICAL_SECTION_END;
 }
 
 void
@@ -826,25 +857,6 @@ scm_gc_unregister_roots (SCM *b, unsigned long n)
 
 int scm_i_terminating;
 
-/* called on process termination.  */
-#ifdef HAVE_ATEXIT
-static void
-cleanup (void)
-#else
-#ifdef HAVE_ON_EXIT
-extern int on_exit (void (*procp) (), int arg);
-
-static void
-cleanup (int status, void *arg)
-#else
-#error Dont know how to setup a cleanup handler on your system.
-#endif
-#endif
-{
-  scm_i_terminating = 1;
-  scm_flush_all_ports ();
-}
-
 \f
 
 
@@ -877,18 +889,16 @@ scm_storage_prehistory ()
   scm_c_hook_init (&scm_after_gc_c_hook, 0, SCM_C_HOOK_NORMAL);
 }
 
+scm_i_pthread_mutex_t scm_i_gc_admin_mutex = SCM_I_PTHREAD_MUTEX_INITIALIZER;
+
 int
 scm_init_storage ()
 {
   size_t j;
 
-  /* Fixme: Should use mutexattr from the low-level API. */
-  scm_rec_mutex_init (&scm_i_sweep_mutex, &scm_i_plugin_rec_mutex);
-  
   j = SCM_NUM_PROTECTS;
   while (j)
     scm_sys_protects[--j] = SCM_BOOL_F;
-  scm_block_gc = 1;
 
   scm_gc_init_freelist();
   scm_gc_init_malloc ();
@@ -902,6 +912,10 @@ scm_init_storage ()
   if (!scm_i_port_table)
     return 1;
 
+#if 0
+  /* We can't have a cleanup handler since we have no thread to run it
+     in. */
+
 #ifdef HAVE_ATEXIT
   atexit (cleanup);
 #else
@@ -910,7 +924,9 @@ scm_init_storage ()
 #endif
 #endif
 
-  scm_stand_in_procs = SCM_EOL;
+#endif
+
+  scm_stand_in_procs = scm_c_make_hash_table (257);
   scm_permobjs = SCM_EOL;
   scm_protects = scm_c_make_hash_table (31);
   scm_gc_registered_roots = scm_c_make_hash_table (31);
@@ -970,6 +986,7 @@ mark_gc_async (void * hook_data SCM_UNUSED,
    * collection hooks and the execution count of the scheme level
    * after-gc-hook.
    */
+
 #if (SCM_DEBUG_CELL_ACCESSES == 1)
   if (scm_debug_cells_gc_interval == 0)
     scm_system_async_mark (gc_async);
@@ -1011,8 +1028,6 @@ scm_gc_sweep (void)
    */
   scm_i_reset_segments ();
   
-  /* When we move to POSIX threads private freelists should probably
-     be GC-protected instead. */
   *SCM_FREELIST_LOC (scm_i_freelist) = SCM_EOL;
   *SCM_FREELIST_LOC (scm_i_freelist2) = SCM_EOL;