* eval.c (s_scm_copy_tree): idem.
[bpt/guile.git] / libguile / hashtab.c
index ca06b20..eadee95 100644 (file)
@@ -1,43 +1,19 @@
-/* Copyright (C) 1995,1996,1998,1999,2000,2001 Free Software Foundation, Inc.
+/* Copyright (C) 1995,1996,1998,1999,2000,2001, 2003, 2004 Free Software Foundation, Inc.
  * 
- * This program is free software; you can redistribute it and/or modify
- * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 2, or (at your option)
- * any later version.
- * 
- * This program is distributed in the hope that it will be useful,
- * but WITHOUT ANY WARRANTY; without even the implied warranty of
- * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
- * 
- * You should have received a copy of the GNU General Public License
- * along with this software; see the file COPYING.  If not, write to
- * the Free Software Foundation, Inc., 59 Temple Place, Suite 330,
- * Boston, MA 02111-1307 USA
- *
- * As a special exception, the Free Software Foundation gives permission
- * for additional uses of the text contained in its release of GUILE.
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 2.1 of the License, or (at your option) any later version.
  *
- * The exception is that, if you link the GUILE library with other files
- * to produce an executable, this does not by itself cause the
- * resulting executable to be covered by the GNU General Public License.
- * Your use of that executable is in no way restricted on account of
- * linking the GUILE library code into it.
- *
- * This exception does not however invalidate any other reasons why
- * the executable file might be covered by the GNU General Public License.
- *
- * This exception applies only to the code released by the
- * Free Software Foundation under the name GUILE.  If you copy
- * code from other Free Software Foundation releases into a copy of
- * GUILE, as the General Public License permits, the exception does
- * not apply to the code that you add in this way.  To avoid misleading
- * anyone as to the status of such modified files, you must delete
- * this exception notice from them.
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
  *
- * If you write modifications of your own for GUILE, it is your choice
- * whether to permit this exception to apply to your modifications.
- * If you do not wish that, delete this exception notice.  */
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with this library; if not, write to the Free Software
+ * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
+ */
 
 
 \f
 #include "libguile/eval.h"
 #include "libguile/root.h"
 #include "libguile/vectors.h"
+#include "libguile/ports.h"
 
 #include "libguile/validate.h"
 #include "libguile/hashtab.h"
 \f
 
+/* NOTES
+ *
+ * 1. The current hash table implementation uses weak alist vectors
+ *    (implementation in weaks.c) internally, but we do the scanning
+ *    ourselves (in scan_weak_hashtables) because we need to update the
+ *    hash table structure when items are dropped during GC.
+ *
+ * 2. All hash table operations still work on alist vectors.
+ *
+ */
+
+/* Hash tables are either vectors of association lists or smobs
+ * containing such vectors.  Currently, the vector version represents
+ * constant size tables while those wrapped in a smob represents
+ * resizing tables.
+ *
+ * Growing or shrinking, with following rehashing, is triggered when
+ * the load factor
+ *
+ *   L = N / S    (N: number of items in table, S: bucket vector length)
+ *
+ * passes an upper limit of 0.9 or a lower limit of 0.25.
+ *
+ * The implementation stores the upper and lower number of items which
+ * trigger a resize in the hashtable object.
+ *
+ * Possible hash table sizes (primes) are stored in the array
+ * hashtable_size.
+ */
+
+scm_t_bits scm_tc16_hashtable;
+
+#define HASHTABLE_SIZE_N 25
+
+static unsigned long hashtable_size[] = {
+  31, 61, 113, 223, 443, 883, 1759, 3517, 7027, 14051, 28099, 56197, 112363,
+  224717, 449419, 898823, 1797641, 3595271, 7190537, 14381041, 28762081,
+  57524111, 115048217, 230096423, 460192829 /* larger values can't be
+                                              represented as INUMs */
+};
+
+/* Turn an empty vector hash table into an opaque resizable one. */
+
+static char *s_hashtable = "hashtable";
+
+SCM weak_hashtables = SCM_EOL;
+
+static SCM
+make_hash_table (int flags, unsigned long k, const char *func_name) {
+  SCM table, vector;
+  scm_t_hashtable *t;
+  int i = 0, n = k ? k : 31;
+  while (i < HASHTABLE_SIZE_N && n > hashtable_size[i])
+    ++i;
+  n = hashtable_size[i];
+  if (flags)
+    /* The SCM_WVECTF_NOSCAN flag informs the weak vector code not to
+       perform the final scan for broken references.  Instead we do
+       that ourselves in scan_weak_hashtables. */
+    vector = scm_i_allocate_weak_vector (flags | SCM_WVECTF_NOSCAN,
+                                        SCM_MAKINUM (n),
+                                        SCM_EOL,
+                                        func_name);
+  else
+    vector = scm_c_make_vector (n, SCM_EOL);
+  t = scm_gc_malloc (sizeof (*t), s_hashtable);
+  t->min_size_index = t->size_index = i;
+  t->n_items = 0;
+  t->lower = 0;
+  t->upper = 9 * n / 10;
+  t->flags = flags;
+  if (flags)
+    {
+      SCM_NEWSMOB3 (table, scm_tc16_hashtable, vector, t, weak_hashtables);
+      weak_hashtables = table;
+    }
+  else
+    SCM_NEWSMOB3 (table, scm_tc16_hashtable, vector, t, SCM_EOL);
+  return table;
+}
+
+
+void
+scm_i_rehash (SCM table,
+             unsigned long (*hash_fn)(),
+             void *closure,
+             const char* func_name)
+{
+  SCM buckets, new_buckets;
+  int i;
+  unsigned long old_size;
+  unsigned long new_size;
+
+  if (SCM_HASHTABLE_N_ITEMS (table) < SCM_HASHTABLE_LOWER (table))
+    {
+      /* rehashing is not triggered when i <= min_size */
+      i = SCM_HASHTABLE (table)->size_index;
+      do
+       --i;
+      while (i > SCM_HASHTABLE (table)->min_size_index
+            && SCM_HASHTABLE_N_ITEMS (table) < hashtable_size[i] / 4);
+    }
+  else
+    {
+      i = SCM_HASHTABLE (table)->size_index + 1;
+      if (i >= HASHTABLE_SIZE_N)
+       /* don't rehash */
+       return;
+      /* store for use in rehash_after_gc */
+      SCM_HASHTABLE (table)->hash_fn = hash_fn;
+      SCM_HASHTABLE (table)->closure = closure;
+    }
+  SCM_HASHTABLE (table)->size_index = i;
+  
+  new_size = hashtable_size[i];
+  if (i <= SCM_HASHTABLE (table)->min_size_index)
+    SCM_HASHTABLE (table)->lower = 0;
+  else
+    SCM_HASHTABLE (table)->lower = new_size / 4;
+  SCM_HASHTABLE (table)->upper = 9 * new_size / 10;
+  buckets = SCM_HASHTABLE_VECTOR (table);
+  
+  if (SCM_HASHTABLE_WEAK_P (table))
+    new_buckets = scm_i_allocate_weak_vector (SCM_HASHTABLE_FLAGS (table)
+                                             | SCM_WVECTF_NOSCAN,
+                                             SCM_MAKINUM (new_size),
+                                             SCM_EOL,
+                                             func_name);
+  else
+    new_buckets = scm_c_make_vector (new_size, SCM_EOL);
+
+  old_size = SCM_VECTOR_LENGTH (buckets);
+  for (i = 0; i < old_size; ++i)
+    {
+      SCM ls = SCM_VELTS (buckets)[i], handle;
+      while (!SCM_NULLP (ls))
+       {
+         unsigned long h;
+         handle = SCM_CAR (ls);
+         h = hash_fn (SCM_CAR (handle), new_size, closure);
+         if (h >= new_size)
+           scm_out_of_range (func_name, scm_ulong2num (h));
+         SCM_VECTOR_SET (new_buckets, h,
+                         scm_cons (handle, SCM_VELTS (new_buckets)[h]));
+         ls = SCM_CDR (ls);
+       }
+    }
+  SCM_SET_HASHTABLE_VECTOR (table, new_buckets);
+}
+
+
+static int
+hashtable_print (SCM exp, SCM port, scm_print_state *pstate SCM_UNUSED)
+{
+  scm_t_hashtable *t = SCM_HASHTABLE (exp);
+  scm_puts ("#<", port);
+  if (SCM_HASHTABLE_WEAK_KEY_P (exp))
+    scm_puts ("weak-key-", port);
+  else if (SCM_HASHTABLE_WEAK_VALUE_P (exp))
+    scm_puts ("weak-value-", port);
+  else if (SCM_HASHTABLE_DOUBLY_WEAK_P (exp))
+    scm_puts ("doubly-weak-", port);
+  scm_puts ("hash-table ", port);
+  scm_intprint ((unsigned long) t->n_items, 10, port);
+  scm_putc ('/', port);
+  scm_intprint ((unsigned long) SCM_VECTOR_LENGTH (SCM_HASHTABLE_VECTOR (exp)),
+               10, port);
+  scm_puts (">", port);
+  return 1;
+}
+
+#define UNMARKED_CELL_P(x) (SCM_NIMP(x) && !SCM_GC_MARK_P (x))
+
+/* keep track of hash tables that need to shrink after scan */
+static SCM to_rehash = SCM_EOL;
+
+/* scan hash tables for broken references, remove them, and update
+   hash tables item count */
+static void *
+scan_weak_hashtables (void *dummy1 SCM_UNUSED,
+                     void *dummy2 SCM_UNUSED,
+                     void *dummy3 SCM_UNUSED)
+{
+  SCM *next = &weak_hashtables;
+  SCM h = *next;
+  while (!SCM_NULLP (h))
+    {
+      if (!SCM_GC_MARK_P (h))
+       *next = h = SCM_HASHTABLE_NEXT (h);
+      else
+       {
+         SCM alist;
+         int i, n = SCM_HASHTABLE_N_BUCKETS (h);
+         int weak_car = SCM_HASHTABLE_FLAGS (h) & SCM_HASHTABLEF_WEAK_CAR;
+         int weak_cdr = SCM_HASHTABLE_FLAGS (h) & SCM_HASHTABLEF_WEAK_CDR;
+         int check_size_p = 0;
+         for (i = 0; i < n; ++i)
+           {
+             SCM *next_spine = (SCM *) &SCM_HASHTABLE_BUCKETS (h)[i];
+             for (alist = *next_spine;
+                  !SCM_NULLP (alist);
+                  alist = SCM_CDR (alist))
+               if ((weak_car && UNMARKED_CELL_P (SCM_CAAR (alist)))
+                   || (weak_cdr && UNMARKED_CELL_P (SCM_CDAR (alist))))
+                 {
+                   *next_spine = SCM_CDR (alist);
+                   SCM_HASHTABLE_DECREMENT (h);
+                   check_size_p = 1;
+                 }
+               else
+                 next_spine = SCM_CDRLOC (alist);
+           }
+         if (check_size_p
+             && SCM_HASHTABLE_N_ITEMS (h) < SCM_HASHTABLE_LOWER (h))
+           {
+             SCM tmp = SCM_HASHTABLE_NEXT (h);
+             /* temporarily move table from weak_hashtables to to_rehash */
+             SCM_SET_HASHTABLE_NEXT (h, to_rehash);
+             to_rehash = h;
+             *next = h = tmp;
+           }
+         else
+           {
+             next = SCM_HASHTABLE_NEXTLOC (h);
+             h = SCM_HASHTABLE_NEXT (h);
+           }
+       }
+    }
+  return 0;
+}
+
+static void *
+rehash_after_gc (void *dummy1 SCM_UNUSED,
+                void *dummy2 SCM_UNUSED,
+                void *dummy3 SCM_UNUSED)
+{
+  if (!SCM_NULLP (to_rehash))
+    {
+      SCM h = to_rehash, last;
+      /* important to clear to_rehash here so that we don't get stuck
+        in an infinite loop if scm_i_rehash causes GC */
+      to_rehash = SCM_EOL;
+      do
+       {
+         scm_i_rehash (h,
+                       /* use same hash_fn and closure as last time */
+                       SCM_HASHTABLE (h)->hash_fn,
+                       SCM_HASHTABLE (h)->closure,
+                       "rehash_after_gc");
+         last = h;
+         h = SCM_HASHTABLE_NEXT (h);
+       } while (!SCM_NULLP (h));
+      /* move tables back to weak_hashtables */
+      SCM_SET_HASHTABLE_NEXT (last, weak_hashtables);
+      weak_hashtables = to_rehash;
+    }
+  return 0;
+}
+
+static size_t
+hashtable_free (SCM obj)
+{
+  scm_gc_free (SCM_HASHTABLE (obj), sizeof (scm_t_hashtable), s_hashtable);
+  return 0;
+}
+
+
 SCM
 scm_c_make_hash_table (unsigned long k)
 {
-  return scm_c_make_vector (k, SCM_EOL);
+  return make_hash_table (0, k, "scm_c_make_hash_table");
+}
+
+SCM_DEFINE (scm_make_hash_table, "make-hash-table", 0, 1, 0,
+           (SCM n),
+           "Make a hash table with optional minimum number of buckets @var{n}\n")
+#define FUNC_NAME s_scm_make_hash_table
+{
+  if (SCM_UNBNDP (n))
+    return make_hash_table (0, 0, FUNC_NAME);
+  else
+    {
+      int k;
+      SCM_VALIDATE_INUM_COPY (1, n, k);
+      return make_hash_table (0, k, FUNC_NAME);
+    }
 }
+#undef FUNC_NAME
+
+SCM_DEFINE (scm_make_weak_key_hash_table, "make-weak-key-hash-table", 0, 1, 0, 
+           (SCM n),
+           "@deffnx {Scheme Procedure} make-weak-value-hash-table size\n"
+           "@deffnx {Scheme Procedure} make-doubly-weak-hash-table size\n"
+           "Return a weak hash table with @var{size} buckets. As with any\n"
+           "hash table, choosing a good size for the table requires some\n"
+           "caution.\n"
+           "\n"
+           "You can modify weak hash tables in exactly the same way you\n"
+           "would modify regular hash tables. (@pxref{Hash Tables})")
+#define FUNC_NAME s_scm_make_weak_key_hash_table
+{
+  if (SCM_UNBNDP (n))
+    return make_hash_table (SCM_HASHTABLEF_WEAK_CAR, 0, FUNC_NAME);
+  else
+    {
+      int k;
+      SCM_VALIDATE_INUM_COPY (1, n, k);
+      return make_hash_table (SCM_HASHTABLEF_WEAK_CAR, k, FUNC_NAME);
+    }
+}
+#undef FUNC_NAME
+
+
+SCM_DEFINE (scm_make_weak_value_hash_table, "make-weak-value-hash-table", 0, 1, 0, 
+            (SCM n),
+           "Return a hash table with weak values with @var{size} buckets.\n"
+           "(@pxref{Hash Tables})")
+#define FUNC_NAME s_scm_make_weak_value_hash_table
+{
+  if (SCM_UNBNDP (n))
+    return make_hash_table (SCM_HASHTABLEF_WEAK_CDR, 0, FUNC_NAME);
+  else
+    {
+      int k;
+      SCM_VALIDATE_INUM_COPY (1, n, k);
+      return make_hash_table (SCM_HASHTABLEF_WEAK_CDR, k, FUNC_NAME);
+    }
+}
+#undef FUNC_NAME
+
+
+SCM_DEFINE (scm_make_doubly_weak_hash_table, "make-doubly-weak-hash-table", 1, 0, 0, 
+            (SCM n),
+           "Return a hash table with weak keys and values with @var{size}\n"
+           "buckets.  (@pxref{Hash Tables})")
+#define FUNC_NAME s_scm_make_doubly_weak_hash_table
+{
+  if (SCM_UNBNDP (n))
+    return make_hash_table (SCM_HASHTABLEF_WEAK_CAR | SCM_HASHTABLEF_WEAK_CDR,
+                           0,
+                           FUNC_NAME);
+  else
+    {
+      int k;
+      SCM_VALIDATE_INUM_COPY (1, n, k);
+      return make_hash_table (SCM_HASHTABLEF_WEAK_CAR | SCM_HASHTABLEF_WEAK_CDR,
+                             k,
+                             FUNC_NAME);
+    }
+}
+#undef FUNC_NAME
+
+
+SCM_DEFINE (scm_hash_table_p, "hash-table?", 1, 0, 0, 
+            (SCM obj),
+           "Return @code{#t} if @var{obj} is a hash table.")
+#define FUNC_NAME s_scm_hash_table_p
+{
+  return SCM_BOOL (SCM_HASHTABLE_P (obj));
+}
+#undef FUNC_NAME
+
+
+SCM_DEFINE (scm_weak_key_hash_table_p, "weak-key-hash-table?", 1, 0, 0, 
+           (SCM obj),
+           "@deffnx {Scheme Procedure} weak-value-hash-table? obj\n"
+           "@deffnx {Scheme Procedure} doubly-weak-hash-table? obj\n"
+           "Return @code{#t} if @var{obj} is the specified weak hash\n"
+           "table. Note that a doubly weak hash table is neither a weak key\n"
+           "nor a weak value hash table.")
+#define FUNC_NAME s_scm_weak_key_hash_table_p
+{
+  return SCM_BOOL (SCM_HASHTABLE_P (obj) && SCM_HASHTABLE_WEAK_KEY_P (obj));
+}
+#undef FUNC_NAME
+
+
+SCM_DEFINE (scm_weak_value_hash_table_p, "weak-value-hash-table?", 1, 0, 0, 
+            (SCM obj),
+           "Return @code{#t} if @var{obj} is a weak value hash table.")
+#define FUNC_NAME s_scm_weak_value_hash_table_p
+{
+  return SCM_BOOL (SCM_HASHTABLE_P (obj) && SCM_HASHTABLE_WEAK_VALUE_P (obj));
+}
+#undef FUNC_NAME
+
+
+SCM_DEFINE (scm_doubly_weak_hash_table_p, "doubly-weak-hash-table?", 1, 0, 0, 
+            (SCM obj),
+           "Return @code{#t} if @var{obj} is a doubly weak hash table.")
+#define FUNC_NAME s_scm_doubly_weak_hash_table_p
+{
+  return SCM_BOOL (SCM_HASHTABLE_P (obj) && SCM_HASHTABLE_DOUBLY_WEAK_P (obj));
+}
+#undef FUNC_NAME
 
 
 SCM
-scm_hash_fn_get_handle (SCM table,SCM obj,unsigned long (*hash_fn)(),SCM (*assoc_fn)(),void * closure)
+scm_hash_fn_get_handle (SCM table, SCM obj, unsigned long (*hash_fn)(), SCM (*assoc_fn)(), void * closure)
 #define FUNC_NAME "scm_hash_fn_get_handle"
 {
   unsigned long k;
   SCM h;
 
-  SCM_VALIDATE_VECTOR (1, table);
+  if (SCM_HASHTABLE_P (table))
+    table = SCM_HASHTABLE_VECTOR (table);
+  else
+    SCM_VALIDATE_VECTOR (1, table);
   if (SCM_VECTOR_LENGTH (table) == 0)
     return SCM_BOOL_F;
   k = hash_fn (obj, SCM_VECTOR_LENGTH (table), closure);
@@ -80,43 +450,50 @@ scm_hash_fn_get_handle (SCM table,SCM obj,unsigned long (*hash_fn)(),SCM (*assoc
 
 
 SCM
-scm_hash_fn_create_handle_x (SCM table,SCM obj,SCM init,unsigned long (*hash_fn)(),
-                             SCM (*assoc_fn)(),void * closure)
+scm_hash_fn_create_handle_x (SCM table, SCM obj, SCM init, unsigned long (*hash_fn)(),
+                             SCM (*assoc_fn)(), void * closure)
 #define FUNC_NAME "scm_hash_fn_create_handle_x"
 {
   unsigned long k;
-  SCM it;
+  SCM buckets, it;
 
-  SCM_ASSERT (SCM_VECTORP (table), table, SCM_ARG1, "hash_fn_create_handle_x");
-  if (SCM_VECTOR_LENGTH (table) == 0)
+  if (SCM_HASHTABLE_P (table))
+    buckets = SCM_HASHTABLE_VECTOR (table);
+  else
+    {
+      SCM_ASSERT (SCM_VECTORP (table),
+                 table, SCM_ARG1, "hash_fn_create_handle_x");
+      buckets = table;
+    }
+  if (SCM_VECTOR_LENGTH (buckets) == 0)
     SCM_MISC_ERROR ("void hashtable", SCM_EOL);
 
-  k = hash_fn (obj, SCM_VECTOR_LENGTH (table), closure);
-  if (k >= SCM_VECTOR_LENGTH (table))
+  k = hash_fn (obj, SCM_VECTOR_LENGTH (buckets), closure);
+  if (k >= SCM_VECTOR_LENGTH (buckets))
     scm_out_of_range ("hash_fn_create_handle_x", scm_ulong2num (k));
-  SCM_REDEFER_INTS;
-  it = assoc_fn (obj, SCM_VELTS (table)[k], closure);
-  if (SCM_NIMP (it))
+  it = assoc_fn (obj, SCM_VELTS (buckets)[k], closure);
+  if (!SCM_FALSEP (it))
+    return it;
+  else
     {
-      SCM_REALLOW_INTS;
-      return it;
+      SCM old_bucket = SCM_VELTS (buckets)[k];
+      SCM new_bucket = scm_acons (obj, init, old_bucket);
+      SCM_VECTOR_SET (buckets, k, new_bucket);
+      if (table != buckets)
+       {
+         SCM_HASHTABLE_INCREMENT (table);
+         if (SCM_HASHTABLE_N_ITEMS (table) > SCM_HASHTABLE_UPPER (table))
+           scm_i_rehash (table, hash_fn, closure, FUNC_NAME);
+       }
+      return SCM_CAR (new_bucket);
     }
-  {
-    SCM new_bucket;
-    SCM old_bucket;
-    old_bucket = SCM_VELTS (table)[k];
-    new_bucket = scm_acons (obj, init, old_bucket);
-    SCM_VELTS(table)[k] = new_bucket;
-    SCM_REALLOW_INTS;
-    return SCM_CAR (new_bucket);
-  }
 }
 #undef FUNC_NAME
 
 
 SCM 
-scm_hash_fn_ref (SCM table,SCM obj,SCM dflt,unsigned long (*hash_fn)(),
-                 SCM (*assoc_fn)(),void * closure)
+scm_hash_fn_ref (SCM table, SCM obj, SCM dflt, unsigned long (*hash_fn)(),
+                 SCM (*assoc_fn)(), void * closure)
 {
   SCM it = scm_hash_fn_get_handle (table, obj, hash_fn, assoc_fn, closure);
   if (SCM_CONSP (it))
@@ -129,8 +506,8 @@ scm_hash_fn_ref (SCM table,SCM obj,SCM dflt,unsigned long (*hash_fn)(),
 
 
 SCM 
-scm_hash_fn_set_x (SCM table,SCM obj,SCM val,unsigned long (*hash_fn)(),
-                   SCM (*assoc_fn)(),void * closure)
+scm_hash_fn_set_x (SCM table, SCM obj, SCM val, unsigned long (*hash_fn)(),
+                   SCM (*assoc_fn)(), void * closure)
 {
   SCM it;
 
@@ -144,23 +521,50 @@ scm_hash_fn_set_x (SCM table,SCM obj,SCM val,unsigned long (*hash_fn)(),
 
 
 SCM 
-scm_hash_fn_remove_x (SCM table,SCM obj,unsigned long (*hash_fn)(),SCM (*assoc_fn)(),
-                      SCM (*delete_fn)(),void * closure)
+scm_hash_fn_remove_x (SCM table, SCM obj, unsigned long (*hash_fn)(), SCM (*assoc_fn)(),
+                      SCM (*delete_fn)(), void * closure)
 {
   unsigned long k;
-  SCM h;
+  SCM buckets, h;
 
-  SCM_ASSERT (SCM_VECTORP (table), table, SCM_ARG1, "hash_fn_remove_x");
+  if (SCM_HASHTABLE_P (table))
+    buckets = SCM_HASHTABLE_VECTOR (table);
+  else
+    {
+      SCM_ASSERT (SCM_VECTORP (table), table, SCM_ARG1, "hash_fn_remove_x");
+      buckets = table;
+    }
   if (SCM_VECTOR_LENGTH (table) == 0)
     return SCM_EOL;
-  k = hash_fn (obj, SCM_VECTOR_LENGTH (table), closure);
-  if (k >= SCM_VECTOR_LENGTH (table))
+
+  k = hash_fn (obj, SCM_VECTOR_LENGTH (buckets), closure);
+  if (k >= SCM_VECTOR_LENGTH (buckets))
     scm_out_of_range ("hash_fn_remove_x", scm_ulong2num (k));
-  h = assoc_fn (obj, SCM_VELTS (table)[k], closure);
-  SCM_VELTS(table)[k] = delete_fn (h, SCM_VELTS(table)[k]);
+  h = assoc_fn (obj, SCM_VELTS (buckets)[k], closure);
+  if (!SCM_FALSEP (h))
+    {
+      SCM_VECTOR_SET (buckets, k, delete_fn (h, SCM_VELTS (buckets)[k]));
+      if (table != buckets)
+       {
+         SCM_HASHTABLE_DECREMENT (table);
+         if (SCM_HASHTABLE_N_ITEMS (table) < SCM_HASHTABLE_LOWER (table))
+           scm_i_rehash (table, hash_fn, closure, "scm_hash_fn_remove_x");
+       }
+    }
   return h;
 }
 
+SCM_DEFINE (scm_hash_clear_x, "hash-clear!", 1, 0, 0,
+           (SCM table),
+           "Remove all items from TABLE (without triggering a resize).")
+#define FUNC_NAME s_scm_hash_clear_x
+{
+  SCM_VALIDATE_HASHTABLE (1, table);
+  scm_vector_fill_x (SCM_HASHTABLE_VECTOR (table), SCM_EOL);
+  SCM_SET_HASHTABLE_N_ITEMS (table, 0);
+  return SCM_UNSPECIFIED;
+}
+#undef FUNC_NAME
 
 \f
 
@@ -377,10 +781,9 @@ typedef struct scm_t_ihashx_closure
 static unsigned long
 scm_ihashx (SCM obj, unsigned long n, scm_t_ihashx_closure *closure)
 {
-  SCM answer;
-  SCM_DEFER_INTS;
-  answer = scm_call_2 (closure->hash, obj, scm_ulong2num ((unsigned long) n));
-  SCM_ALLOW_INTS;
+  SCM answer = scm_call_2 (closure->hash,
+                          obj,
+                          scm_ulong2num ((unsigned long) n));
   return SCM_INUM (answer);
 }
 
@@ -389,11 +792,7 @@ scm_ihashx (SCM obj, unsigned long n, scm_t_ihashx_closure *closure)
 static SCM
 scm_sloppy_assx (SCM obj, SCM alist, scm_t_ihashx_closure *closure)
 {
-  SCM answer;
-  SCM_DEFER_INTS;
-  answer = scm_call_2 (closure->assoc, obj, alist);
-  SCM_ALLOW_INTS;
-  return answer;
+  return scm_call_2 (closure->assoc, obj, alist);
 }
 
 
@@ -402,11 +801,7 @@ scm_sloppy_assx (SCM obj, SCM alist, scm_t_ihashx_closure *closure)
 static SCM
 scm_delx_x (SCM obj, SCM alist, scm_t_ihashx_closure *closure)
 {
-  SCM answer;
-  SCM_DEFER_INTS;
-  answer = scm_call_2 (closure->delete, obj, alist);
-  SCM_ALLOW_INTS;
-  return answer;
+  return scm_call_2 (closure->delete, obj, alist);
 }
 
 
@@ -425,7 +820,7 @@ SCM_DEFINE (scm_hashx_get_handle, "hashx-get-handle", 4, 0, 0,
   closure.hash = hash;
   closure.assoc = assoc;
   return scm_hash_fn_get_handle (table, key, scm_ihashx, scm_sloppy_assx,
-                                (void *)&closure);
+                                (void *) &closure);
 }
 #undef FUNC_NAME
 
@@ -509,10 +904,74 @@ scm_hashx_remove_x (SCM hash, SCM assoc, SCM delete, SCM table, SCM obj)
   return scm_hash_fn_remove_x (table, obj, scm_ihashx, scm_sloppy_assx, scm_delx_x, 0);
 }
 
-static SCM
-fold_proc (void *proc, SCM key, SCM data, SCM value)
+/* Hash table iterators */
+
+static const char s_scm_hash_fold[];
+
+SCM
+scm_internal_hash_fold (SCM (*fn) (), void *closure, SCM init, SCM table)
 {
-  return scm_call_3 (SCM_PACK (proc), key, data, value);
+  long i, n;
+  SCM buckets, result = init;
+  
+  if (SCM_HASHTABLE_P (table))
+    buckets = SCM_HASHTABLE_VECTOR (table);
+  else
+    buckets = table;
+  
+  n = SCM_VECTOR_LENGTH (buckets);
+  for (i = 0; i < n; ++i)
+    {
+      SCM ls = SCM_VELTS (buckets)[i], handle;
+      while (!SCM_NULLP (ls))
+       {
+         if (!SCM_CONSP (ls))
+           scm_wrong_type_arg (s_scm_hash_fold, SCM_ARG3, buckets);
+         handle = SCM_CAR (ls);
+         if (!SCM_CONSP (handle))
+           scm_wrong_type_arg (s_scm_hash_fold, SCM_ARG3, buckets);
+         result = fn (closure, SCM_CAR (handle), SCM_CDR (handle), result);
+         ls = SCM_CDR (ls);
+       }
+    }
+
+  return result;
+}
+
+/* The following redundant code is here in order to be able to support
+   hash-for-each-handle.  An alternative would have been to replace
+   this code and scm_internal_hash_fold above with a single
+   scm_internal_hash_fold_handles, but we don't want to promote such
+   an API. */
+
+static const char s_scm_hash_for_each[];
+
+void
+scm_internal_hash_for_each_handle (SCM (*fn) (), void *closure, SCM table)
+{
+  long i, n;
+  SCM buckets;
+  
+  if (SCM_HASHTABLE_P (table))
+    buckets = SCM_HASHTABLE_VECTOR (table);
+  else
+    buckets = table;
+  
+  n = SCM_VECTOR_LENGTH (buckets);
+  for (i = 0; i < n; ++i)
+    {
+      SCM ls = SCM_VELTS (buckets)[i], handle;
+      while (!SCM_NULLP (ls))
+       {
+         if (!SCM_CONSP (ls))
+           scm_wrong_type_arg (s_scm_hash_for_each, SCM_ARG3, buckets);
+         handle = SCM_CAR (ls);
+         if (!SCM_CONSP (handle))
+           scm_wrong_type_arg (s_scm_hash_for_each, SCM_ARG3, buckets);
+         fn (closure, handle);
+         ls = SCM_CDR (ls);
+       }
+    }
 }
 
 SCM_DEFINE (scm_hash_fold, "hash-fold", 3, 0, 0, 
@@ -523,47 +982,102 @@ SCM_DEFINE (scm_hash_fold, "hash-fold", 3, 0, 0,
             "and value are successive pairs from the hash table TABLE, and\n"
             "prior-result is either INIT (for the first application of PROC)\n"
             "or the return value of the previous application of PROC.\n"
-            "For example, @code{(hash-fold acons () tab)} will convert a hash\n"
-            "table into an a-list of key-value pairs.\n")
+            "For example, @code{(hash-fold acons '() tab)} will convert a hash\n"
+            "table into an a-list of key-value pairs.")
 #define FUNC_NAME s_scm_hash_fold
 {
-  SCM_VALIDATE_PROC (1,proc);
-  SCM_VALIDATE_VECTOR (3,table);
-  return scm_internal_hash_fold (fold_proc, (void *) SCM_UNPACK (proc), init, table);
+  SCM_VALIDATE_PROC (1, proc);
+  if (!SCM_HASHTABLE_P (table))
+    SCM_VALIDATE_VECTOR (3, table);
+  return scm_internal_hash_fold (scm_call_3, (void *) SCM_UNPACK (proc), init, table);
 }
 #undef FUNC_NAME
 
-SCM
-scm_internal_hash_fold (SCM (*fn) (), void *closure, SCM init, SCM table)
+static SCM
+for_each_proc (void *proc, SCM handle)
 {
-  long i, n = SCM_VECTOR_LENGTH (table);
-  SCM result = init;
-  for (i = 0; i < n; ++i)
-    {
-      SCM ls = SCM_VELTS (table)[i], handle;
-      while (!SCM_NULLP (ls))
-       {
-         SCM_ASSERT (SCM_CONSP (ls),
-                     table, SCM_ARG3, s_scm_hash_fold);
-         handle = SCM_CAR (ls);
-         SCM_ASSERT (SCM_CONSP (handle),
-                     table, SCM_ARG3, s_scm_hash_fold);
-         result = fn (closure, SCM_CAR (handle), SCM_CDR (handle), result);
-         ls = SCM_CDR (ls);
-       }
-    }
-  return result;
+  return scm_call_2 (SCM_PACK (proc), SCM_CAR (handle), SCM_CDR (handle));
+}
+
+SCM_DEFINE (scm_hash_for_each, "hash-for-each", 2, 0, 0, 
+            (SCM proc, SCM table),
+           "An iterator over hash-table elements.\n"
+            "Applies PROC successively on all hash table items.\n"
+            "The arguments to PROC are \"(key value)\" where key\n"
+            "and value are successive pairs from the hash table TABLE.")
+#define FUNC_NAME s_scm_hash_for_each
+{
+  SCM_VALIDATE_PROC (1, proc);
+  if (!SCM_HASHTABLE_P (table))
+    SCM_VALIDATE_VECTOR (2, table);
+  
+  scm_internal_hash_for_each_handle (for_each_proc,
+                                    (void *) SCM_UNPACK (proc),
+                                    table);
+  return SCM_UNSPECIFIED;
 }
+#undef FUNC_NAME
+
+SCM_DEFINE (scm_hash_for_each_handle, "hash-for-each-handle", 2, 0, 0, 
+            (SCM proc, SCM table),
+           "An iterator over hash-table elements.\n"
+            "Applies PROC successively on all hash table handles.")
+#define FUNC_NAME s_scm_hash_for_each_handle
+{
+  scm_t_trampoline_1 call = scm_trampoline_1 (proc);
+  SCM_ASSERT (call, proc, 1, FUNC_NAME);
+  if (!SCM_HASHTABLE_P (table))
+    SCM_VALIDATE_VECTOR (2, table);
+  
+  scm_internal_hash_for_each_handle (call,
+                                    (void *) SCM_UNPACK (proc),
+                                    table);
+  return SCM_UNSPECIFIED;
+}
+#undef FUNC_NAME
+
+static SCM
+map_proc (void *proc, SCM key, SCM data, SCM value)
+{
+  return scm_cons (scm_call_2 (SCM_PACK (proc), key, data), value);
+}
+
+SCM_DEFINE (scm_hash_map_to_list, "hash-map->list", 2, 0, 0, 
+            (SCM proc, SCM table),
+           "An iterator over hash-table elements.\n"
+            "Accumulates and returns as a list the results of applying PROC successively.\n"
+            "The arguments to PROC are \"(key value)\" where key\n"
+            "and value are successive pairs from the hash table TABLE.")
+#define FUNC_NAME s_scm_hash_map_to_list
+{
+  SCM_VALIDATE_PROC (1, proc);
+  if (!SCM_HASHTABLE_P (table))
+    SCM_VALIDATE_VECTOR (2, table);
+  return scm_internal_hash_fold (map_proc,
+                                (void *) SCM_UNPACK (proc),
+                                SCM_EOL,
+                                table);
+}
+#undef FUNC_NAME
 
 \f
 
 
+void
+scm_hashtab_prehistory ()
+{
+  scm_tc16_hashtable = scm_make_smob_type (s_hashtable, 0);
+  scm_set_smob_mark (scm_tc16_hashtable, scm_markcdr);
+  scm_set_smob_print (scm_tc16_hashtable, hashtable_print);
+  scm_set_smob_free (scm_tc16_hashtable, hashtable_free);
+  scm_c_hook_add (&scm_after_sweep_c_hook, scan_weak_hashtables, 0, 0);
+  scm_c_hook_add (&scm_after_gc_c_hook, rehash_after_gc, 0, 0);
+}
+
 void
 scm_init_hashtab ()
 {
-#ifndef SCM_MAGIC_SNARFER
 #include "libguile/hashtab.x"
-#endif
 }
 
 /*