Fix bug #9221 with memory leak in bidi display.
authorEli Zaretskii <eliz@gnu.org>
Fri, 5 Aug 2011 11:04:44 +0000 (14:04 +0300)
committerEli Zaretskii <eliz@gnu.org>
Fri, 5 Aug 2011 11:04:44 +0000 (14:04 +0300)
Add code to monitor memory allocation for bidi cache shelving.

 src/xdisp.c (display_line): Release buffer allocated for shelved bidi
 cache.
 src/bidi.c (bidi_shelve_cache, bidi_unshelve_cache): Track total
 amount allocated this far in `bidi_cache_total_alloc'.
 (bidi_unshelve_cache): Accept an additional argument JUST_FREE; if
 non-zero, only free the data buffer without restoring the cache
 contents.  All callers changed.
 src/dispextern.h (bidi_unshelve_cache): Update prototype.
 src/xdisp.c (SAVE_IT, pos_visible_p, move_it_in_display_line_to)
 (move_it_in_display_line, move_it_to)
 (move_it_vertically_backward, move_it_by_lines): Replace the call
 to xfree to an equivalent call to bidi_unshelve_cache.
 (move_it_in_display_line_to): Fix logic of returning
 MOVE_POS_MATCH_OR_ZV in the bidi case.

1  2 
src/ChangeLog
src/bidi.c
src/dispextern.h
src/dispnew.c
src/indent.c
src/window.c
src/xdisp.c

diff --cc src/ChangeLog
 -2011-07-24  Eli Zaretskii  <eliz@gnu.org>
+ 2011-08-05  Eli Zaretskii  <eliz@gnu.org>
+       *xdisp.c (display_line): Release buffer allocated for shelved bidi
+       cache.  (Bug#9221)
+       * bidi.c (bidi_shelve_cache, bidi_unshelve_cache): Track total
+       amount allocated this far in `bidi_cache_total_alloc'.
+       (bidi_unshelve_cache): Accept an additional argument JUST_FREE; if
+       non-zero, only free the data buffer without restoring the cache
+       contents.  All callers changed.
+       * dispextern.h (bidi_unshelve_cache): Update prototype.
+       * xdisp.c (SAVE_IT, pos_visible_p, move_it_in_display_line_to)
+       (move_it_in_display_line, move_it_to)
+       (move_it_vertically_backward, move_it_by_lines): Replace the call
+       to xfree to an equivalent call to bidi_unshelve_cache.
+       (move_it_in_display_line_to): Fix logic of returning
+       MOVE_POS_MATCH_OR_ZV in the bidi case.
 +2011-08-05  Eli Zaretskii  <eliz@gnu.org>
 +
 +      * xdisp.c (set_cursor_from_row): Prefer the candidate glyph that
 +      came from a string character with a `cursor' property.  (Bug#9229)
 +
 +2011-08-04  Jan Djärv  <jan.h.d@swipnet.se>
 +
 +      * Makefile.in (LIB_PTHREAD): New variable.
 +      (LIBES): Add LIB_PTHREAD (Bug#9216).
 +
 +      * alloc.c, emacs.c, gmalloc.c, gtkutil.c, keyboard.c, syssignal.h:
 +      Rename HAVE_GTK_AND_PTHREAD to HAVE_PTHREAD (Bug#9216).
 +
 +2011-08-04  Andreas Schwab  <schwab@linux-m68k.org>
 +
 +      * regex.c (re_iswctype): Remove some redundant boolean
 +      conversions.
 +
 +2011-08-04  Jan Djärv  <jan.h.d@swipnet.se>
 +
 +      * xterm.c (x_find_topmost_parent): New function.
 +      (x_set_frame_alpha): Find topmost parent window with
 +      x_find_topmost_parent and set the property there also (bug#9181).
 +      (handle_one_xevent): Call x_set_frame_alpha on ReparentNotify.
 +
 +2011-08-04  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      * callproc.c (Fcall_process): Avoid vfork clobbering
 +      the local vars buffer, coding_systems, current_dir.
 +
 +2011-08-03  Stefan Monnier  <monnier@iro.umontreal.ca>
 +
 +      * keymap.c (Fmake_composed_keymap): Move to subr.el.
 +
 +2011-08-03  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      * fontset.c (dump_fontset) [FONTSET_DEBUG]: Declare EXTERNALLY_VISIBLE
 +      so that it is not optimized away.
 +
 +      * xdisp.c (compute_display_string_pos): Remove unused local.
 +
 +2011-08-02  Eli Zaretskii  <eliz@gnu.org>
 +
 +      Fix slow cursor motion and scrolling in large buffers with
 +      selective display, like Org Mode buffers.  (Bug#9218)
 +
 +      * dispextern.h (struct bidi_it): New member disp_prop_p.
 +
 +      * xdisp.c: Remove one-slot cache of display string positions.
 +      (compute_display_string_pos): Accept an additional argument
 +      DISP_PROP_P; callers changed. Scan at most 5K characters forward
 +      for a display string or property.  If found, set DISP_PROP_P
 +      non-zero.
 +
 +      * bidi.c (bidi_fetch_char): Accept an additional argument
 +      DISP_PROP_P, and pass it to compute_display_string_pos.
 +      Only handle text covered by a display string if DISP_PROP_P is returned
 +      non-zero.  All callers of bidi_fetch_char changed.
 +
 +2011-08-02  Stefan Monnier  <monnier@iro.umontreal.ca>
 +
 +      * keymap.c (Fdefine_key): Fix Lisp_Object/int mixup; apply some CSE.
 +
 +2010-12-03  Don March  <don@ohspite.net>
 +
 +      * keymap.c (Fdefine_key): Fix non-prefix key error message when
 +      last character M-[char] is translated to ESC [char] (bug#7541).
 +
 +2011-08-02  Kenichi Handa  <handa@m17n.org>
 +
 +      * lisp.h (uniprop_table): Extern it.
 +
 +      * chartab.c (uniprop_table): Make it non-static.
 +
 +2011-08-01  Eli Zaretskii  <eliz@gnu.org>
 +
 +      * xdisp.c (forward_to_next_line_start): Accept additional argument
 +      BIDI_IT_PREV, and store into it the state of the bidi iterator had
 +      on the newline.
 +      (reseat_at_next_visible_line_start): Use the bidi iterator state
 +      returned by forward_to_next_line_start to restore the state of
 +      it->bidi_it after backing up to previous newline.  (Bug#9212)
 +
 +2011-07-30  Andreas Schwab  <schwab@linux-m68k.org>
 +
 +      * regex.c (re_comp): Protoize.
 +      (re_exec): Fix return type.
 +      (regexec): Fix type of `ret'.  (Bug#9203)
 +
 +2011-07-29  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      * image.c (check_image_size): Use 1024x1024 if unknown frame (Bug#9189).
 +      This is needed if max-image-size is a floating-point number.
 +
 +2011-07-28  Andreas Schwab  <schwab@linux-m68k.org>
 +
 +      * print.c (print_object): Print empty symbol as ##.
 +
 +      * lread.c (read1): Read ## as empty symbol.
 +
 +2011-07-28  Alp Aker  <alp.tekin.aker@gmail.com>
 +
 +      * nsfns.m (x_set_foreground_color): Set f->foreground_pixel when
 +      setting frame foreground color (Bug#9175).
 +      (x_set_background_color): Likewise.
 +
 +      * nsmenu.m (-setText): Size tooltip dimensions precisely to
 +      contents (Bug#9176).
 +      (EmacsTooltip -init): Remove bezels and add shadows to
 +      tooltip windows.
 +
 +      * nsterm.m (ns_dumpglyphs_stretch): Avoid overwriting left fringe
 +      or scroll bar (Bug#8470).
 +
 +      * nsfont.m (nsfont_open): Remove assignment to voffset and
 +      unnecessary vars hshink, expand, hd, full_height, min_height.
 +      (nsfont_draw): Use s->ybase as baseline for glyph drawing (Bug#8913).
 +
 +      * nsterm.h (nsfont_info): Remove voffset field.
 +
 +2011-07-28  Alp Aker  <alp.tekin.aker@gmail.com>
 +
 +      Implement strike-through and overline on NextStep (Bug#8863).
 +
 +      * nsfont.m (nsfont_open): Use underline position provided by font,
 +      instead of hard-coded value of 2.
 +      (nsfont_draw): Call ns_draw_text_decoration instead.
 +
 +      * nsterm.h: Add declaration for ns_draw_text_decoration.
 +
 +      * nsterm.m (ns_draw_text_decoration): New function for drawing
 +      underline, overline, and strike-through.
 +      (ns_dumpglyphs_image, ns_dumpglyphs_stretch): Add call to
 +      ns_draw_text_decoration.  Change treatment of cursor drawing to
 +      accomodate underlining, etc.
 +
 +2011-07-28  Eli Zaretskii  <eliz@gnu.org>
 +
 +      * buffer.c (init_buffer_once): Set bidi-display-reordering to t by
 +      default.
 +
 +2011-07-28  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      * alloc.c (memory_full) [!SYNC_INPUT]: Fix signal-related race.
 +      Without this fix, if a signal arrives just after memory fills up,
 +      'malloc' might be invoked reentrantly.
 +
 +      * image.c (x_check_image_size) [!HAVE_X_WINDOWS]: Return 1.
 +      In other words, assume that every image size is allowed, on non-X
 +      hosts.  This assumption is probably wrong, but it lets Emacs compile.
 +
 +2011-07-28  Andreas Schwab  <schwab@linux-m68k.org>
 +
 +      * regex.c (re_iswctype): Convert return values to boolean.
 +
 +2011-07-28  Eli Zaretskii  <eliz@fencepost.gnu.org>
 +
 +      * xdisp.c (compute_display_string_pos): Don't use cached display
 +      string position if the buffer had its restriction changed.
 +      (Bug#9184)
 +
 +2011-07-28  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      * callproc.c (Fcall_process): Use 'volatile' to avoid vfork clobbering.
 +
 +2011-07-28  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      Integer signedness and overflow and related fixes.  (Bug#9079)
 +
 +      * bidi.c: Integer size and overflow fixes.
 +      (bidi_cache_size, bidi_cache_idx, bidi_cache_last_idx)
 +      (bidi_cache_start, bidi_cache_fetch_state, bidi_cache_search)
 +      (bidi_cache_find_level_change, bidi_cache_ensure_space)
 +      (bidi_cache_iterator_state, bidi_cache_find, bidi_cache_start_stack)
 +      (bidi_find_other_level_edge):
 +      Use ptrdiff_t instead of EMACS_INT where either will do.
 +      This works better on 32-bit hosts configured --with-wide-int.
 +      (bidi_cache_ensure_space): Check for size-calculation overflow.
 +      Use % rather than repeated addition, for better worst-case speed.
 +      Don't set bidi_cache_size until after xrealloc returns, because it
 +      might not return.
 +      (bidi_dump_cached_states): Use ptrdiff_t, not int, to avoid overflow.
 +      (bidi_cache_ensure_space): Also check that the bidi cache size
 +      does not exceed that of the largest Lisp string or buffer.  See Eli
 +      Zaretskii in <http://debbugs.gnu.org/cgi/bugreport.cgi?bug=9079#29>.
 +
 +      * alloc.c (__malloc_size_t): Remove.
 +      All uses replaced by size_t.  See Andreas Schwab's note
 +      <http://debbugs.gnu.org/cgi/bugreport.cgi?bug=9079#8>.
 +
 +      * image.c: Improve checking for integer overflow.
 +      (check_image_size): Assume that f is nonnull, since
 +      it is always nonnull in practice.  This is one less thing to
 +      worry about when checking for integer overflow later.
 +      (x_check_image_size): New function, which checks for integer
 +      overflow issues inside X.
 +      (x_create_x_image_and_pixmap, xbm_read_bitmap_data): Use it.
 +      This removes the need for a memory_full check.
 +      (xbm_image_p): Rewrite to avoid integer multiplication overflow.
 +      (Create_Pixmap_From_Bitmap_Data, xbm_load): Use x_check_image_size.
 +      (xbm_read_bitmap_data): Change locals back to 'int', since
 +      their values must fit in 'int'.
 +      (xpm_load_image, png_load, tiff_load):
 +      Invoke x_create_x_image_and_pixmap earlier,
 +      to avoid much needless work if the image is too large.
 +      (tiff_load): Treat overly large images as if
 +      x_create_x_image_and_pixmap failed, not as malloc failures.
 +      (gs_load): Use x_check_image_size.
 +
 +      * gtkutil.c: Omit integer casts.
 +      (xg_get_pixbuf_from_pixmap): Remove unnecessary cast.
 +      (xg_set_toolkit_scroll_bar_thumb): Rewrite to avoid need for cast.
 +
 +      * image.c (png_load): Don't assume height * row_bytes fits in 'int'.
 +
 +      * xfaces.c (Fbitmap_spec_p): Fix integer overflow bug.
 +      Without this fix, (bitmap-spec-p '(34359738368 1 "x"))
 +      would wrongly return t on a 64-bit host.
 +
 +      * dispnew.c (init_display): Use *_RANGE_OVERFLOW macros.
 +      The plain *_OVERFLOW macros run afoul of GCC bug 49705
 +      <http://gcc.gnu.org/bugzilla/show_bug.cgi?id=49705>
 +      and therefore cause GCC to emit a bogus diagnostic in some cases.
 +
 +      * image.c: Integer signedness and overflow and related fixes.
 +      This is not an exhaustive set of fixes, but it's time to
 +      record what I've got.
 +      (lookup_pixel_color, check_image_size): Remove redundant decls.
 +      (check_image_size): Don't assume that arbitrary EMACS_INT values
 +      fit in 'int', or that arbitrary 'double' values fit in 'int'.
 +      (x_alloc_image_color, x_create_x_image_and_pixmap, png_load)
 +      (tiff_load, imagemagick_load_image):
 +      Check for overflow in size calculations.
 +      (x_create_x_image_and_pixmap): Remove unnecessary test for
 +      xmalloc returning NULL; that can't happen.
 +      (xbm_read_bitmap_data): Don't assume sizes fit into 'int'.
 +      (xpm_color_bucket): Use better integer hashing function.
 +      (xpm_cache_color): Don't possibly over-allocate memory.
 +      (struct png_memory_storage, tiff_memory_source, tiff_seek_in_memory)
 +      (gif_memory_source):
 +      Use ptrdiff_t, not int or size_t, to record sizes.
 +      (png_load): Don't assume values greater than 2**31 fit in 'int'.
 +      (our_stdio_fill_input_buffer): Prefer ptrdiff_t to size_t when
 +      either works, as we prefer signed integers.
 +      (tiff_read_from_memory, tiff_write_from_memory):
 +      Return tsize_t, not size_t, since that's what the TIFF API wants.
 +      (tiff_read_from_memory): Don't fail simply because the read would
 +      go past EOF; instead, return a short read.
 +      (tiff_load): Omit no-longer-needed casts.
 +      (Fimagemagick_types): Don't assume size fits into 'int'.
 +
 +      Improve hashing quality when configured --with-wide-int.
 +      * fns.c (hash_string): New function, taken from sxhash_string.
 +      Do not discard information about ASCII character case; this
 +      discarding is no longer needed.
 +      (sxhash-string): Use it.  Change sig to match it.  Caller changed.
 +      * lisp.h: Declare it.
 +      * lread.c (hash_string): Remove, since we now use fns.c's version.
 +      The fns.c version returns a wider integer if --with-wide-int is
 +      specified, so this should help the quality of the hashing a bit.
 +
 +      * emacs.c: Integer overflow minor fix.
 +      (heap_bss_diff): Now uprintmax_t, not unsigned long.  All used changed.
 +      Define only if GNU_LINUX.
 +      (main, Fdump_emacs): Set and use heap_bss_diff only if GNU_LINUX.
 +
 +      * dispnew.c: Integer signedness and overflow fixes.
 +      Remove unnecessary forward decls, that were a maintenance hassle.
 +      (history_tick): Now uprintmax_t, so it's more likely to avoid overflow.
 +      All uses changed.
 +      (adjust_glyph_matrix, realloc_glyph_pool, adjust_frame_message_buffer)
 +      (scrolling_window): Use ptrdiff_t, not int, for byte count.
 +      (prepare_desired_row, line_draw_cost):
 +      Use int, not unsigned, where either works.
 +      (save_current_matrix, restore_current_matrix):
 +      Use ptrdiff_t, not size_t, where either works.
 +      (init_display): Check for overflow more accurately, and without
 +      relying on undefined behavior.
 +
 +      * editfns.c (pWIDE, pWIDElen, signed_wide, unsigned_wide):
 +      Remove, replacing with the new symbols in lisp.h.  All uses changed.
 +      * fileio.c (make_temp_name):
 +      * filelock.c (lock_file_1, lock_file):
 +      * xdisp.c (message_dolog):
 +      Don't assume PRIdMAX etc. works; this isn't portable to pre-C99 hosts.
 +      Use pMd etc. instead.
 +      * lisp.h (printmax_t, uprintmax_t, pMd, pMu): New types and macros,
 +      replacing the pWIDE etc. symbols removed from editfns.c.
 +
 +      * keyboard.h (num_input_events): Now uintmax_t.
 +      This is (very slightly) less likely to mess up due to wraparound.
 +      All uses changed.
 +
 +      * buffer.c: Integer signedness fixes.
 +      (alloc_buffer_text, enlarge_buffer_text):
 +      Use ptrdiff_t rather than size_t when either will do, as we prefer
 +      signed integers.
 +
 +      * alloc.c: Integer signedness and overflow fixes.
 +      Do not impose an arbitrary 32-bit limit on malloc sizes when debugging.
 +      (__malloc_size_t): Default to size_t, not to int.
 +      (pure_size, pure_bytes_used_before_overflow, stack_copy_size)
 +      (Fgarbage_collect, mark_object_loop_halt, mark_object):
 +      Prefer ptrdiff_t to size_t when either would do, as we prefer
 +      signed integers.
 +      (XMALLOC_OVERRUN_CHECK_OVERHEAD): New macro.
 +      (xmalloc_overrun_check_header, xmalloc_overrun_check_trailer):
 +      Now const.  Initialize with values that are in range even if char
 +      is signed.
 +      (XMALLOC_PUT_SIZE, XMALLOC_GET_SIZE): Remove, replacing with ...
 +      (xmalloc_put_size, xmalloc_get_size): New functions.  All uses changed.
 +      These functions do the right thing with sizes > 2**32.
 +      (check_depth): Now ptrdiff_t, not int.
 +      (overrun_check_malloc, overrun_check_realloc, overrun_check_free):
 +      Adjust to new way of storing sizes.  Check for size overflow bugs
 +      in rest of code.
 +      (STRING_BYTES_MAX): Adjust to new overheads.  The old code was
 +      slightly wrong anyway, as it missed one instance of
 +      XMALLOC_OVERRUN_CHECK_OVERHEAD.
 +      (refill_memory_reserve): Omit needless cast to size_t.
 +      (mark_object_loop_halt): Mark as externally visible.
 +
 +      * xselect.c: Integer signedness and overflow fixes.
 +      (Fx_register_dnd_atom, x_handle_dnd_message):
 +      Use ptrdiff_t, not size_t, since we prefer signed.
 +      (Fx_register_dnd_atom): Check for ptrdiff_t (and size_t) overflow.
 +      * xterm.h (struct x_display_info): Use ptrdiff_t, not size_t, for
 +      x_dnd_atoms_size and x_dnd_atoms_length.
 +
 +      * doprnt.c: Prefer signed to unsigned when either works.
 +      * eval.c (verror):
 +      * doprnt.c (doprnt):
 +      * lisp.h (doprnt):
 +      * xdisp.c (vmessage):
 +      Use ptrdiff_t, not size_t, when using or implementing doprnt,
 +      since the sizes cannot exceed ptrdiff_t bounds anyway, and we
 +      prefer signed arithmetic to avoid comparison confusion.
 +      * doprnt.c (doprnt): Avoid a "+ 1" that can't overflow,
 +      but is a bit tricky.
 +
 +      Assume freestanding C89 headers, string.h, stdlib.h.
 +      * data.c, doprnt.c, floatfns.c, print.c:
 +      Include float.h unconditionally.
 +      * gmalloc.c: Assume C89-at-least behavior for preprocessor,
 +      limits.h, stddef.h, string.h.  Use memset instead of 'flood'.
 +      * regex.c: Likewise for stddef.h, string.h.
 +      (ISASCII): Remove; can assume it returns 1 now.  All uses removed.
 +      * s/aix4-2.h (HAVE_STRING_H): Remove obsolete undef.
 +      * s/ms-w32.h (HAVE_LIMITS_H, HAVE_STRING_H, HAVE_STDLIB_H)
 +      (STDC_HEADERS): Remove obsolete defines.
 +      * sysdep.c: Include limits.h unconditionally.
 +
 +      Assume support for memcmp, memcpy, memmove, memset.
 +      * lisp.h, sysdep.c (memcmp, memcpy, memmove, memset):
 +      * regex.c (memcmp, memcpy):
 +      Remove; we assume C89 now.
 +
 +      * gmalloc.c (memcpy, memset, memmove): Remove; we assume C89 now.
 +      (__malloc_safe_bcopy): Remove; no longer needed.
 +
 +      * lisp.h (struct vectorlike_header, struct Lisp_Subr): Signed sizes.
 +      Use EMACS_INT, not EMACS_UINT, for sizes.  The code works equally
 +      well either way, and we prefer signed to unsigned.
 +
 +2011-07-27  Lars Magne Ingebrigtsen  <larsi@gnus.org>
 +
 +      * gnutls.c (emacs_gnutls_read): Don't message anything if the peer
 +      closes the connection while we're reading (bug#9182).
 +
 +2011-07-25  Jan Djärv  <jan.h.d@swipnet.se>
 +
 +      * nsmenu.m (ns_popup_dialog): Add an "ok" button if no buttons
 +      are specified (Bug#9168).
 +
 +2011-07-25  Paul Eggert  <eggert@cs.ucla.edu>
 +
 +      * bidi.c (bidi_dump_cached_states): Fix printf format mismatch.
 +      Found by GCC static checking and --with-wide-int on a 32-bit host.
 +
 +2011-07-25  Eli Zaretskii  <eliz@gnu.org>
  
        * xdisp.c (compute_display_string_pos): Fix logic of caching
        previous display string position.  Initialize cached_prev_pos to
diff --cc src/bidi.c
Simple merge
Simple merge
diff --cc src/dispnew.c
Simple merge
diff --cc src/indent.c
Simple merge
diff --cc src/window.c
Simple merge
diff --cc src/xdisp.c
Simple merge