Merge: Integer overflow and signedness fixes (Bug#8873).

A few related buffer overrun fixes, too.

Merge from trunk.

When the .authinfo file has a user name but not a password, prompt
for the password.

don't leak an XBM-image-sized buffer

* image.c (xbm_load): Free the image buffer after using it.

Normalize SIDE argument of split-window (Bug#8916).

* window.el (split-window): Normalize SIDE argument (Bug#8916).

(smtpmail-via-smtp): Make sure we don't send QUIT twice.

Remove preset entries for pop-up-frame-alist from window.el defaults.

* window.el (display-buffer-default-specifiers)
(display-buffer-alist): Remove entries for pop-up-frame-alist.
Suggested by Katsumi Yamaoka <yamaoka@jpl.org>.

* frame.el (pop-up-frame-alist, pop-up-frame-function)
(special-display-frame-alist, special-display-popup-frame):
Remove duplicate declarations.  These are now in window.el.

* font.c (font_score): Use EMACS_INT, not int, to store XINT value.

* dispextern.h (struct face.stipple):

* image.c (x_bitmap_height, x_bitmap_width, x_bitmap_pixmap)
(x_bitmap_mask, x_allocate_bitmap_record)
(x_create_bitmap_from_data, x_create_bitmap_from_file)
(x_destroy_bitmap, x_destroy_all_bitmaps, x_create_bitmap_mask)
(x_create_bitmap_from_xpm_data):
* nsterm.h (struct ns_display_info.bitmaps_size, .bitmaps_last):
* w32term.h (struct w32_display_info.icon_bitmap_id, .bitmaps_size)
(.bitmaps_last):
* xfaces.c (load_pixmap):
* xterm.c (x_bitmap_icon, x_wm_set_icon_pixmap):
* xterm.h (struct x_display_info.icon_bitmap_id, .bitmaps_size)
(.bitmaps_last, struct x_output.icon_bitmap):
Use ptrdiff_t, not int, for bitmap indexes.
(x_allocate_bitmap_record): Check for size overflow.
* dispextern.h, lisp.h: Adjust to API changes elsewhere.

* buffer.c (OVERLAY_COUNT_MAX): New macro.

(overlays_in, mouse_face_overlay_overlaps, Foverlays_in):
Use ptrdiff_t, not int, for sizes.
(overlays_in): Check for size-calculation overflow.

Set :use-starttls-if-possible so that we always use STARTTLS if the server supports it.

SMTP servers that support STARTTLS commonly require it.

(smtpmail-via-smtp): Check for servers saying they want AUTH after MAIL FROM, too.

nnimap.el (nnimap-find-article-by-message-id): return nil when no article found.

Use ptrdiff_t, not int, for overlay counts.

* buffer.h (overlays_at, sort_overlays, GET_OVERLAYS_AT):
* editfns.c (overlays_around, get_pos_property):
* textprop.c (get_char_property_and_overlay):
* xdisp.c (next_overlay_change, note_mouse_highlight):
* xfaces.c (face_at_buffer_position):
* buffer.c (overlays_at, sort_overlays, Foverlays_at)
(Fnext_overlay_change, Fprevious_overlay_change):
Use ptrdiff_t, not int, for sizes.
(overlays_at): Check for size-calculation overflow.

Rewritten smtpmail.el to use `open-network-stream' to do STARTTLS
upgrades opportunistically, and to only use auth-source for all
credentials.  Mostly backwards compatible, but
`smtpmail-auth-credentials' and `smtpmail-starttls-credentials' are
removed, and users who relied on those will have to put the
credentials in ~/.authinfo instead.

(network-stream-certificate): Change cert-cert to cert and cert-key to key.

Prefer the ~/.authinfo file over the ~/.authinfo.gpg file, especially when saving.

* xterm.c (xim_initialize, same_x_server): Strlen may not fit in int.

Add support for client certificates for built-in and external STARTTLS.

* xsmfns.c (smc_save_yourself_CB, x_session_initialize): Avoid strlen.

(x_session_initialize): Do not assume string length fits in int.

* net/tramp-cache.el (top): Don't load the persistency file when
"emacs -Q" has been called.

ns-win: set ApplePressAndHoldEnabled to NO as it is unsupported.
This is in preparation for OS X "Lion"; it is a stop-gap solution
until this new input mechanism is supported correctly.

* xsettings.c (Ffont_get_system_normal_font, Ffont_get_system_font): Avoid need for strlen.

* xsettings.c (apply_xft_settings): Fix potential buffer overrun.

This is unlikely, but can occur if DPI is outlandish.

Port to Sun C.

* composite.c (find_automatic_composition): Omit needless 'return 0;'
that Sun C diagnosed.
* fns.c (secure_hash): Fix pointer signedness issue.
* intervals.c (static_offset_intervals): New function.
(offset_intervals): Use it.

Don't make popup frames unsplittable by default.

(display-buffer-alist, display-buffer-default-specifiers): Don't
make new frame unsplittable by default.
(display-buffer-normalize-argument): Fix doc-string typo and use
'same-frame-other-window instead of 'other-window when associating
with display-buffer-macro-specifiers.

Auto-commit of generated files.

lisp/misc.el (list-dynamic-libraries): Fix computation of header fields.

New primitive secure-hash supporting md5, sha-1 and sha-2

Fix last fix of display-buffer-normalize-options.

Add crypto/sha256 and crypto/sha512 modules from gnulib

Handle old buffer display options more faithfully.

* window.el (display-buffer-alist): In default value do not
enforce searching a window on any but the selected frame.
Reported by Katsumi Yamaoka <yamaoka@jpl.org>.
(display-buffer-select-window): Remove function.
(display-buffer-in-window): When a window on another frame gets
reused, do not select it any more but just raise its frame if
necessary (Bug#8851) and (Bug#8856).
(display-buffer-normalize-options): Handle pop-up-frames related
options more faithfully.
(pop-to-buffer): Don't rely on `display-buffer' selecting the
window if it is on another frame.

* font.c (font_intern_prop): Don't use string_to_number, since the string isn't null-terminated.

* lisp/play/5x5.el (5x5-solve-rotate-left, 5x5-solve-rotate-right): New funs.
(5x5-mode-map, 5x5-mode-menu): Bind them.
(5x5-draw-grid): Tweak the solver's rendering.

* xselect.c (Fx_get_atom_name): Avoid need for strlen.

* xrdb.c: Don't assume strlen fits in int; avoid some strlens.

* xrdb.c (magic_file_p, search_magic_path):
Omit last arg SUFFIX; it was always 0.  All callers changed.
(magic_file_p): Use ptrdiff_t, not int.  Check for size overflow.

* lisp/progmodes/compile.el (compilation-error-regexp-alist-alist): Rename
`caml' to `python-tracebacks-and-caml'; allow leading tabs.

Fixes: debbugs:8585

* lisp/menu-bar.el: Use function variable instead of switch-to-buffer.
(menu-bar-select-buffer-function): New variable.
(menu-bar-update-buffers): Use it.

* lisp/emacs-lisp/bytecomp.el (add-to-list): Add handler to check the
variable's status.

* xfont.c (xfont_match): Avoid need for strlen.

* xfns.c: Don't assume strlen fits in int.

(xic_create_fontsetname, x_window): Use ptrdiff_t, not int.

* xdisp.c (display_mode_element): Don't assume strlen fits in int.

* xdisp.c (message_log_check_duplicate): Return intmax_t,

not unsigned long, as we prefer signed integers.  All callers changed.
Detect integer overflow in repeat count.
(message_dolog): Don't assume print length fits in 39 bytes.

* callproc.c (egetenv): Adjust to getenv_internal API change.

Merge from trunk.

* x-dnd.el (x-dnd-version-from-flags)
(x-dnd-more-than-3-from-flags): New functions that handle long-as-cons
and long as number.
(x-dnd-handle-xdnd): Call functions above.

Fixes: debbugs:8899

* lisp/minibuffer.el (completion-metadata): Prepend the alist with `metadata'.
(completion-try-completion, completion-all-completions): Compute the
metadata argument if it's missing; make it optional.

Fixes: debbugs:8795

* doc/misc/eshell.texi (Known problems): Fix typo.

Use completion-at-point rather than completion-in-region.
* lisp/wid-edit.el: Use lexical scoping and move towards completion-at-point.
(widget-complete): Use new :completion-function property.
(widget-completions-at-point): New function.
(default): Use :completion-function instead of :complete.
(widget-default-completions): Rename from widget-default-complete, rewrite.
(widget-string-complete, widget-file-complete, widget-color-complete):
Remove functions.
(file, symbol, function, variable, coding-system, color):
* lisp/international/mule-cmds.el (default-input-method, charset)
(language-info-custom-alist):
* lisp/cus-edit.el (face): Use new property :completions.

* lisp/progmodes/pascal.el (pascal-completions-at-point): New function.
(pascal-mode): Use it.
(pascal-mode-map): Use completion-at-point.
(pascal-toggle-completions): Make obsolete.
(pascal-complete-word, pascal-show-completions):
* lisp/progmodes/octave-mod.el (octave-complete-symbol):
Redefine as obsolete alias.
* lisp/progmodes/octave-inf.el (inferior-octave-completion-at-point):
Signal absence of completion info for old Octave,
(inferior-octave-complete): Redefine as obsolete alias.
* lisp/progmodes/meta-mode.el: Use lexical-binding and completion-at-point.
(meta-completions-at-point): Rename from meta-complete-symbol and
adapt it for use on completion-at-point-functions.
(meta-common-mode): Use it.
(meta-looking-at-backward, meta-match-buffer): Remove.
(meta-complete-symbol): Redefine as obsolete alias.
(meta-common-mode-map): Use completion-at-point.
* lisp/progmodes/make-mode.el: Use lexical-binding and completion-at-point.
(makefile-mode-map): Use completion-at-point.
(makefile-completions-at-point): Rename from makefile-complete and
adapt it for use on completion-at-point-functions.
(makefile-mode): Use it.
(makefile-complete): Redefine as obsolete alias.

* lisp/net/rcirc.el: Delete trailing whitespaces once and for all.

* src/process.c (Fset_process_buffer): Clarify return value in docstring.

Restore old behavior of get-window-with-predicate and get-buffer-window-list.

* window.el (get-window-with-predicate): Start scanning with
window following selected window to restore Emacs 23 behavior.
Clarify doc-string.
(get-buffer-window-list): Start scanning with selected window to
restore Emacs 23 behavior.  Clarify doc-string.

* termcap.c: Don't assume sizes fit in int and never overflow.

(struct termcap_buffer, tgetent): Use ptrdiff_t, not int, for sizes.
(gobble_line): Check for size-calculation overflow.

* minibuf.c (Fread_buffer): Don't assume strlen fits in int.

* lread.c (intern, intern_c_string): Don't assume strlen fits in int.

* keyboard.c (parse_tool_bar_item): Avoid need for strlen.

* image.c (xpm_scan) [HAVE_NS && !HAVE_XPM]:

Don't assume string length fits in int.

* gtkutil.c (style_changed_cb): Avoid need for strlen.

* font.c (font_intern_prop): Don't assume string length fits in int.

Don't assume integer property fits in fixnum.
* font.h (font_intern_prop): 2nd arg is now ptrdiff_t, not int.

* emacs-lisp/syntax.el (syntax-ppss): Further improve docstring.

* font.c: Don't assume string length fits in int.

(font_parse_xlfd, font_parse_fcname, font_unparse_fcname):
Use ptrdiff_t, not int.

* filelock.c: Fix some buffer overrun and integer overflow issues.

(get_boot_time): Don't assume that gzip command string fits in 100 bytes.
Reformulate so as not to need the command string.
Invoke gzip -cd rather than gunzip, as it's more portable.
(lock_info_type, lock_file_1, lock_file):
Don't assume pid_t and time_t fit in unsigned long.
(LOCK_PID_MAX): Remove; we now use more-reliable bounds.
(current_lock_owner): Prefer signed type for sizes.
Use memcpy, not strncpy, where memcpy is what is really wanted.
Don't assume (via atoi) that time_t and pid_t fit in int.
Check for time_t and/or pid_t out of range, e.g., via a network share.
Don't alloca where an auto var works fine.

* fileio.c: Fix some integer overflow issues.

(file_name_as_directory, Fexpand_file_name, Fsubstitute_in_file_name):
Don't assume string length fits in int.
(directory_file_name): Don't assume string length fits in long.
(make_temp_name): Don't assume pid fits in int, or that its print
length is less than 20.

Fix last change.

* lisp/files.el (auto-mode-alist): Entry for m2-mode (Bug#8852).

* data.c (Fsubr_name): Rewrite to avoid a strlen call.

* coding.c (make_subsidiaries): Don't assume string length fits in int.

* info.el (Info-apropos-toc-nodes): Minor doc fix (Bug#8833).

* callproc.c (child_setup): Rewrite to avoid two strlen calls.

Auto-commit of loaddefs files.

* process.c (Fformat_network_address): Use EMACS_INT, not EMACS_UINT.

We prefer signed integers, even for size calculations.

* emacs.c: Don't assume string length fits in 'int'.

(DEFINE_DUMMY_FUNCTION, sort_args): Use ptrdiff_t, not int.
(main): Don't invoke strlen when not needed.

Auto-commit of generated files.

* dbusbind.c (XD_ERROR): Don't arbitrarily truncate string.

(XD_DEBUG_MESSAGE): Don't waste a byte.

* callproc.c: Don't assume string length fits in 'int.'

* buffer.c (init_buffer): Don't assume string length fits in 'int'.

* lib/unistd.in.h, m4/getloadavg.m4: Merge from gnulib.

Regroup clauses in display-buffer-normalize-options (Bug#8851) and (Bug#8856).

* window.el (display-buffer-normalize-options): Move special-display-p
group after pop-up-frame group (Bug#8851) and (Bug#8856).

Provide functions for saving window configurations as Lisp objects.

* window.el (window-list-no-nils, window-state-ignored-parameters)
(window-state-get-1, window-state-get, window-state-put-list)
(window-state-put-1, window-state-put-2, window-state-put): New
functions.

Sanitize processing of display specifiers; new option frame-auto-delete.

* window.el (display-buffer-other-window-means-other-frame):
Call display-buffer-normalize-alist.
(display-buffer-normalize-specifiers-1): Rename to
display-buffer-normalize-argument.  New argument other-frame.
Rewrite.
(display-buffer-normalize-specifiers-2): Rename to
display-buffer-normalize-options.
(display-buffer-normalize-alist-1): New function.
(display-buffer-normalize-specifiers-3): Rename to
display-buffer-normalize-alist.  Call
display-buffer-normalize-alist-1.
(display-buffer-normalize-options-inhibit): New variable.
(display-buffer-normalize-specifiers): Rewrite calling
display-buffer-normalize-alist,
display-buffer-normalize-argument, and
display-buffer-normalize-options.  Don't call the latter if
display-buffer-normalize-options-inhibit is non-nil.
(frame-auto-delete): New option.
(window-deletable-p): Use frame-auto-delete.

* lread.c (string_to_number): Simplify the 2011-04-26 change by invoking xsignal1.

* lread.c (invalid_syntax): Omit length argument.

All uses changed.  This doesn't fix a bug, but it simplifies the
code away from its former Hollerith-constant appearance, and it's
one less 'int' to worry about when looking at integer-overflow issues.

* lisp.h (make_fixnum_or_float): Remove unnecessary cast to EMACS_INT.

* lisp.h (LIST_END_P): Remove unused macro and its bogus comment.

* lisp.h (DEFUN): Remove bogus use of sizeof (struct Lisp_Subr).

This didn't break anything, but it didn't help either.
It's confusing to put a bogus integer in a place where the actual
value does not matter.

auth-source.el (auth-source-netrc-use-gpg-tokens): Replace `auth-source-save-secrets' with a more sensitive alist that can be configured per file.  Experimental, so defaults to 'never.
 (auth-source-netrc-create): Use it.  Still experimental code.
 (with-auth-source-epa-overrides): Use `find-file-hooks' if `find-file-hook' is unbound (XEmacs fix).  Fix backquoting bug.

Add rx.el support for numbered groups (Bug#8776).

* lisp/emacs-lisp/rx.el (rx-constituents): Add support for numbered groups.
(rx-submatch-n): New function.
(rx): Document it.

* dired-x.el (dired-mark-unmarked-files): Fix interactive spec (Bug#8768).

* lisp/textmodes/fill.el (default-justification): Add :safe (Bug#8879).

Fixes for GLYPH_DEBUG.

* dispnew.c (add_window_display_history): Use BVAR.

* xdisp.c (debug_method_add): Use BVAR.
(check_window_end, dump_glyph_matrix, dump_glyph)
(dump_glyph_row, dump_glyph_string): Convert arglist to ANSI C.

* xfaces.c (check_lface_attrs, check_lface, dump_realized_face):
Likewise.

* xfns.c (Fx_create_frame, x_create_tip_frame): Delay image cache
check till after the cache is created in init_frame_faces.

* lisp.h (XSET) [USE_LISP_UNION_TYPE]: Use uintptr_t and intptr_t,

not EMACS_UINT and EMACS_INT, when converting pointer to integer.
This avoids a GCC warning when WIDE_EMACS_INT.

* lisp.h (struct Lisp_Bool_Vector.size): EMACS_INT, not EMACS_UINT.

We prefer signed types, and the value cannot exceed the EMACS_INT
range anyway (because otherwise the length would not be representable).

Fix for disable-theme/defface interaction (Bug#8889).

* lisp/cus-face.el (custom-declare-face): Call custom-theme-recalc face
anytime existing face settings are present.

* lisp.h (union Lisp_Object.i): EMACS_INT, not EMACS_UINT.

This is for consistency with the ordinary, non-USE_LISP_UNION_TYPE,
implementation.

* indent.c (Fcompute_motion): Don't assume hscroll and tab offset fit in int.

* insdel.c: Omit unnecessary forward decls, to simplify future changes.

* indent.c (sane_tab_width): New function.

(current_column, scan_for_column, Findent_to, position_indentation)
(compute_motion): Use it.  This is just for clarity.

* image.c (xbm_image_p): Don't assume stated width and height fit in int.

* lisp.h (lint_assume): New macro.

* composite.c (composition_gstring_put_cache):
* ftfont.c (ftfont_shape_by_flt): Use it to pacify GCC 4.6.0.

* fns.c (Ffillarray): Don't shadow a local.