gnu: sshuttle: Patch FHS assumptions.

Reported-By: Nam Nguyen <namn@berkeley.edu>
* gnu/packages/vpn.scm (sshuttle)[arguments]: Set correct paths to 'env'
and 'sh'.

tests: Adjust services tests to new 'shepherd-service-upgrade'.

This is a followup to 4245ddcbc9f935804c17c97872b90ec1050c2d75.

* tests/services.scm ("shepherd-service-upgrade: one unchanged, one upgraded, one new")
("shepherd-service-upgrade: service depended on is not unloaded")
("shepherd-service-upgrade: obsolete services that depend on each
other"): Adjust to changes in 'shepherd-service-upgrade'.

tests: Update (guix build store-copy) tests.

This is a followup to a387b0bebb151a766ca6a454a891f2370c96703c.

* tests/gexp.scm ("gexp->derivation, store copy")
("gexp->derivation #:references-graphs"): Add (guix progress) and (guix
records) to the imported modules.

perform-download: Optionally report a "download-progress" trace.

* guix/scripts/perform-download.scm (perform-download): Add
 #:print-build-trace? and pass it to 'url-fetch'.
(guix-perform-download): Define 'print-build-trace?' and pass it to
'perform-download'.
* guix/build/download.scm (ftp-fetch): Add #:print-build-trace? and
honor it.
(url-fetch): Likewise.
* nix/libstore/builtins.cc (builtinDownload): Set _NIX_OPTIONS
environment variable.

Add (guix status) and use it for pretty colored output.

* guix/progress.scm (progress-reporter/trace): New procedure.
(%progress-interval): New variable.
(progress-reporter/file): Use it.
* guix/scripts/build.scm (set-build-options-from-command-line): Pass
 #:print-extended-build-trace?.
(%default-options): Add 'print-extended-build-trace?'.
(guix-build): Parameterize CURRENT-TERMINAL-COLUMNS.  Use
'build-status-updater'.
* guix/scripts/environment.scm (%default-options): Add
'print-extended-build-trace?'.
(guix-environment): Wrap body in 'with-status-report'.
* guix/scripts/pack.scm (%default-options): Add 'print-build-trace?' and
'print-extended-build-trace?'.
(guix-pack): Wrap body in 'with-status-report'.
* guix/scripts/package.scm (%default-options, guix-package): Likewise.
* guix/scripts/system.scm (%default-options, guix-system): Likewise.
* guix/scripts/pull.scm (%default-options, guix-pull): Likewise.
* guix/scripts/substitute.scm (progress-report-port): Don't call STOP
when TOTAL is zero.
(process-substitution): Add #:print-build-trace? and honor it.
(guix-substitute)[print-build-trace?]: New variable.
Pass #:print-build-trace? to 'process-substitution'.
* guix/status.scm: New file.
* guix/store.scm (set-build-options): Add #:print-extended-build-trace?;
pass it into PAIRS.
(%protocol-version): Bump.
(protocol-version, nix-server-version): New procedures.
(current-store-protocol-version): New variable.
(with-store, build-things): Parameterize it.
* guix/ui.scm (build-output-port): Remove.
(colorize-string): Export.
* po/guix/POTFILES.in: Add guix/status.scm.
* tests/status.scm: New file.
* Makefile.am (SCM_TESTS): Add it.
* nix/libstore/worker-protocol.hh (PROTOCOL_VERSION): Bump to 0x162.
* nix/libstore/build.cc (DerivationGoal::registerOutputs)
(SubstitutionGoal::finished): Print a "@ hash-mismatch" trace before
throwing.

progress: Add 'display-download-progress'.

* guix/progress.scm (display-download-progress): New procedure.
(progress-reporter/file)[render]: Rewrite in terms of
'display-download-progress'.

gnu: yoshimi: Update to 1.5.9.

* gnu/packages/music.scm (yoshimi): Update to 1.5.9.

gnu: emacs-ert-runner: Do not use package name in directory.

* gnu/packages/emacs.scm (emacs-ert-runner)[arguments]: Use the upstream name
instead of the Guix package name in the "install-executable" phase.

This is a follow-up to commit 5c8031ff7382ec9079040d08ae5a05b4dd2352b7.

gnu: eolie: Update to 0.9.38.

* gnu/packages/gnome.scm (eolie): Update to 0.9.38.

gnu: linux-libre: Update to 4.18.10.

* gnu/packages/linux.scm (%linux-libre-version): Update to 4.18.10.
(%linux-libre-hash): Update hash.

gnu: linux-libre@4.14: Update to 4.14.72.

* gnu/packages/linux.scm (%linux-libre-4.14-version): Update to 4.14.72.
(%linux-libre-4.14-hash): Update hash.

gnu: linux-libre@4.9: Update to 4.9.129.

* gnu/packages/linux.scm (linux-libre-4.9): Update to 4.9.129.

gnu: linux-libre@4.4: Update to 4.4.158.

* gnu/packages/linux.scm (linux-libre-4.4): Update to 4.4.158.

gnu: mame: Update to 0.202.

* gnu/packages/emulators.scm (mame): Update to 0.202.

gnu: youtube-dl: Update to 2018.09.18.

* gnu/packages/video.scm (youtube-dl): Update to 2018.09.18.

gnu: python-setproctitle: Use INVOKE.

* gnu/packages/python.scm (python-setproctitle)[arguments]: Substitute
INVOKE for SYSTEM*.

gnu: dico: Update to 2.7.

* gnu/packages/dico.scm (dico): Update to 2.7.
[arguments]: Work around dodgy test in 'check' phase.

gnu: perl-net-dns: Update to 1.18.

* gnu/packages/networking.scm (perl-net-dns): Update to 1.18.

gnu: perl-catalyst-runtime: Update to 5.90119.

* gnu/packages/web.scm (perl-catalyst-runtime): Update to 5.90119.

gnu: perl-crypt-openssl-rsa: Update to 0.31.

* gnu/packages/tls.scm (perl-crypt-openssl-rsa): Update to 0.31.

gnu: enlightenment: Fix initial locale and keyboard selection.

* gnu/packages/enlightenment.scm (enlightenment)[arguments]: In
'set-system-actions', set absolute file name to 'locale' and 'xorg.lst'.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

services: virtual-terminal: Write to "default_utf8" only if necessary.

Fixes a bug in containers whereby 'virtual-terminal' would always fail
to start because writing to /sys/…/default_utf8 would fail with EROFS.

* gnu/services/base.scm (virtual-terminal-service-type): Read from
"default_utf8" before attempting to write to it.

services: udev: Don't attempt to read "modules.devname" from a container.

Fixes <https://bugs.gnu.org/32814>.
Reported by Julien Lepiller <julien@lepiller.eu>.

* gnu/services/base.scm (udev-shepherd-service)[start]: Check whether
DIRECTORY exists and skip 'make-static-device-nodes' call if it doesn't.

services: shepherd: Add workaround for 0.5.0 in containers.

* gnu/services/shepherd.scm (%containerized-shepherd-service): New service.
* gnu/system.scm (essential-services): Use it when CONTAINER? is true.

services: dhcp-client: Use 'read-pid-file'.

* gnu/services/networking.scm (dhcp-client-service-type)[start]: Use
'read-pid-file' instead of the custom and possibly infinite loop.

gnu: Remove incorrect Emacs package deprecations.

This is a followup to 5c8031ff7382ec9079040d08ae5a05b4dd2352b7.  An
upgrade would wrongfully report things like:

  guix package: package 'emacs-typo' has been superseded by 'emacs-typo'
  guix package: package 'emacs-org-tree-slide' has been superseded by 'emacs-org-tree-slide'
  guix package: package 'emacs-emms' has been superseded by 'emacs-emms'

* gnu/packages/emacs.scm (flycheck, emms, typo, org-tree-slide)
(butler): Remove.
(emacs-emms-mode-line-cycle)[propagated-inputs]: Use EMACS-EMMS instead
of EMMS.

guix system: Load all services on reconfigure, not just stopped ones.

This uses the 'replacement' service slot introduced in the Shepherd
version 0.5.0.

* gnu/services/shepherd.scm (shepherd-service-upgrade): Return a list of
  services that need to be restarted to complete their upgrade.
* guix/scripts/system.scm (call-with-service-upgrade-info): Rename an internal
  variable to reflect the change to shepherd-service-upgrade.
  (upgrade-shepherd-services): Call 'load-services/safe' instead of
  'load-services'.  Print a message about services that need to be
  manually restarted.
* gnu/services/herd.scm (load-services/safe): New procedure.
* doc/guix.texi (Invoking guix system): Document the new behaviour.

Co-authored-by: Ludovic Courtès <ludo@gnu.org>

gnu: shepherd: Update to 0.5.0.

* gnu/packages/admin.scm (shepherd): Update to 0.5.0.

Fix URL in emacs-magit and emacs-groovy-modes.

* gnu/packages/emacs.scm (emacs-magit)[source]: Fix URL.
* gnu/packages/emacs.scm (emacs-groovy-modes)[source]: Fix URL.

gnu: linux-libre: Enable SHPC PCI Hotplug driver, now built-in only.

Fixes <https://bugs.gnu.org/32840>.

* gnu/packages/aux-files/linux-libre/4.18-x86_64.conf,
gnu/packages/aux-files/linux-libre/4.18-i686.conf: Add
CONFIG_HOTPLUG_PCI_SHPC=y, plus updates made by 'make oldconfig'.

gnu: icecat: Rebundle NSPR and NSS [security fix].

Works around <https://bugs.gnu.org/32833>.

* gnu/packages/gnuzilla.scm (icecat)[source]: In snippet, don't remove NSS.
[inputs]: Remove 'nspr' and 'nss'.
[arguments]: Remove --with-system-{nspr,nss} from configure flags.

gnu: icecat: Unbundle libevent, libogg, and libvorbis.

* gnu/packages/patches/icecat-use-system-media-libs.patch: New file.
* gnu/local.mk (dist_patch_DATA): Add it.
* gnu/packages/patches/icecat-avoid-bundled-libraries.patch: Add
another hunk to enable removal of libevent.
* gnu/packages/gnuzilla.scm (icecat)[source]: Add patch.  In the snippet, add
libevent, libogg, libvorbis, and libtremor to the list of bundled libraries to
remove.  Add a comment regarding theora.  Remove comments regarding unbundling
cairo, which is no longer supported.
[inputs]: Add libevent, libogg, and libvorbis.
[arguments]: Add --with-system-{libevent,ogg,vorbis} to configure flags.
Add custom bootstrap phase.  Add comments.

gnu: icecat: Unbundle graphite2 and harfbuzz.

* gnu/packages/patches/icecat-use-system-graphite2+harfbuzz.patch: New file.
* gnu/packages/patches/icecat-use-system-graphite2.patch,
gnu/packages/patches/icecat-use-system-harfbuzz.patch: Delete files.
* gnu/local.mk (dist_patch_DATA): Update accordingly.
* gnu/packages/gnuzilla.scm (icecat)[source]: Add new patch.  Delete
bundled graphite2 and harfbuzz in snippet.
[inputs]: Add graphite2 and harfbuzz.
[arguments]: Add --with-system-{graphite2,harfbuzz} to configure flags.

services: Add Varnish service.

* gnu/services/web.scm (<varnish-configuration>): New record type.
(%varnish-accounts, %varnish-service-type): New variables.
(varnish-shepherd-service): New procedure.
* gnu/tests/web.scm (%varnish-vcl, %varnish-os): New variables.
(%test-varnish): New test.
* doc/guix.texi (Web Services): Document it.

gnu: varnish: Use absolute file name of "rm".

* gnu/packages/web.scm (varnish)[arguments]: Rename 'patch-bin-sh-phase to
'use-absolute-file-names and add substitution.

gnu: Add Node LTS.

* gnu/packages/node.scm (node)[arguments]: Adjust 'patch-files' phase to
ignore missing files.
(node-lts): New public variable.

gnu: node: Delete expired tests.

* gnu/packages/node.scm (node)[arguments]: Delete tests for which the TLS
certificates have expired.

gnu: webkitgtk: Remove obsolete phase.

* gnu/packages/webkit.scm (webkitgtk)[arguments]: Remove #:phases.
(webkitgtk-2.22)[arguments]: Don't reference removed phase.

gnu: gspell: Update to 1.8.1.

* gnu/packages/gnome.scm (gspell): Update to 1.8.1.
[propagated-inputs]: Change ENCHANT-1.6 to ENCHANT.

gnu: enchant: Update to 2.2.3.

* gnu/packages/enchant.scm (enchant): Update to 2.2.3.
[arguments]: Add "--enable-relocatable" to #:configure-flags.
[native-inputs]: Add UNITTEST-CPP.
(enchant-1.6): New public variable.
* gnu/packages/fcitx.scm (fcitx)[inputs]: Change ENCHANT to ENCHANT-1.6.
* gnu/packages/gnome.scm (gspell): Likewise.
* gnu/packages/mate.scm (pluma): Likewise.
* gnu/packages/gtk.scm (gtkspell3)[propagated-inputs]: Likewise.
[inputs]: Remove duplicate ENCHANT.

gnu: enchant: Propagate Glib.

* gnu/packages/enchant.scm (enchant)[inputs]: Move GLIB ...
[propagated-inputs]: ... here.  New field.

gnu: enchant: Don't build libenchant.a.

* gnu/packages/enchant.scm (enchant)[arguments]: Add #:configure-flags.

gnu: enchant: Update home page.

* gnu/packages/enchant.scm (enchant)[home-page]: Set to URL mentioned on the
legacy home page.

git-download: Don't assume the working directory is the parent of ".git".

This makes it do the right thing w.r.t. git worktrees.

* guix/git-download.scm (git-file-list): Use REPOSITORY-WORKING-DIRECTORY to
locate checkout.  Rename from "top" to "workdir".

pull: Try harder to use the host's X.509 certificates.

* guix/scripts/pull.scm (honor-x509-certificates): Use commonly-found
certificate bundles.

substitute: Progress port really closes underlying port.

* guix/scripts/substitute.scm (progress-report-port): Use 'close-port'
instead of 'close-connection'.  Move 'stop' call first.

progress: 'progress-reporter-report!' takes any number of arguments.

* guix/progress.scm (progress-reporter-report!): Accept an arbitrary
number of arguments and pass them to REPORT.

gnupg: Change default keyserver.

* guix/gnupg.scm (%openpgp-key-server): Change default to
"pool.sks-keyservers.net".

gnu: diffoscope: Update to 102.

* gnu/packages/package-management.scm (diffoscope): Update to 102.

gnu: Add guile-next.

* gnu/packages/guile.scm (guile-next): Rewrite to refer to Guile 3.0.

gnu: python-wsgiproxy2: Update to 0.4.5.

* gnu/packages/python-web.scm (python-wsgiproxy2): Update to 0.4.5.

gnu: python-pexpect: Use INVOKE.

* gnu/packages/python.scm (python-pexpect)[arguments]: Substitute INVOKE
for SYSTEM*.

gnu: 389-ds-base: Fix build.

* gnu/packages/openldap.scm (389-ds-base)[inputs]: Add openssl.

gnu: python-nose-timer: Update to 0.7.3.

* gnu/packages/check.scm (python-nose-timer): Update to 0.7.3.

gnu: python-flask-login: Update to 0.4.1.

* gnu/packages/python-web.scm (python-flask-login): Update to 0.4.1.
[arguments]: Run the test suite.
[propagated-inputs]: Add python-flask.
[native-inputs]: Add test dependencies.

gnu: Add python-semantic-version.

* gnu/packages/python.scm (python-semantic-version)
(python2-semantic-version): New public variables.

gnu: python-flask-login: Don't use unstable tarball.

* gnu/packages/python-web.scm (python-flask-login)[source]:
Use GIT-FETCH and GIT-FILE-NAME.

gnu: ibus: Update to 1.5.19.

* gnu/packages/ibus.scm (ibus): Update to 1.5.19.
[arguments]: Add configure flags to disable Python 2 support while building
Python 3 bindings; adjust make flags; add phase prepare-ucd-dir.
[inputs]: Replace python2-pygobject with python-pygobject; replace python-2
with python.
[native-inputs]: Add unicode files.

gnu: qjackctl: Update to 0.5.4.

* gnu/packages/audio.scm (qjackctl): Update to 0.5.4.

gnu: octave: Add a search path for CURLOPT_CAPATH.

* gnu/packages/maths.scm (octave)[native-search-paths]: New field.

gnu: Add gandi.cli.

* gnu/packages/networking.scm (gandi.cli): New public variable.

gnu: rename: Update to 1.00.

* gnu/packages/admin.scm (rename): Update to 1.00.
[arguments]: Wrap executable to find its own library.

gnu: lxterminal: Update to 0.3.2.

* gnu/packages/lxde.scm (lxterminal): Update to 0.3.2.

gnu: gloox: Update to 1.0.21.

* gnu/packages/messaging.scm (gloox): Update to 1.0.21.

gnu: libmesode: Update to 0.9.2.

* gnu/packages/messaging.scm (libmesode): Update to 0.9.2.

gnu: libmesode: Don't use unstable tarball.

* gnu/packages/messaging.scm (libmesode)[source]: Use GIT-FETCH and
GIT-FILE-NAME.

gnu: ocaml-ssl: Don't use unstable tarball.

* gnu/packages/ocaml.scm (ocaml-ssl)[source]: Use GIT-FETCH and
GIT-FILE-NAME.

gnu: eolie: Update to 0.9.37.

* gnu/packages/gnome.scm (eolie): Update to 0.9.37.
[source]: Fetch from gitlab.
[build-system]: Use meson-build-system.
[arguments]: Remove custom phases; set #:glib-or-gtk?.
[native-inputs]: Remove meson-for-build and ninja; add glib:bin.
[inputs]: Add python-pyfxa and python-pycrypto.

gnu: Add python-pyfxa.

* gnu/packages/python-web.scm (python-pyfxa): New variable.

gnu: Add python-pybrowserid.

* gnu/packages/python-web.scm (python-pybrowserid): New variable.

gnu: Add python-hawkauthlib.

* gnu/packages/python-web.scm (python-hawkauthlib): New variable.

gnu: Add python-grequests.

* gnu/packages/python-web.scm (python-grequests): New variable.

gnu: m17n-lib: Update to 1.8.0.

* gnu/packages/emacs.scm (m17n-lib): Update to 1.8.0.

gnu: m17n-db: Update to 1.8.0.

* gnu/packages/emacs.scm (m17n-db): Update to 1.8.0.

gnu: Add r-bseqsc.

* gnu/packages/bioinformatics.scm (r-bseqsc): New variable.

gnu: Add r-cssam.

* gnu/packages/bioinformatics.scm (r-cssam): New variable.

gnu: Add r-xbioc.

* gnu/packages/bioinformatics.scm (r-xbioc): New variable.

gnu: Prefix all Emacs packages with "emacs-".

* gnu/packages/emacs.scm: Prefix all Emacs packages with "emacs-".
This is to enforce consistency and so that `emacs-packages?' can reliably
detect Emacs packages based on the "emacs-" prefix.

gnu: python-networkx: Use HTTPS home page.

* gnu/packages/python.scm (python-networkx)[home-page]: Use HTTPS.

gnu: python-networkx: Update to 2.2.

* gnu/packages/python.scm (python-networkx): Update to 2.2.

gnu: python-decorator: Update to 4.3.0.

* gnu/packages/python.scm (python-decorator): Update to 4.3.0.
[arguments]: Run the test suite.

gnu: python-marshmallow: Update to 3.0.0b14.

* gnu/packages/python.scm (python-marshmallow): Update to 3.0.0b14.

gnu: libiptcdata: Update to 1.0.5.

* gnu/packages/image.scm (libiptcdata): Update to 1.0.5.
[home-page]: Follow Debian's maintained upstream.

gnu: virtualgl: Update to 2.6.

* gnu/packages/gl.scm (virtualgl): Update to 2.6.
[inputs]: Add libxtst.

gnu: parallel: Update to 20180922.

* gnu/packages/parallel.scm (parallel): Update to 20180922.

gnu: workrave: Use Guix's built-in bootstrap phase.

* gnu/packages/gnome.scm (workrave)[arguments]: Remove
'autoconf' phase.

gnu: python-gitdb: Update to 2.0.4.

* gnu/packages/version-control.scm (python-gitdb): Update to 2.0.4.
[arguments]: Replace AND with equivalent but more 'accurate' BEGIN.

gnu: nano: Update to 3.1.

* gnu/packages/nano.scm (nano): Update to 3.1.

gnu: fping: Use HTTPS home page.

* gnu/packages/networking.scm (fping)[home-page]: Use HTTPS.

gnu: fping: Update to 4.1.

* gnu/packages/networking.scm (fping): Update to 4.1.

vm: Use "cache=loose" for all 9p mounts.

This significantly improves read throughput when running things like
"guix hash -r ...".

* gnu/system/vm.scm (%linux-vm-file-systems): Add 'flags' for "store".
Add "cache=loose" to every file system.

vm: Disable deduplication for 'guix system vm-image'.

* gnu/system/vm.scm (qemu-image): Pass #:deduplicate? #f to
'root-partition-initializer'.

database: Register each store item only once.

Fixes <https://bugs.gnu.org/32600>.
Reported by Leo Famulari.

* guix/store/database.scm (register-items): Check whether TO-REGISTER is
in DB by calling 'path-id',  and skip the reset-timestamps,
registration, and deduplication phases when it is.

database: 'register-items' shows a progress bar.

* guix/store/database.scm (register-items): Add #:log-port.  Use
'progress-reporter/bar' to show a progress report.
(register-path): Pass #:log-port to 'register-items'.

store-copy: Display a progress bar when copying store items.

* guix/build/store-copy.scm (populate-store): Add #:log-port parameter.
Use 'progress-reporter/bar' to report progress.

serialization: Remove redundancy in 'write-file'.

* guix/serialization.scm (write-file): Remove redundant 'member' call.

system: Mention '--skip-checks' in initrd diagnostics.

* gnu/system/mapped-devices.scm (check-device-initrd-modules): Add note
about '--skip-checks'.

gnu: Add emacs-synosaurus.

* gnu/packages/emacs.scm (emacs-synosaurus): New variable.

gnu: xpra: Update to 2.3.4.

* gnu/packages/xorg.scm (xpra): Update to 2.3.4.

gnu: eolie: Use webkitgtk-2.22.

* gnu/packages/gnome.scm (eolie)[native-inputs]: Add gcc-7:lib.
[inputs]: Replace webkitgtk with webkitgtk-2.22.
[arguments]: Add "gcc:lib" to the list of libraries to add to
LD_LIBRARY_PATH.  Use invoke.