self: 'compiled-files' builds the given list of files.

* guix/self.scm (compiled-files): Add 'module-files' parameter.
[build]: 'process-directory' now honors MODULE-FILES instead of
building any '.scm' file it sees.
(scheme-node): Adjust accordingly.

self: Improve backtraces for 'imported-files'.

* guix/self.scm (imported-files): Pass #:env-vars.

gnu: icecat: Add more fixes from upstream esr52.

* gnu/packages/gnuzilla.scm (icecat)[source]: Add selected fixes from
the upstream mozilla-esr52 repository.

self: Show backtraces on more columns.

* guix/self.scm (compiled-modules): Add "COLUMNS" to #:env-vars.

self: Add dependency on guile-gdbm-ffi.

Fixes a regression introduced in
331ac4cc239727992329207ba428b3f26cae91d9 whereby "guile-gdbm-ffi" would
now be mandatory.

* guix/self.scm (specification->package): Add "guile-gdbm-ffi" and
"guile2.0-gdbm-ffi".
(compiled-guix)[guile-gdbm-ffi]: New variables.
[dependencies]: Add it.

gnu: qtbase: Fix build on older kernels.

* gnu/packages/qt.scm (qtbase)[arguments]: Add configure flags
"-no-feature-getentropy" and "-no-feature-renameat2".

Add (guix store deduplication).

* guix/store/database.scm (register-path): Add #:deduplicate? and call
'deduplicate' when it's true.
(counting-wrapper-port, nar-sha256): Move to...
* guix/store/deduplication.scm: ... here.  New file.
* tests/store-deduplication.scm: New file.
* Makefile.am (STORE_MODULES): Add deduplication.scm.
(SCM_TESTS) [HAVE_GUILE_SQLITE3]: Add store-deduplication.scm.

Co-authored-by: Ludovic Courtès <ludo@gnu.org>

database: 'register-path' resets timestamps.

* guix/store/database.scm (reset-timestamps): New procedure.
(register-path): Use it.

Add (gnu store database).

* guix/config.scm.in (%store-database-directory): New variable.
* guix/store/database.scm: New file.
* tests/store-database.scm: New file.
* Makefile.am (STORE_MODULES): New variable.
(MODULES, MODULES_NOT_COMPILED): Adjust accordingly.
(SCM_TESTS) [HAVE_GUILE_SQLITE3]: Add tests/store-database.scm.

Co-authored-by: Ludovic Courtès <ludo@gnu.org>

build: Check for Guile-SQLite3.

* m4/guix.m4 (GUIX_CHECK_GUILE_SQLITE3): New macro.
* configure.ac: Use it and define 'HAVE_GUILE_SQLITE3'.
* guix/self.scm (specification->package): Add "guile-sqlite3".
(compiled-guix)[guile-sqlite3]: New variable.
[dependencies]: Add it.

vm: Use 'with-extensions'.

* gnu/system/vm.scm (system-docker-image)[build]: Use
'with-extensions'.  Remove 'add-to-load-path' calls.

profiles: Use 'with-extensions'.

* guix/profiles.scm (manual-database)[build]: Use 'with-extensions'.
Remove 'add-to-load-path' call.
* guix/man-db.scm: Use (gdbm) the normal way; remove 'module-autoload!'
call.

bootloader: grub: Use 'with-extensions'.

* gnu/bootloader/grub.scm (svg->png): Use 'with-extensions'.  Remove
'add-to-load-path' calls.
* gnu/build/svg.scm: Use (rsvg) and (cairo) the normal way.  Remove
'module-autoload!' calls.

bootloader: grub: Simplify 'svg->png'.

* gnu/bootloader/grub.scm (svg->png): Remove now unneeded
  #:guile-for-build argument.

tests: ssh: Use 'with-extensions'.

* gnu/tests/ssh.scm (run-ssh-test)[test]: Wrap body in
'with-extensions'.  Remove %load-path manipulation code.

pack: Use 'with-extensions' when referring to (guix docker).

* guix/docker.scm: Use module (json) the normal way.
* guix/scripts/pack.scm (docker-image)[build]: Wrap in
'with-extensions'.

gexp: Add 'with-extensions'.

* guix/gexp.scm (<gexp>)[extensions]: New field.
(gexp-attribute): New procedure.
(gexp-modules): Write in terms of 'gexp-attribute'.
(gexp-extensions): New procedure.
(gexp->derivation): Add #:effective-version.
[extension-flags]: New procedure.
Honor extensions of EXP.
(current-imported-extensions): New syntax parameter.
(with-extensions): New macro.
(gexp): Honor CURRENT-IMPORTED-EXTENSIONS.
(compiled-modules): Add #:extensions and honor it.
(load-path-expression): Likewise.
(gexp->script, gexp->file): Honor extensions.
* tests/gexp.scm (%extension-package): New variable.
("gexp-extensions & ungexp")
("gexp-extensions & ungexp-splicing")
("gexp-extensions and literal Scheme object")
("gexp->derivation & with-extensions")
("program-file & with-extensions"): New tests.
* doc/guix.texi (G-Expressions): Document 'with-extensions'.

pack: Adjust test to expect relative symlinks.

Reported by Chris Marusich <cmmarusich@gmail.com>.
Fixes <https://bugs.gnu.org/31560>.

* tests/pack.scm ("self-contained-tarball"): Rename 'guile' to 'bin'.
Expect 'bin/Guile' to be a relative symlink.

tests: Fix arguments in pack test.

This is a follow-up to commit 5ffac538aa604b71814ac74579626f0d3110b96e.

* tests/pack.scm (self-contained-tarball): Adjust arguments to
"self-contained-tarball".

gexp: 'compiled-modules' no longer overrides (guix build utils).

Until now 'compiled-modules' would override (guix build utils) with its
own.  Thus, when asked to build a different (guix build utils),
via #:module-path, it would fail badly because a (guix build utils)
module was already loaded and possibly incompatible with the new one.

This happened when running 'guix pull --branch=core-updates' from
current master: in 'core-updates', (guix build utils) exports
'ignore-error?' but in 'master' it does not.  Thus, 'guix pull' would
fail with:

  no binding `invoke-error?' in module (guix build utils)
  builder for `/gnu/store/…-module-import-compiled.drv' failed with exit code 1
  cannot build derivation `/gnu/store/…-compute-guix-derivation.drv': 1 dependencies couldn't be built

This patch fixes it.

* guix/gexp.scm (compiled-modules)[build-utils-hack?]: New variable.
[build]: Load MODULES/build/utils.scm when it exists.

gnu: rust: Add support for building 32-bit packages on 64-bit hosts.

* gnu/packages/rust.scm (rust-bootstrap, rust-1.23): Use
nix-system->gnu-triplet to determine the system type.
(rust-1.19): Use readelf instead of nm in the atomic-lock-free test.
(rust-1.23): Disable the cargo_test_env test. Disable parallel execution of
tests.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add git-annex.

* gnu/packages/version-control.scm (git-annex): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add ghc-disk-free-space.

* gnu/packages/haskell.scm (ghc-disk-free-space): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: ghc-psqueues: Allow building with newer versions of QuickCheck.

* gnu/packages/haskell.scm (ghc-psqueues)[arguments]: Add configure
flag to allow newer versions of QuickCheck.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add ghc-safesemaphore.

* gnu/packages/haskell.scm (ghc-safesemaphore): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add ghc-esqueleto.

* gnu/packages/haskell.scm (ghc-esqueleto): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add ghc-ifelse.

* gnu/packages/haskell.scm (ghc-ifelse): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add ghc-feed.

* gnu/packages/haskell.scm (ghc-feed): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add ghc-bloomfilter.

* gnu/package/haskell.scm (ghc-bloomfilter): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

services: Add hpcguix-web.

* gnu/service/web.scm (<hpcguix-web-configuration>): New record-type.
  (%hpcguix-web-accounts): New variable.
  (%hpcguix-web-activation,hpcguix-web-shepherd-service,
  hpcguix-web-service-type): New procedures.
* gnu/tests/web.scm (run-hpcguix-web-server-test): New procedure.
  (%hpcguix-web-specs, %hpcguix-web-os, %test-hpcguix-web): New variable.
* doc/guix.texi (Web Services): Add 'hpcguix-web'.

Co-authored-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add hpcguix-web.

* gnu/package/web.scm (hpcguix-web): New variable.

Signed-off-by: Ludovic Courtès <ludovic.courtes@inria.fr>

marionette: Add 'wait-for-tcp-port'.

* gnu/build/marionette.scm (wait-for-tcp-port): New procedure.
* gnu/tests/dict.scm (run-dicod-test)["connect inside"]: Use it instead
of the inline loop.

gnu: emacs-w3m: Update and allow builds with Emacs 26.

* gnu/packages/emacs.scm (emacs-w3m)[source]: Grab the source from
github.com.
[native-inputs]: Add TEXINFO.
[arguments]: Add 'support-emacs!' phase.  In 'patch-exec-paths' phase,
make w3m.el and w3m-image.el writable.  Remove substitution for
'w3m-image-viewer', which no longer exists.

gnu: sddm: Fix CMake build.

* gnu/packages/display-managers.scm (sddm): Fix CMake build.
* gnu/local.mk (dist_patch_DATA): Register it.
* gnu/packages/patches/sddm-fix-build-with-qt-5.11-1024.patch: New file.

Signed-off-by: Rutger Helling <rhelling@mykolab.com>

scripts: system: Sort profile generations in reverse order.

* guix/scripts/system.scm (profile-boot-parameters): Reverse
generation-numbers list. This allows old generations to be listed from most
recent to oldest in bootloaders configuration files.

gnu: prosody: Update to 0.10.2 [fixes CVE-2018-10847].

* gnu/packages/messaging.scm (prosody): Update to 0.10.2.

gnu: Add emacs-zotxt.

* gnu/packages/emacs.scm (emacs-zotxt): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add emacs-org-caldav.

* gnu/packages/emacs.scm (emacs-org-caldav): New variable.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: Add python-bigfloat.

* gnu/packages/python.scm (python-bigfloat, python2-bigfloat): New
variables.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

gnu: bear: Fix python path.

* gnu/packages/build-tools.scm (bear)
[inputs]: Add python-wrapper.

Signed-off-by: Ludovic Courtès <ludo@gnu.org>

records: Make a couple of procedures available at expansion time.

* guix/records.scm (current-abi-identifier, abi-check): Wrap in
'eval-when'.

system: 'read-boot-parameters' provides a more meaningful warning.

'system' here was bound to Guile's 'system' procedure.

* gnu/system.scm (read-boot-parameters): Fix argument for fallback
warning.

file-systems: Always wait for devices to show up.

Previously, 'canonicalize-device-spec' would wait for devices when they
were specified as a label or UUID, but would not wait when the user
passed a "/dev" file name directly.  This could cause problems when
the /dev node takes a while to show up.

* gnu/build/file-systems.scm (canonicalize-device-spec): Add 'resolve'
call in the 'string?' case.

self: Reduce the set of dependencies.

By mistake we were adding more dependencies than needed to the Scheme
derivations.

* guix/self.scm (compiled-guix)[dependencies]: Use
'package-transitive-propagated-inputs', not 'package-transitive-inputs'.

gnu: r-servr: Update to 0.10.

* gnu/packages/web.scm (r-servr): Update to 0.10.
[native-inputs]: Remove r-rcpp.

gnu: r-seurat: Update to 2.3.1.

* gnu/packages/bioinformatics.scm (r-seurat): Update to 2.3.1.
[propagated-inputs]: Remove r-gridextra; add r-reticulate.

gnu: r-shiny: Update to 1.1.0.

* gnu/packages/web.scm (r-shiny): Update to 1.1.0.
[source]: Fetch from git.
[propagated-inputs]: Add r-crayon.

gnu: r-rjson: Update to 0.2.19.

* gnu/packages/web.scm (r-rjson): Update to 0.2.19.

gnu: r-htmltable: Update to 1.12.

* gnu/packages/web.scm (r-htmltable): Update to 1.12.

gnu: r-directlabels: Update to 2018.05.22.

* gnu/packages/statistics.scm (r-directlabels): Update to 2018.05.22.

gnu: r-ranger: Update to 0.10.0.

* gnu/packages/statistics.scm (r-ranger): Update to 0.10.0.

gnu: r-tclust: Update to 1.4-1.

* gnu/packages/statistics.scm (r-tclust): Update to 1.4-1.

gnu: r-caret: Update to 6.0-80.

* gnu/packages/statistics.scm (r-caret): Update to 6.0-80.

gnu: r-quantreg: Update to 5.36.

* gnu/packages/statistics.scm (r-quantreg): Update to 5.36.

gnu: r-rrcov: Update to 1.4-4.

* gnu/packages/statistics.scm (r-rrcov): Update to 1.4-4.

gnu: r-ggthemes: Update to 3.5.0.

* gnu/packages/statistics.scm (r-ggthemes): Update to 3.5.0.

gnu: r-runit: Update to 0.4.32.

* gnu/packages/statistics.scm (r-runit): Update to 0.4.32.

gnu: r-purrr: Update to 0.2.5.

* gnu/packages/statistics.scm (r-purrr): Update to 0.2.5.

gnu: r-tidyr: Update to 0.8.1.

* gnu/packages/statistics.scm (r-tidyr): Update to 0.8.1.

gnu: r-synchronicity: Update to 1.3.4.

* gnu/packages/statistics.scm (r-synchronicity): Update to 1.3.4.

gnu: r-rngtools: Update to 1.3.1.

* gnu/packages/statistics.scm (r-rngtools): Update to 1.3.1.

gnu: r-pkgmaker: Update to 0.27.

* gnu/packages/statistics.scm (r-pkgmaker): Update to 0.27.
[propagated-inputs]: Add r-bibtex, r-magrittr, r-stringi, and r-withr.

gnu: r-lambda-r: Update to 1.2.3.

* gnu/packages/statistics.scm (r-lambda-r): Update to 1.2.3.

gnu: r-plotrix: Update to 3.7-2.

* gnu/packages/statistics.scm (r-plotrix): Update to 3.7-2.

gnu: r-data-table: Update to 1.11.4.

* gnu/packages/statistics.scm (r-data-table): Update to 1.11.4.

gnu: r-rlang: Update to 0.2.1.

* gnu/packages/statistics.scm (r-rlang): Update to 0.2.1.

gnu: r-knitrbootstrap: Update to 1.0.2.

* gnu/packages/statistics.scm (r-knitrbootstrap): Update to 1.0.2.
[propagated-inputs]: Add r-markdown.

gnu: r-pheatmap: Update to 1.0.10.

* gnu/packages/statistics.scm (r-pheatmap): Update to 1.0.10.

gnu: r-bit: Update to 1.1-14.

* gnu/packages/statistics.scm (r-bit): Update to 1.1-14.

gnu: r-kernlab: Update to 0.9-26.

* gnu/packages/machine-learning.scm (r-kernlab): Update to 0.9-26.

gnu: r-rmysql: Update to 0.10.15.

* gnu/packages/databases.scm (r-rmysql): Update to 0.10.15.

gnu: r-mice: Update to 3.0.0.

* gnu/packages/cran.scm (r-mice): Update to 3.0.0.
[propagated-inputs]: Add r-broom, r-dplyr, r-mitml, and r-rlang.

gnu: r-callr: Update to 2.0.4.

* gnu/packages/cran.scm (r-callr): Update to 2.0.4.
[propagated-inputs]: Add r-processx; remove r-assertthat, r-crayon, r-debugme,
and r-testthat.

gnu: r-openxlsx: Update to 4.1.0.

* gnu/packages/cran.scm (r-openxlsx): Update to 4.1.0.
[propagated-inputs]: Add r-zip.

gnu: r-shinyace: Update to 0.3.1.

* gnu/packages/cran.scm (r-shinyace): Update to 0.3.1.
[propagated-inputs]: Add r-jsonlite.

gnu: r-processx: Update to 3.1.0.

* gnu/packages/cran.scm (r-processx): Update to 3.1.0.
[propagated-inputs]: Remove r-debugme; add r-testthat.

gnu: r-ggally: Update to 1.4.0.

* gnu/packages/cran.scm (r-ggally): Update to 1.4.0.
[inputs]: Add libressl.
[propagated-inputs]: Add r-rlang.

gnu: r-psych: Update to 1.8.4.

* gnu/packages/cran.scm (r-psych): Update to 1.8.4.

gnu: r-pillar: Update to 1.2.3.

* gnu/packages/cran.scm (r-pillar): Update to 1.2.3.

gnu: r-utf8: Update to 1.1.4.

* gnu/packages/cran.scm (r-utf8): Update to 1.1.4.

gnu: r-ggjoy: Update to 0.4.1.

* gnu/packages/cran.scm (r-ggjoy): Update to 0.4.1.

gnu: r-dtw: Update to 1.20-1.

* gnu/packages/cran.scm (r-dtw): Update to 1.20-1.

gnu: r-ica: Update to 1.0-2.

* gnu/packages/cran.scm (r-ica): Update to 1.0-2.

gnu: r-sm: Update to 2.2-5.5.

* gnu/packages/cran.scm (r-sm): Update to 2.2-5.5.

gnu: r-hardyweinberg: Update to 1.6.1.

* gnu/packages/cran.scm (r-hardyweinberg): Update to 1.6.1.

gnu: r-ggrepel: Update to 0.8.0.

* gnu/packages/cran.scm (r-ggrepel): Update to 0.8.0.

gnu: r-cvst: Update to 0.2-2.

* gnu/packages/cran.scm (r-cvst): Update to 0.2-2.

gnu: r-energy: Update to 1.7-4.

* gnu/packages/cran.scm (r-energy): Update to 1.7-4.

gnu: r-emdbook: Update to 1.3.10.

* gnu/packages/cran.scm (r-emdbook): Update to 1.3.10.

gnu: r-inline: Update to 0.3.15.

* gnu/packages/cran.scm (r-inline): Update to 0.3.15.

gnu: r-ff: Update to 2.2-14.

* gnu/packages/cran.scm (r-ff): Update to 2.2-14.

gnu: r-rcpp: Update to 0.12.17.

* gnu/packages/cran.scm (r-rcpp): Update to 0.12.17.

gnu: r-abbyyr: Update to 0.5.4.

* gnu/packages/cran.scm (r-abbyyr): Update to 0.5.4.

gnu: Add r-bibtex.

* gnu/packages/cran.scm (r-bibtex): New variable.

gnu: Add r-reticulate.

* gnu/packages/cran.scm (r-reticulate): New variable.

gnu: Add r-zip.

* gnu/packages/cran.scm (r-zip): New variable.

gnu: Add r-mitml.

* gnu/packages/cran.scm (r-mitml): New variable.

gnu: Add r-pan.

* gnu/packages/cran.scm (r-pan): New variable.

gnu: Add r-jomo.

* gnu/packages/cran.scm (r-jomo): New variable.

gnu: r-vegan: Update to 2.5-2.

* gnu/packages/bioinformatics.scm (r-vegan): Update to 2.5-2.