add a not documented apt-key --fakeroot option

Usually, most apt-key commands require root, so the script is checking
for being run as root, but in your tests we use a non-root location, so
we don't need to be root and therefore need an option to skip the check.

Git-Dch: Ignore

use our _error stack to generate openpty errors

While we don't want these error messages on our usual stack, we can use
our usual infrastructure to generate an error message with all the usual
bells like errno and strerror attached.

Git-Dch: Ignore

do not try to chown if not run as root

If this code is run as non-root we are in a special situation (e.g. in
our testcases) where it is obvious that we can't enforce user/group on
any file, so skip this code altogether instead of bugging users with
an error message – which we also switch to a warning as a failure to
open the file is "just" a warning, so the 'wrong' owner shouldn't be
that much of an issue.

The file is still handled with chmod, so all the security we can enforce
is still enforced of course, which also gets a warning if it fails.

Git-Dch: Ignore

fix output redirection order

First redirect output to a file, then redirect other outputs to this
output, not the other way around as this will not work.

Git-Dch: Ignore

fix: --print-uris removes authentication

The constructors of our (clear)sign-acquire-items move a pre-existent
file for error-recovery away, which gets restored or discarded later as
the acquire progresses, but --print-uris never really starts the
acquire process, so the files aren't restored (as they should).

To fix this both get a destructor which checks for signs of acquire
doing anything and if it hasn't the file is restored.

Note that these virtual destructors theoretically break the API, but
only with classes extending the sign-acquire-items and nobody does this,
as it would be insane for library users to fiddle with Acquire
internals – and these classes are internals.

Closes: 719263

add chronic-like testsuccess/testfailure helpers

For many commands the output isn't stable (like then dpkg is called) but
the exitcode is, so this helper enhances the common && msgpass ||
msgfail by generating automatically a msgtest and showing the output of
the command in case of failure instead of discarding it unconditionally,
the later being chronic-like behaviour

Git-Dch: Ignore

test Release file handling with expired keys

Signing files with expired keys is not as easy as it sounds, so the
framework jumps a few loops to do it, but it might come in handy to have
an expired key around for later tests even if it is not that different
from having no key in regards to APT behaviour.

Git-Dch: Ignore

improve error message

use the 'abi-complicance-checker package instead of using the buildin copy for the abi checks

Complete Japanese translation

Merge branch 'debian/sid' of git://git.debian.org/git/apt/apt into debian/sid

Japanese translation update. Closes: #719279

fix -Wall errors

use pkgTagFile to parse "header" of Release files

The handwritten parsing here was mostly done as we couldn't trust the
Release file we got, but nowadays we are sure that the Release file is
valid and contains just a single section we want it to include.

Beside reducing code it also fixes a bug: Fieldnames in deb822 formatted
files are case-insensitive and pkgTagFile does it correctly, but this
selfbuilt stuff here didn't.

stop skipping "-----" sections in Release files

The file we read will always be a Release file as the clearsign is
stripped earlier in this method, so this check is just wasting CPU
Its also removing the risk that this could ever be part of a valid
section, even if I can't imagine how that should be valid.

Git-Dch: Ignore

specific pins below 1000 cause downgrades

We start your quest by using the version of a package applying to a
specific pin, but that version could very well be below the current
version, which causes APT to suggest a downgrade even if it is
advertised that it never does this below 1000.

Its of course questionable what use a specific pin on a package has
which has a newer version already installed, but reacting with the
suggestion of a downgrade is really not appropriated (even if its kinda
likely that this is actually the intend the user has – it could just as
well be an outdated pin) and as pinning is complicated enough we should
atleast do what is described in the manpage.

So we look out for the specific pin and if we haven't seen it at the
moment we see the installed version, we ignore the specific pin.

Closes: 543966

Merge remote-tracking branch 'upstream/debian/sid' into bugfix/coverity

fix some unitialized data members

Vietnamese translation update. Closes: #718615

prefer native arch over higher priority for providers

The rational from the buglog:
> The problem here is that the Priority field in one of the Packages files
> is incorrect due to a mishap with reprepro configuration, […] the
> amd64 version is Priority: standard but the arm64 version is Priority:
> optional (and has a stray "optional: interpreters" field).
> […]
> However, Priority is a rather weak property of a package because it's
> typically applied via overrides, and it's easy for maintainers of
> third-party repositories to misconfigure them so that overrides aren't
> applied correctly.  It shouldn't be ranked ahead of choosing packages
> from the native architecture.  In this case, I have no user-mode
> emulation for arm64 set up, so choosing m4:arm64 simply won't work.

This effectly makes the priority the least interesting data point in
chosing a provider, which is in line with the other checks we have
already order above priority in the past and also has a certain appeal by
the soft irony it provides.

Closes: #718482

unset LANGUAGE for showing [Y/n] answer hints

nl_langinfo is used to acquire the YESEXPR of the language used,
but it will return the one from LC_MESSAGES, which might be different
from the language chosen for display of the question (based on LANGUAGE)
so this commit removes the [Y/n] help text from the questions itself and
moves it to the prompt creation in which the usage of LC_MESSAGES is
forced for it, so that the helptext shown actually represents the
characters accepted as input for the question.

There is still room for problems of course starting with an untranslated
"[Y/n]" but a translated YESEXPR or the problem that the question is
asked in a completely different language which might have a conflicting
definition of [Y/n] input or the user simple ignores the helptext and
assumes that an answer matching the question language is accepted, but
the mayority of users will never have this problem to begin with, so we
should be fine (or at least a bit finer than before).

Closes nothing really, but should at least help a bit with bugs like
deb:194614, deb:471102, lp:1205578, and countless others.

Merge remote-tracking branch 'mvo/bugfix/coverity' into debian/sid

run "doxygen -u" to update doxygen config

Git-Dch: Ignore

update the symbol files to reflect current state

exclude config.{sub,guess} from source package

Lintian complains about these links in the source package as they leave
the source directory and as they are autogenerated there isn't that much
sense in shipping them, we can just recreate them before calling
configure.

fix another missing va_end()

fix missing va_end()

fix some coverity chroot() releated warnings

reenable automatic parallel build of APT

It works for a while now in manual tests, now lets see how it will
perform if enabled for all by default automatically.

implement debian/rules build-{arch,indep} as required by policy 3.9.4

correct management-typo in description found by lintian

add missing Turkish (tr) to po/LINGUAS

And while at it ensure that this can't happen again by letting the build
fail in case a po file is available but the language isn't mentioned in
the LINGUAS file (not even as a disabled language).

add missing test make

remove ALL_LINGUAS as it is overruled by po/LINGUAS

The list shows that it is ignored as some translations which are shipped
are not included here, so remove this source of possible confusion.

Git-Dch: Ignore

make autoconf happy by "mv configure.{in,ac}"

Git-Dch: Ignore

ensure that FileFd::Size returns 0 in error cases

proper cleanup varargs in _error (uncovered by Coverity)

Git-Dch: Ignore

use FileFd::Write instead of fwrite for errors

Using the static FileFd::Write method gives us error messages for free
so we use it here to avoid failing silently (with a fail silent error).

Git-Dch: Ignore

add missing "make test" for travis

update changelog for upload

request absolute URIs from proxies again (0.9.9.3 regession)

Commit 2b9c9b7f28b18f6ae3e422020e8934872b06c9f3 not only removes
keep-alive, but also changes the request URI send to proxies which are
required to be absolute URIs rather than the usual absolute paths.

Closes: 717891

build tree first

make setup in travis.yml a bit more verbose

pick up Translation-* even if only compressed available

On CD-ROMs Translation-* files are only in compressed form included in
the Release file. This used to work while we had no record of
Translation-* files in the Release file at all as APT would have just
guessed the (compressed) filename and accepted it (unchecked), but now
that it checks for the presents of entries and if it finds records it
expects the uncompressed to be verifiable.

This commit relaxes this requirement again to fix the regression.
We are still secure "enough" as we can validate the compressed file we have
downloaded, so we don't loose anything by not requiring a hashsum for
the uncompressed files to double-check them.

Closes: 717665

fix travis.yml

add missing "free(buffer) for allocated buffer

fix potential GetLock() fd leak

delete targets data

fix resource leak when verification fails

apt-pkg/indexcopy.cc: check for pending errors before calling fdopen()

call fdopen() after FileFd was checked

add .travis.yml

fix resource leak (thanks coverity)

rework the code in cdromutl.cc to make coverity (more) happy

fix off-by-one error in HttpMethod::​AutoDetectProxy()

fix off-by-one error and do not use magic constant of 100 when checking StackPost

always "delete d" in FileFd::~FileFd to coverity happy

skip all Description fields in apt-cache, not just first (Closes: 717254)

* skip all Description fields in apt-cache, not just first (Closes: 717254)
* fix 'apt-cache search' crash with missing description (Closes: 647590)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Merge remote-tracking branch 'upstream/debian/sid'

debian/apt.postinst:

* debian/apt.postinst:
  - run /etc/kernel/postinst.d/apt-auto-removal once on upgrade
    to ensure that the correct auto-removal list is generated
    (closes: #717615)

debian/apt.auto-removal.sh:

* debian/apt.auto-removal.sh:
  - do not include debug symbol packages for the kernel in the
    blacklist (closes: #717616)

remove double list include

fix 'apt-cache search' crash with missing description

Beside the earlier fixed 'apt-cache show', 'showpkg' and 'search' deal
with descriptions. 'showpkg' was fixed by fixing the cache generation
for 'show', but 'search' still segfaulted.

On the upside, it doesn't segfault any longer, on the downside, if a
package has no description at all (aka: not in the Packages file and not
in a Translation-* file) the package can't be found with 'search', even
if we search only by name. That is a shortcoming in the code, but fixing
it means rewriting it completely for dubious gain at best.

So this commit just skips packages without a description and is done.

Closes: 647590

skip all Description fields in apt-cache, not just first

Given a Packages file like:
[…]
Description: foo bar baz
 moo moo moo
Multi-Arch: foreign
Description-md5: 97e204a9f4ad8c681dbd54ec7c505251
[…]

We have to display the Multi-Arch flag field as well as the fields
after the Description-md5, but not this field itself, as we already
have one printed alongside the Description we display.

Closes: 717254

Merge remote-tracking branch 'geissert/proxy-keep-alive' into debian/sid

fix if-clause to generate hook-info for 'rc' packages (Closes: 717006)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

fix if-clause to generate hook-info for 'rc' packages

The code incorrectly skips printing of current version information,
if the package has no current version (for APT, but for dpkg as it is
the case for packages which are removed but not purged) by using an
unintended "else if" rather than an "if".

Closes: 717006

Vietnamese updated by Tran Ngoc Quan. Closes: #717016

Do not send a connection: keep-alive, at all

update changelog

prevent MarkInstall of unsynced Multi-Arch:same siblings

Multi-Arch: same packages can be co-installed, but need to have the same
version for all installed packages (aka "siblings"). Otherwise the
unsynced versions will fight against each other and the auto-install as
wel as the problem resolver will later have to decide between holding the
packages or to remove one of the siblings (usually a foreign) taking a
bunch of packages (like the entire foreign setup) with them.

The idea here is now to be more pro-active: MarkInstall will fail for
a package if the siblings aren't synced, so we don't allow a situation
in which a resolver has to decide if to hold or to remove-upgrade under
the assumption that the remove-upgrade decision is always wrong and
doesn't deserve to be explored (expect valid out-of-syncs of course).

Thats a pretty bold move to take for a library which is used by
different solvers so this check is done in IsInstallOk and can be
overridden if front-ends want to.

implement arch+= and arch-= for sources.list

Default is to acquire all architectures from APT::Architectures which
can be changed by arch=, but this isn't very flexible if you want
"mostly" the default as you have to hardcode the architectures then,
so arch-= and arch+= can be used to add/remove architectures from the
default set.

On a machine with 'amd64' and 'i386' configured the lines:
 deb [arch+=armel] http://example.org/debian wheezy rocks
 deb [arch-=amd64] http://example.org/debian jessie rocks
will result in the download of:
 wheezy Packages for 'amd64', 'i386' and 'armel'
 jessie Packages for 'i386'

Version 3 for DPkg::Pre-Install-Pkgs with MultiArch info

Adds on top of Version 2 to all displayed version numbers the
architecture as well as the MultiArch flag for consumption by the hooks.

Most of the time the architecture will be the same for both versions
displayed, but packages might change from "all" to "any" (or back)
between versions so we can't display the architecture for packages.

Pseudo-Format for Version 3:
<name> <version> <arch> <m-a-flag> <compare> <version> <arch> <m-a-flag>

Examples:
stuff - - none < 1 amd64 none **CONFIGURE**
libsame 1 i386 same < 2 i386 same **CONFIGURE**
stuff 2 i386 none > 1 i386 none **CONFIGURE**
libsame 2 i386 same > - - none **REMOVE**
toolkit 1 all foreign > - - none **REMOVE**

Closes: #712116

debian/apt.auto-removal.sh: merge the remaining bits

* Fix up two things in debian/apt.auto-removal.sh:
  - Use exact matches with $-terminated regexes, so we don't get
    confusion between similarly-named kernel flavours.
  - Keep linux-backports-modules in sync with installed kernels.
Conflicts:
configure.in
debian/changelog
doc/apt-verbatim.ent

get dpkg from apt-config as well and add robustness against missing/failing apt-config (for paranoia)
Conflicts:
debian/apt.auto-removal.sh

Make sure we always have at least two kernels marked not for removal

cherry pick 39a07ec8f2c612a5af234c7713571362f7ca90b4

apt-pkg/packagemanager.cc:

* apt-pkg/packagemanager.cc:
  - increate APT::pkgPackageManager::MaxLoopCount to 5000

debian/rules:

* debian/rules:
  - call dh_clean in clean (closes: #714980)

releasing version 0.9.9

fix format string error

update changelog

Merge remote-tracking branch 'mvo/bugfix/bts-712433' into debian/sid

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Conflicts:
debian/changelog

update changelog

make starting debug output of pkgProblemResolver proper english

use just one line for the debug output (thanks to donkult for the review)

when doing MarkInstall() packages may also get removed, so show them in the debug output of Debug::pkgDepCache::AutoInstall=true

show broken count when starting the resolver

make update-po

"mount path"->"mount point" and also make the warning a error when no CD-ROM is found

simple fork and pidfile aptwebserver

Forking only after being ready to accept clients avoids running races
with the tests which sometimes failed on the first 'apt-get update'
(or similar) with the previous background-start and hope for the best…

The commit fixes also some oversight output-order changes in regards to
Description-md5 and (I-M-S) race conditions in various tests.

Git-Dch: Ignore

delete Memb on read-error in arfile

Git-Dch: Ignore

fix SHA2* cleanups to zero-out the complete context

GCC 4.8 is now clever enough to warn about:

contrib/sha2_internal.cc: In function ‘char* SHA256_End(SHA256_CTX*, char*)’:
contrib/sha2_internal.cc:656:31: warning: argument to ‘sizeof’ in ‘void*
memset(void*, int, size_t)’ call is the same expression as the destination;
did you mean to dereference it? [-Wsizeof-pointer-memaccess]
   MEMSET_BZERO(context, sizeof(context));

So fix it as suggested. Its interesting though that the SHA2*
calculation as far as we need it works even without zeroing out.

Git-Dch: Ignore

do not modify DepIterator as we might check again

fixup for 42d51f333e8ef522fed02cdfc48663488d56c3a3

The for-loop iterating over the DepIterators which need configuration
can (and will be in 'complicated' situations) run multiple times, so we
can't just GlobOr on the DepIterator as it modifies it, so that the next
iteration over the list ends up checking another dependency leading us
into a 'Internal error, packages left unconfigured. foopkg' maybe or we
are 'lucky' and calculate a solution which might break down the line

Git-Dch: Ignore

Improve the apt-cdrom output when no CD-ROM can be auto-detected
(closes: #712433)

fix syntax error in the configure-index

The file isn't supposed to be a valid config file, but it should
show valid syntax non-the-less.

Git-Dch: Ignore