some more coverity fixes

memset() pkgTagSections data to make coverity happy

Merge remote-tracking branch 'upstream/debian/sid' into bugfix/coverity

fix some unitialized data members

Vietnamese translation update. Closes: #718615

prefer native arch over higher priority for providers

The rational from the buglog:
> The problem here is that the Priority field in one of the Packages files
> is incorrect due to a mishap with reprepro configuration, […] the
> amd64 version is Priority: standard but the arm64 version is Priority:
> optional (and has a stray "optional: interpreters" field).
> […]
> However, Priority is a rather weak property of a package because it's
> typically applied via overrides, and it's easy for maintainers of
> third-party repositories to misconfigure them so that overrides aren't
> applied correctly.  It shouldn't be ranked ahead of choosing packages
> from the native architecture.  In this case, I have no user-mode
> emulation for arm64 set up, so choosing m4:arm64 simply won't work.

This effectly makes the priority the least interesting data point in
chosing a provider, which is in line with the other checks we have
already order above priority in the past and also has a certain appeal by
the soft irony it provides.

Closes: #718482

unset LANGUAGE for showing [Y/n] answer hints

nl_langinfo is used to acquire the YESEXPR of the language used,
but it will return the one from LC_MESSAGES, which might be different
from the language chosen for display of the question (based on LANGUAGE)
so this commit removes the [Y/n] help text from the questions itself and
moves it to the prompt creation in which the usage of LC_MESSAGES is
forced for it, so that the helptext shown actually represents the
characters accepted as input for the question.

There is still room for problems of course starting with an untranslated
"[Y/n]" but a translated YESEXPR or the problem that the question is
asked in a completely different language which might have a conflicting
definition of [Y/n] input or the user simple ignores the helptext and
assumes that an answer matching the question language is accepted, but
the mayority of users will never have this problem to begin with, so we
should be fine (or at least a bit finer than before).

Closes nothing really, but should at least help a bit with bugs like
deb:194614, deb:471102, lp:1205578, and countless others.

Merge remote-tracking branch 'mvo/bugfix/coverity' into debian/sid

run "doxygen -u" to update doxygen config

Git-Dch: Ignore

update the symbol files to reflect current state

exclude config.{sub,guess} from source package

Lintian complains about these links in the source package as they leave
the source directory and as they are autogenerated there isn't that much
sense in shipping them, we can just recreate them before calling
configure.

fix another missing va_end()

fix missing va_end()

fix some coverity chroot() releated warnings

reenable automatic parallel build of APT

It works for a while now in manual tests, now lets see how it will
perform if enabled for all by default automatically.

implement debian/rules build-{arch,indep} as required by policy 3.9.4

correct management-typo in description found by lintian

add missing Turkish (tr) to po/LINGUAS

And while at it ensure that this can't happen again by letting the build
fail in case a po file is available but the language isn't mentioned in
the LINGUAS file (not even as a disabled language).

add missing test make

remove ALL_LINGUAS as it is overruled by po/LINGUAS

The list shows that it is ignored as some translations which are shipped
are not included here, so remove this source of possible confusion.

Git-Dch: Ignore

make autoconf happy by "mv configure.{in,ac}"

Git-Dch: Ignore

ensure that FileFd::Size returns 0 in error cases

proper cleanup varargs in _error (uncovered by Coverity)

Git-Dch: Ignore

use FileFd::Write instead of fwrite for errors

Using the static FileFd::Write method gives us error messages for free
so we use it here to avoid failing silently (with a fail silent error).

Git-Dch: Ignore

add missing "make test" for travis

update changelog for upload

request absolute URIs from proxies again (0.9.9.3 regession)

Commit 2b9c9b7f28b18f6ae3e422020e8934872b06c9f3 not only removes
keep-alive, but also changes the request URI send to proxies which are
required to be absolute URIs rather than the usual absolute paths.

Closes: 717891

build tree first

make setup in travis.yml a bit more verbose

pick up Translation-* even if only compressed available

On CD-ROMs Translation-* files are only in compressed form included in
the Release file. This used to work while we had no record of
Translation-* files in the Release file at all as APT would have just
guessed the (compressed) filename and accepted it (unchecked), but now
that it checks for the presents of entries and if it finds records it
expects the uncompressed to be verifiable.

This commit relaxes this requirement again to fix the regression.
We are still secure "enough" as we can validate the compressed file we have
downloaded, so we don't loose anything by not requiring a hashsum for
the uncompressed files to double-check them.

Closes: 717665

fix travis.yml

add missing "free(buffer) for allocated buffer

fix potential GetLock() fd leak

delete targets data

fix resource leak when verification fails

apt-pkg/indexcopy.cc: check for pending errors before calling fdopen()

call fdopen() after FileFd was checked

add .travis.yml

fix resource leak (thanks coverity)

rework the code in cdromutl.cc to make coverity (more) happy

fix off-by-one error in HttpMethod::​AutoDetectProxy()

fix off-by-one error and do not use magic constant of 100 when checking StackPost

always "delete d" in FileFd::~FileFd to coverity happy

skip all Description fields in apt-cache, not just first (Closes: 717254)

* skip all Description fields in apt-cache, not just first (Closes: 717254)
* fix 'apt-cache search' crash with missing description (Closes: 647590)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Merge remote-tracking branch 'upstream/debian/sid'

debian/apt.postinst:

* debian/apt.postinst:
  - run /etc/kernel/postinst.d/apt-auto-removal once on upgrade
    to ensure that the correct auto-removal list is generated
    (closes: #717615)

debian/apt.auto-removal.sh:

* debian/apt.auto-removal.sh:
  - do not include debug symbol packages for the kernel in the
    blacklist (closes: #717616)

remove double list include

fix 'apt-cache search' crash with missing description

Beside the earlier fixed 'apt-cache show', 'showpkg' and 'search' deal
with descriptions. 'showpkg' was fixed by fixing the cache generation
for 'show', but 'search' still segfaulted.

On the upside, it doesn't segfault any longer, on the downside, if a
package has no description at all (aka: not in the Packages file and not
in a Translation-* file) the package can't be found with 'search', even
if we search only by name. That is a shortcoming in the code, but fixing
it means rewriting it completely for dubious gain at best.

So this commit just skips packages without a description and is done.

Closes: 647590

skip all Description fields in apt-cache, not just first

Given a Packages file like:
[…]
Description: foo bar baz
 moo moo moo
Multi-Arch: foreign
Description-md5: 97e204a9f4ad8c681dbd54ec7c505251
[…]

We have to display the Multi-Arch flag field as well as the fields
after the Description-md5, but not this field itself, as we already
have one printed alongside the Description we display.

Closes: 717254

Merge remote-tracking branch 'geissert/proxy-keep-alive' into debian/sid

fix if-clause to generate hook-info for 'rc' packages (Closes: 717006)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

fix if-clause to generate hook-info for 'rc' packages

The code incorrectly skips printing of current version information,
if the package has no current version (for APT, but for dpkg as it is
the case for packages which are removed but not purged) by using an
unintended "else if" rather than an "if".

Closes: 717006

Vietnamese updated by Tran Ngoc Quan. Closes: #717016

Do not send a connection: keep-alive, at all

update changelog

prevent MarkInstall of unsynced Multi-Arch:same siblings

Multi-Arch: same packages can be co-installed, but need to have the same
version for all installed packages (aka "siblings"). Otherwise the
unsynced versions will fight against each other and the auto-install as
wel as the problem resolver will later have to decide between holding the
packages or to remove one of the siblings (usually a foreign) taking a
bunch of packages (like the entire foreign setup) with them.

The idea here is now to be more pro-active: MarkInstall will fail for
a package if the siblings aren't synced, so we don't allow a situation
in which a resolver has to decide if to hold or to remove-upgrade under
the assumption that the remove-upgrade decision is always wrong and
doesn't deserve to be explored (expect valid out-of-syncs of course).

Thats a pretty bold move to take for a library which is used by
different solvers so this check is done in IsInstallOk and can be
overridden if front-ends want to.

implement arch+= and arch-= for sources.list

Default is to acquire all architectures from APT::Architectures which
can be changed by arch=, but this isn't very flexible if you want
"mostly" the default as you have to hardcode the architectures then,
so arch-= and arch+= can be used to add/remove architectures from the
default set.

On a machine with 'amd64' and 'i386' configured the lines:
 deb [arch+=armel] http://example.org/debian wheezy rocks
 deb [arch-=amd64] http://example.org/debian jessie rocks
will result in the download of:
 wheezy Packages for 'amd64', 'i386' and 'armel'
 jessie Packages for 'i386'

Version 3 for DPkg::Pre-Install-Pkgs with MultiArch info

Adds on top of Version 2 to all displayed version numbers the
architecture as well as the MultiArch flag for consumption by the hooks.

Most of the time the architecture will be the same for both versions
displayed, but packages might change from "all" to "any" (or back)
between versions so we can't display the architecture for packages.

Pseudo-Format for Version 3:
<name> <version> <arch> <m-a-flag> <compare> <version> <arch> <m-a-flag>

Examples:
stuff - - none < 1 amd64 none **CONFIGURE**
libsame 1 i386 same < 2 i386 same **CONFIGURE**
stuff 2 i386 none > 1 i386 none **CONFIGURE**
libsame 2 i386 same > - - none **REMOVE**
toolkit 1 all foreign > - - none **REMOVE**

Closes: #712116

debian/apt.auto-removal.sh: merge the remaining bits

* Fix up two things in debian/apt.auto-removal.sh:
  - Use exact matches with $-terminated regexes, so we don't get
    confusion between similarly-named kernel flavours.
  - Keep linux-backports-modules in sync with installed kernels.
Conflicts:
configure.in
debian/changelog
doc/apt-verbatim.ent

get dpkg from apt-config as well and add robustness against missing/failing apt-config (for paranoia)
Conflicts:
debian/apt.auto-removal.sh

Make sure we always have at least two kernels marked not for removal

cherry pick 39a07ec8f2c612a5af234c7713571362f7ca90b4

apt-pkg/packagemanager.cc:

* apt-pkg/packagemanager.cc:
  - increate APT::pkgPackageManager::MaxLoopCount to 5000

debian/rules:

* debian/rules:
  - call dh_clean in clean (closes: #714980)

releasing version 0.9.9

fix format string error

update changelog

Merge remote-tracking branch 'mvo/bugfix/bts-712433' into debian/sid

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Conflicts:
debian/changelog

update changelog

make starting debug output of pkgProblemResolver proper english

use just one line for the debug output (thanks to donkult for the review)

when doing MarkInstall() packages may also get removed, so show them in the debug output of Debug::pkgDepCache::AutoInstall=true

show broken count when starting the resolver

make update-po

"mount path"->"mount point" and also make the warning a error when no CD-ROM is found

simple fork and pidfile aptwebserver

Forking only after being ready to accept clients avoids running races
with the tests which sometimes failed on the first 'apt-get update'
(or similar) with the previous background-start and hope for the best…

The commit fixes also some oversight output-order changes in regards to
Description-md5 and (I-M-S) race conditions in various tests.

Git-Dch: Ignore

delete Memb on read-error in arfile

Git-Dch: Ignore

fix SHA2* cleanups to zero-out the complete context

GCC 4.8 is now clever enough to warn about:

contrib/sha2_internal.cc: In function ‘char* SHA256_End(SHA256_CTX*, char*)’:
contrib/sha2_internal.cc:656:31: warning: argument to ‘sizeof’ in ‘void*
memset(void*, int, size_t)’ call is the same expression as the destination;
did you mean to dereference it? [-Wsizeof-pointer-memaccess]
   MEMSET_BZERO(context, sizeof(context));

So fix it as suggested. Its interesting though that the SHA2*
calculation as far as we need it works even without zeroing out.

Git-Dch: Ignore

do not modify DepIterator as we might check again

fixup for 42d51f333e8ef522fed02cdfc48663488d56c3a3

The for-loop iterating over the DepIterators which need configuration
can (and will be in 'complicated' situations) run multiple times, so we
can't just GlobOr on the DepIterator as it modifies it, so that the next
iteration over the list ends up checking another dependency leading us
into a 'Internal error, packages left unconfigured. foopkg' maybe or we
are 'lucky' and calculate a solution which might break down the line

Git-Dch: Ignore

Improve the apt-cdrom output when no CD-ROM can be auto-detected
(closes: #712433)

fix syntax error in the configure-index

The file isn't supposed to be a valid config file, but it should
show valid syntax non-the-less.

Git-Dch: Ignore

trigger NODATA error for invalid InRelease files

With the selfgrown splitting we got the problem of not recovering
from networks which just reply with invalid data like those sending
us login pages to authenticate with the network (e.g. hotels) back.

The good thing about the InRelease file is that we know that it must
be clearsigned (a Release file might or might not have a detached sig)
so if we get a file but are unable to split it something is seriously
wrong, so there is not much point in trying further.

The Acquire system already looks out for a NODATA error from gpgv,
so this adds a new error message sent to the acquire system in case
the splitting we do now ourselves failed including this magic word.

Closes: #712486

tests: accept an explaination for msgfail

Git-Dch: Ignore

simple URI rewrite rules config for webserver

we have a test which required traditionally lighttpd to be executed
as it requires a webserver supporting some kind of URI rewriting.
Now with some lines of code our own webserver can do this and the
testcase can be enabled by default. This test hinted at the bug fixed
in the previous commit, so having more tests which can easily be run
is a good thing.

Git-Dch: Ignore

do not redownload unchanged InRelease files

Before we download the 'new' InRelease file the old file will be moved
out of the way with the name 'foobar_InRelease.reverify', so if no
partial file for the 'new' file exists take the modification time from
this reverify file, so that if we get an IMS hit for the InRelease file
we can move back the reverify file as new file rather than downloading
the 'new' file even though we already have it.

We do the same for Release files and this happened to work until the
reverify renaming was corrected for InRelease files.

add directory listing to the webserver

Git-Dch: Ignore

add a simple webserver for our testcases

APT needs to acquire data in a secure fashion over an inherently
unsecure way, known as the internet, while communicating with
unreliable partners, known as webservers and proxies.

For your integration tests we so far relied on 'normal' webservers,
but all of them have certain quirks and none is able to provide us
with all quirks which can be observed in the wild and we therefore
have to test with, so this webserver isn't trying to be fast, secure
or feature complete, but to provide all the quirks we need in a
consistent way.

This webserver also makes the APT project self-contained, as it is now
able to generate, serve as well as acquire package indexes. ;)

Git-Dch: Ignore

support \n and \r\n line endings in ReadMessages

try defaults if auto-detection failed in apt-cdrom

The default is to ask udev for location and mountpoints of CD-ROMs,
but the old way of specifying the mountpoint is still available and
is tried now in case udev doesn't find any CD-ROM.

It probably fails, too, but we get a bunch of error messages this
way and the user can get an idea of how to make his setup work even
if udev can't be convienced to return something useful.

Closes: #712433

handle missing "Description" in apt-cache show

do not blindly assume that all packages stanzas have a "Description:"
field in 'apt-cache show' as well as in the cache creation itself.

We instead assume now that if the stanza has a Description, it will not
be the first field as we look out for "\nDescription" to take care of
MD5sum as well as (maybe ignored) translated Descriptions embedded in
the package stanza.

Closes: #712435

fix file location for configure-index.gz in apt.conf(5)

Closes: #711921

tests: add an interactive 'test' with multiple cdroms

Can't be used as a test as is, but shows how to build multiple
CD-ROMs for tests and can be used to reproduce debbug #711456.

Git-Dch: Ignore

ensure state-dir exists before coyping cdrom files

We do the same in the acquire system which handles the 'normal'
downloads, so do it here as well even though its unlikely anyone
will ever notice (beside testcases of course …)

fail in CopyFile if the FileFds have error flag set

Testing for global PendingErrors in users of CopyFile is incorrect
in so far as unrelated errors will prevent us from copying perfectly
fine files and checking for the validity of the files is just better
in CopyFiles as it already checks if files are at least opened.

Add also a higher-level error message to the error stack if it fails.

stop building l10n if strings are unchanged

The buildsystem tried to build l10n for test applications which never
produced the output it expected causing it to try building it all the
time.