merge with apt/experimental

* apt-pkg/packagemanager.cc:
  - fix bug in predepends handling - ensure that packages that needs
    unpackaging are unpacked before they are configured (LP: #927993)
[ Julian Andres Klode ]
* apt-pkg/deb/deblistparser.cc:
  - Set the Essential flag on APT instead of only Important
* apt-pkg/packagemanager.cc:
  - Do not use immediate configuration for packages with the Important flag
* Treat the Important flag like the Essential flag with those differences:
  - No Immediate configuration (see above)
  - Not automatically installed during dist-upgrade
  - No higher score for installation ordering

* apt-pkg/packagemanager.cc:
  - fix bug in predepends handling - ensure that packages that needs
    unpackaging are unpacked before they are configured (LP: #927993)

* apt-pkg/contrib/fileutl.cc:
  - do not warn about the ignoring of directories (Closes: #662762)

changelog: Document scoring difference for Important flag

* Treat the Important flag like the Essential flag with those differences:
  - No higher score for installation ordering

* Treat the Important flag like the Essential flag with two differences:
  - No Immediate configuration (see above)
  - Not automatically installed during dist-upgrade

* apt-pkg/packagemanager.cc:
  - Do not use immediate configuration for packages with the Important flag

* apt-pkg/deb/deblistparser.cc:
  - Set the Essential flag on APT instead of only Important

as we parse datestrings from external sources a lot specify the length
of the integer fields as well to avoid crashes in scanf as cppchecks warns:
"(warning) scanf without field width limits can crash with huge input data"

fix "(style) The scope of the variable 'count' can be reduced"

micro-optimize "(performance) Prefer prefix ++/-- operators for non-primitive types."

set char-limits for the scanf parsing previous crash-reports

fix "(performance) Possible inefficient checking for 'R' emptiness."

fix "(style) Checking if unsigned variable 'Minor' is less than zero."

ensure that (s)scanf doesn't parse a too long Code now that a previous
commit lifted the Line-length limit

fix two "(style) Variable 'Res' is assigned a value that is never used"

fix "(error) Possible null pointer dereference: BindAddr" by ensuring
that BindAddr isn't NULL after getaddrinfo()

fix "(style) Statements following return, break, continue, goto or throw
will never be executed." from cppcheck. The fd was closed only after a
return, so invert the order of lines and be happy

fix a bunch of cppcheck "(warning) Member variable '<#>' is not
initialized in the constructor." messages (no functional change)

handle a SIGINT in all modes as a break after the currently running
dpkg transaction instead of ignoring it completely

* apt-pkg/acquire-item.cc:
  - remove 'old' InRelease file if we can't get a new one before
    proceeding with Release.gpg to avoid the false impression of a still
    trusted repository by a (still present) old InRelease file.
    Thanks to Simon Ruderich for reporting this issue! (CVE-2012-0214)

Effected are all versions >= 0.8.11

Possible attack summary:
- Attacker needs to find a user which has run at least one successful
 'apt-get update' against an archive providing InRelease files.
- Create a Packages file with his preferred content.
- Attacker then prevents the download of InRelease, Release and
  Release.gpg (alternatively he creates a valid Release file and sends
  this, the other two files need to be missing either way).
- User updates against this, getting the modified Packages file without
  any indication of being unsigned (beside the "Ign InRelease" and
  "Ign Release.gpg" in the output of 'apt-get update').
=> deb files from this source are considered 'trusted' (and therefore the
   user isn't asked for an additional confirmation before install)

testcase for CVE-2012-0214

* apt-pkg/packagemanager.cc:
  - do not try to a void a breaks if the broken package pre-depends
    on the breaker, but let dpkg auto-deconfigure it

allow msgtest to be used with only one parameter

show in the debug output if we are looping in the avoid breaks

eanup the ordering-code avoiding a break (no function change)

* apt-pkg/packagemanager.cc:
  - when calculating pre-dependencies ensure that both unpack and
    configure are considered (instead of only configure) LP: #927993

fix the string in the testcases

* cmdline/apt-cache.cc:
  - correct --pre-depends option by using dash consistently (LP: #940837)

improve 'error' message for packages which are only referenced
e.g. in a Depends line and are now requested for removal

* cmdline/apt-get.cc:
  - if a package can't be removed as it is not installed, suggest to
    the user an (installed) multiarch silbing with 'Did you mean?'

use pdiff for Translation-* files if available (Closes: #657902)

Beware: pdiffs for Translation-* are only acquired if their
availability is advertised in the Release file.

* apt-pkg/acquire-item.cc:
  - drop support for i18n/Index file (introduced in 0.8.11) and use
    the Release file instead to get the Translations (Closes: #649314)
* ftparchive/writer.cc:
  - add 'Translation-*' to the default patterns

i18n/Index was never used outside debian - and even here it isn't used
consistently as only 'main' has such a file. As the Release file now
includes the Translation-* files we therefore drop support for i18n/Index.

A version supporting it was never part of a debian release and still
supporting it would mean that we get 99% of the time a 404 as response
to the request anyway and confuse archive maintainers who want to
provide all files APT tries to acquire.

ensure that the cache-directories are really directories before
trying to get a list of included files from them

* apt-pkg/indexrecords.cc:
  - do not create empty Entries as a sideeffect of Lookup()

* apt-pkg/cachefile.cc:
  - clean up lost atomic cachefiles with 'clean' (Closes: #650513)

just in case: correct the header-guard for https to not match http

remove the arbitrary MAXLEN limit for response lines (Closes: #658346)

save the universe by not printing messages about apport if a package
with this name is not installed (Closes: #619646)

fix the hold-testcase as it has problems with 'foreign' operations

correctly ignore already (un)hold packages

* cmdline/apt-mark.cc:
  - detect if dpkg has multiarch support before calling --set-selections

Fix the testcases to work with and configure dpkg correctly in a
multi-arch environment

It's not a complete and the "fixed" test is fixed more like a hack
as we have communication problems with dpkg if dpkg and APT disagree
on the interpretation of the native architecture, see also:
http://lists.debian.org/debian-dpkg/2012/02/msg00051.html

ensure that architectures are not added multiple times

call dpkg --assert-multi-arch with execvp instead of execv

rework previous patch to avoid changing the inline code

* apt-pkg/contrib/fileutl.h:
  - fix compat with FileFd::OpenDescriptor() in ReadOnlyGzip mode

* apt-pkg/contrib/fileutl.h:
  - fix compat with FileFd::OpenDescriptor() in ReadOnlyGzip mode

Fix IndexCopy::CopyPackages and TranslationsCopy::CopyTranslations to
handle compressed files again (LP: #924182, closes: #658096)

merged from lp:~mvo/apt/mvo

merged from lp:~donkult/apt/experimental/

* apt-pkg/deb/dpkgpm.cc:
  - fix crash when a package is in removed but residual config state
    (LP: #923807)

merged from donkult

* apt-pkg/aptconfiguration.cc:
  - chroot if needed before calling dpkg --print-foreign-architectures

* methods/http{s,}.cc:
  - if a file without an extension is requested send an 'Accept: text/*'
    header to avoid that the server chooses unsupported compressed files
    in a content-negotation attempt (Closes: #657560)

* apt-pkg/contrib/configuration.cc:
  - do not stop parent transversal in FindDir if the value is empty

See http://lists.debian.org/deity/2012/01/msg00053.html , too.

* apt-pkg/depcache.cc:
  - if a M-A:same package is marked for reinstall, mark all it's installed
    silbings for reinstallation as well (LP: #859188)

* apt-pkg/algorithms.cc:
  - use a signed int instead of short for score calculation as upgrades
    become so big now that it can overflow (Closes: #657732, LP: #917173)

add the testcase i wrote for revno 2209.1.2, to ensure that breaks on
not-installed versions are ignored while searching for breakage loops

add a very simple testcases for the previous commited fix for
Breaks handling in algorithms.cc by Colin Watson

* apt-pkg/algorithms.cc:
  - don't break out of the main-resolver loop for Breaks to deal with all
    of them in a single iteration (Closes: #657695, LP: #922485)

* cmdline/apt-get.cc:
  - for cross-build-dependencies M-A: none should be DEB_HOST_ARCH,
    not DEB_BUILD_ARCH (Closes: #646288)

ensure that dpkg binary doesn't have the chroot-directory prefixed

* apt-pkg/deb/dpkgpm.cc:
  - chroot if needed before dpkg --assert-multi-arch

releasing version 0.8.16~exp12

merged from bzr+ssh://bazaar.launchpad.net/~donkult/apt/experimental/

* test/libapt/run-tests:
  - hurd doesn't have dmesg yet and we don't really need it either,
    so use with $0 a more stable data source for hashsumming

* test/libapt/globalerror_test.cc:
  - errno 0 has a different strerror on hurd, so generate the expected
    message dynamically instead of hardcoding 'Success' (Closes: #656530)

fix a few esoteric cppcheck errors/warnings/infos

fix typos in comments reported by the lintian in very-picky-modes

* methods/https.cc:
  - use curls list append instead of appending Range and If-Range by hand
    which generates malformed requests, thanks Mel Collins for the hint!
    (Closes: #646381)

apply typofixes by Pascal De Vuyst, thanks! (Closes: #652834, #652835)

* debian/rules:
  - apply patch to enable usage of hardning CPPFLAGS and LDFLAGS by
    Moritz Muehlenhoff, thanks! (Closes: #653504)

* debian/control:
  - remove APT from the short descriptions as lintian doesn't like it
    and it doesn't transport any information for a reader anyway

* apt-pkg/packagemanager.cc:
  - ignore breaks on not-installed versions while searching for
    breakage loops as we don't have to avoid them

merged from lp:~donkult/apt/experimental/

* apt-pkg/cacheiterators.h:
  - return the correct version arch for all+foreign, too

The flag is interpreted at a few other places in different styles so
this commit ensures that the flag check is consistent everywhere
(checking for Same in flag style is a bit too much as it isn't used
 in combination with others anyway, but who knows and just for
 consistency)

* apt-pkg/deb/dpkgpm.cc:
  - fix segfault on pkg removal

releasing version 0.8.16~exp11

* apt-pkg/deb/dpkgpm.cc:
  - redirect out/input of dpkg --assert-multi-arch to /dev/null
  - if multi-arch is detected ensure that pkg:all is reported as pkg:all

if multi-arch is detected ensure that pkg:all is reported as pkg:all

Versions with arch:all are added to the package with the native arch,
so we can't rely on Pkg.Arch() for the architecture

* apt-pkg/deb/dpkgpm.cc:
  - redirect out/input of dpkg --assert-multi-arch to /dev/null

releasing version 0.8.16~exp10

* apt-pkg/contrib/fileutl.h:
  - store the offset in the internal fd before calculate size of
    the zlib-handled file to jump back to this place again
* apt-pkg/contrib/fileutl.h:

* apt-pkg/aptconfiguration.cc:
  - parse dpkg --print-foreign-architectures correctly in
    case archs are separated by newline instead of space, too.
    (Closes: #655590)
* Slovak (Ivan Masar). Closes: #652985
* Russian (Yuri Kozlov). Closes: #654844
* Hungarian (Gabor Kelemen). Closes: #655238

* apt-pkg/contrib/fileutils.h:
  - fix segfault from python-apt testsuite

* apt-pkg/contrib/fileutl.h:
  - store the offset in the internal fd before calculate size of
    the zlib-handled file to jump back to this place again

It jumped back to the position of the content - which is wrong as
the internal fd is compressed and even reseting to the beginning of
the file doesn't work as zlib uses an internal buffer, so while we
might haven't read anything yet zlib might have done so already…

improve error reporting in case of errors in combination with zlib

merge with lp:~mvo/apt

* apt-pkg/contrib/fileutils.h:
  - fix segfault from python-apt testsuite

merged from debian-experimental2

merged from lp:~donkult/apt/experimental/

add Closes tag for the --show-foreign newline change

* apt-pkg/deb/dpkgpm.cc:
  - check if dpkg supports multiarch with --assert-multi-arch
    and if it does be always explicit about the architecture

factor out the detection of self-conflicts into Dep::IsIgnorable

* apt-pkg/pkgcache.cc:
  - ignore implicit conflicts on providers in AllTarget, too

* apt-pkg/depcache.cc:
  - implicit conflicts (for multiarch) are supposed to conflict
    only with real packages, not with virtual providers

/var/apt/cache is in reality /var/cache/apt

merge with debian-sid

as Size() can be quiet expensive for compressed files lets store the result

Hungarian (Gabor Kelemen). Closes: #655238