fix failing ./test/integration/test-disappearing-packages (thanks Donkult) - ported from the mvo/feature/install-progress-refactor branch

test/integration/run-tests: output the failed test names

Merge remote-tracking branch 'mvo/feature/upgrade-api' into debian/sid

add Acquire::http::Proxy-Auto-Detect to the apt.conf.5 manpage (closes: 726597)

use std::string instead of char* in pkgDPkgPM::ProcessDpkgStatusLine()

reshuffle the pkgDPkgPM::ProcessDpkgStatusLine() some more to make it more robust

reshuffle dpkgpm.cc code a bit more

add $* to gdb to make it more useful

add APT::String::Strip(), start cleanup of ProcessDpkgStatusLine

fix broken clean when apt was finished and ensure that terminal progress is updated when a new dpkg-loop is entered in dpkgpm.cc

fix changelog

releasing package apt version 0.9.12.1

remove POSTINST from framework, file tree can be used for this

tests, do not send pkgname with arch via the status-fd

Merge remote-tracking branch 'upstream/debian/sid' into bugfix/bts-726156-2

fix logic for finding what package dpkg means in the --status-fd and only send out short packagenames

fix progress-segfault in case of dpkg errors/prompts

Errors and conffile prompts have a fourth information piece,
which the "old" code access which isn't provided by the "new" one.

This isn't checking if the messages are really well-formed,
so it could still segfault on misformed messages, but this code
needs more work anyway, so one step at a time.

Closes: 726047

Merge branch 'debian/sid' of ssh://git.debian.org/git/apt/apt into debian/sid

add missing _() around the new "Progress" string

Merge branch 'debian/sid' of ssh://git.debian.org/git/apt/apt into debian/sid

fix typo

fix typo

releasing package apt version 0.9.12

update changelog

Merge remote-tracking branch 'mvo/feature/limit-default-pdiffs' into debian/sid

Merge remote-tracking branch 'mvo/feature/add-upgrade-mode-test' into debian/sid

fixup various UI issues in the test

really fix test

use "insertpackage" instead of "buildsimplenativepackage"

update Uploaders to match recent uploaders better

add test for upgrade, upgrade --with-new-pkgs, dist-upgrade

apt-pkg/deb/dpkgpm.cc: fix off-by-one in SetupTerminalScrollArea reset

prepare new release

Merge remote-tracking branch 'mvo/feature/dpkg-progress-fancy' into debian/sid

Merge remote-tracking branch 'mvo/feature/upgrade-with-new' into debian/sid

Merge remote-tracking branch 'mvo/feature/dpkg-progress-docs' into debian/sid

debian/apt.postinst: use --compare-versions lt instead of lt-nl, to ensure the apt-auto-removal file is correctly create, thanks to Ben Hutchings

fix off-by-one error in pkgDPkgPM::SetupTerminalScrollArea()

fix libapt-inst for >2G debs (closes: #725483)

use Dpkg::Progress-Fancy to be consitent with Dpkg::Progress

add -o DpkgPM::Progress-Fancy for better dpkg progress output on vt100+ terminals

rename FORBID_NEW_INSTALL_PACKAGES to FORBID_INSTALL_NEW_PACKAGES

Move ListUpdate/AquireUpdate into update.{cc,h}

This moves the ListUpdate/AquireUpdate out of the "catch-all"
algorithm.{cc,h} file into its own update.{cc,h}

* move upgrade releated code into upgrade.{cc,h}

The upgrade releated code is moved into upgrade.{cc,h} and
all pkg*Upgrade* prototypes are included in algorihms.h to
avoid breaking API (unless build with APT_9_CLEANER_HEADERS).

re-add "Calculating upgrade..." message

cleanup upgrade API some more (thanks for the feedback from David)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Merge remote-tracking branch 'mvo/bugfix/dpkg-progress-multiarch' into debian/sid

tests: install --no-install-recommends and stunnel4 for travis

stunnel4 is required for https tests

Git-Dch: Ignore

test: use a multiarch capable dpkg rather than workaround

The tests require nowadays a (somewhat) multiarch-capable dpkg, so
replace the workaround as marked in the FIXME with a proper install as
the workaround isn't working always correctly, letting the test fail.

Git-Dch: Ignore

do not ++ on erased package pointers in autoremove

Symptom: In an Ubuntu precise chroot (like on travis-ci)
test-bug-613420-new-garbage-dependency segfaults in a std::set
operator++ on an iterator we have erased previously
(but not if run under gdb of course)

fix lzma-support detection via xz binary

Clear() only clears a config option, not removing it and an empty
setting still exists. Hence we set the option instead to the xz path
so that the later existance check can find a binary for the test

use pkgAcqArchive in 'download' for proper errors

With a bit of trickery we can reuse the usual infrastructure we have in
place to acquire deb files for the 'download' operation as well, which
gains us authentification check & display, error messages, correct
filenames and "downloads" from the root-owned archives.

put fetch errors in 'source' on our errorstack

refactor the fetching process so that it looks more like the
others we have in the hope that we can reuse code in the future.

This is a soft interface change as 'source' previously printed
errors directly on stderr, while it will now push it onto our usual
error stack.

refactor onError relabeling of DestFile as '.FAILED'

This helps ensure three things:
- each error is reported via ReportMirrorFailure
- if DestFile doesn't exist, do not attempt rename
- renames happen for every error

The last one wasn't the case for Size mismatches, which isn't nice, but
not a exploitable problem per-se as the file isn't picked up and remains
in partial/ where the following download-try will at most take it for a
partial request which fails the hashsum verification later on

Git-Dch: Ignore

tests: fix some problems travis encounters

Git-Dch: Ignore

Merge remote-tracking branch 'origin/bugfix/dpkg-progress-multiarch' into bugfix/dpkg-progress-multiarch

make dpkg progress slightly nicer

change maxsplit default from "0" to maxint

improve documentation for StringSplit()

rename "--dpkg-progress" to "--show-progress" and document it in apt-get.8

don't consider holds for autoremoval

We can't remove packages which are held back by the user with a hold, so
marking them (or its dependencies) as garbage will lead our autoremover
into madness – and given that the package is important enough that the
user has held it back it can't be garbage (at least at the moment), so
even if a front-end wants to use the info just for information display
its a good idea to not consider it garbage for them.

Closes: 724995

handle complete responses to https range requests

Servers might respond with a complete file either because they don't
support Ranges at all or the If-Range condition isn't statisfied, so we
have to parse the headers curl gets ourself to seek or truncate the file
we have so far.

This also finially adds the testcase testing a bunch of partial
situations for both, http and https - which is now all green.

Closes: 617643, 667699
LP: 1157943

fix partial (206 and 416) support in https

As lengthy discussed in lp:1157943 partial https support was utterly
broken as a 206 response was handled as an (unhandled) error. This is
the first part of fixing it by supporting a 206 response and starting to
deal with 416.

refactor http client implementation

No effective behavior change, just shuffling big junks of code between
methods and classes to split them into those strongly related to our
client implementation and those implementing HTTP.

The idea is to get HTTPS to a point in which most of the implementation
can be shared even though the client implementations itself is
completely different. This isn't anywhere near yet though, but it should
beenough to reuse at least a few lines from http in https now.

Git-Dch: Ignore

replace "filesize - 1" trick in http with proper 416 handling

Our http client requests the "filesize - 1" for the small edgecase of
handling a file which was completely downloaded, but not yet moved to
the correct place as we get 416 errors in that case, but as we can
handle 416 returns now we just special-case the situation of requesting
the exact filesize and handle it as a 200 without content instead.

retry without partial data after a 416 response

If we get a 416 from the server it means the Range we asked for is above
the real filesize of the file on the server. Mostly this happens if the
server isn't supporting If-Range, but regardless of how we end up with
the partial data, the data is invalid so we discard it and retry with a
fresh plate and hope for the best.

Old behavior was to consider 416 an error and retry with a different
compression until we ran out of compression and requested the
uncompressed file (which doesn't exist on most mirrors) with an accept
line which server answered with "406 Not Acceptable".

Closes: 710924

add Range and If-Range support in the webserver

Git-Dch: Ignore

access _config via GET requests in the webserver

Git-Dch: Ignore

APT has no bugs

Okay, maybe it does have a "few", but the DDTP issues mentioned in this
file are long since gone, so lets just drop the file and look at the PTS
instead: http://bugs.debian.org/cgi-bin/pkgreport.cgi?src=apt

Git-Dch: Ignore

test: apt-get source with more than one argument

Closes: 722549
Git-Dch: Ignore

print-uris prints regardless of quiet-level again

While the InstallPackages code was moved from apt-get into the private
library the output was moved from (std::)cout to c1out which isn't shown
in quiet level 2 (and above), so we flip back to std::cout to ensure
that it is always printed as you are not going to use --print-uris if
you don't want to see the uris…

Closes: 722207

compression-neutral message for missing data.tar member

It even reuses the message used for the other check-for members, so one
less message to translate (good, as not that many people will ever see it).

Closes: 722710

pkg from only trusted sources keeps being trusted

--allow-unauthenticated switches the download to a pre-0.6 system in
which a package can come from any source, rather than that trusted
packages can only come from trusted sources.

To allow this the flag used to set all packages as untrusted, which is a
bit much, so we check now if the package can be acquired via an
untrusted source and only if this is the case set it as untrusted.

As APT nowadays supports setting sources as trusted via a flag in the
sources.list this mode shouldn't be used that much anymore though.

[Note that this is not the patch from the BTS]

Closes: 617690

don't strip :any from dependencies in single-arch

The parser goes a bit to far by stripping :any from dependencies in a
single architecture environment. the flag "Multi-Arch: allowed" doesn't
care any architecture restrictions in that case (as in single arch
everything is native), but it still limits the possible versions
statisfying the dependency so stripping :any over-simplifies in upgrade
situations from "Multi-Arch: none" to "Multi-Arch: allowed".

Closes: 723586

Fix typo in apt-private/private-show.cc. Thanks to Benjamin Keresa. Closes: #724073

releasing package apt version 0.9.11.4

do not trust FileFd::Eof() in pkgTagFile::Fill()

The Eof check was added (by me of course) in
0aae6d14390193e25ab6d0fd49295bd7b131954f
as part of a fix up ~a month ago (at DebConf).

The idea was not that bad, but doesn't make that much sense either
as this bit is set by the FileFd based on Actual as well, so this is
basically doing the same check again – with the difference that the
HitEof bit can still linger from a previous Read we did at the end of
the file, but have seek'd away from it now.

Combined with the length of entries, entry order and other not that
easily controllable conditions you can be 'lucky' enough to hit this
problem in a way which even visible (truncating of other fields might
 not be visible easily, like 'Tags' and others).

Closes: 723705
Thanks: Cyril Brulebois

improve the API for Upgrade()

add a testcase for 100 char long path truncate bug #689582

Git-Dch: Ignore

don't truncate 100 char long paths in tar extraction

When a data.tar.{gz,xz} contains a path name that is exactly
100 characters long, it will get truncated to 99 chars upon
extraction in ExtractTar::Go().

Using all of the 100 available characters for the filename
seems to be new behaviour in gnu tar.

Closes: #689582
Thanks: Mika Eloranta for the testcase!

Fix regression of "apt-cache unmet -i", thanks to Daniel Schepler (closes: #722324)

prepare upload

doc update

fix multiarch status-fd progress calculation

add maxsplit parameter to StringSplit

implement StringSplit() as we need this to fix the dpkg status-fd output parsing

use FileFd in HashSum test to unbreak non-linux ports

The testcode happily mixes FILE* operations and direct access to fds
which is even a bit suprising that it works on linux and worked so
long for non-linux ports, so we switch to usage of FileFd instead
which provides us with simple fd-only operations. Its overkill for this
test as its a bare file and we ask for the descriptor all the time, but
it shouldn't hurt to implicitly test it a bit this way.

Closes: 721723
Thanks: Aaron M. Ucko

fix vim-style foldmarker

Git-Dch: Ignore

Remove invalid "-f" option for apt-get check

Thanks to Philipp Weis (closes: #721477)

Merge branch 'debian/sid' of ssh://git.debian.org/git/apt/apt into debian/sid

fix typo (mkostemp->mkstemp)

prepare upload of 0.9.12

Merge remote-tracking branch 'upstream/debian/sid' into feature/upgrade-with-new

its --with-new-pkgs

add man-page, improve option, use --with-new-pkgs as the flag

Merge remote-tracking branch 'mvo/feature/install-progress' into debian/sid

Merge remote-tracking branch 'mvo/feature/upgrade-with-cmdline' into debian/sid

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Complete Italian translation