prepare 1.0.4 upload

Merge remote-tracking branch 'mvo/feature/apt-update-info' into debian/sid

Merge remote-tracking branch 'mvo/bugfix/apt-get-source-unauthenticated-warning' into debian/sid

Merge remote-tracking branch 'mvo/bugfix/lp1274466-cache' into debian/sid

Merge remote-tracking branch 'mvo/feature/srcrec-enum2' into debian/sid

support Acquire::GzipIndexes in dumpavail

Closes: 742835

separate implementation from declaration of TryTo{Install,Remove}

Git-Dch: Ignore

add pkgSrcRecords::Next() to step through all the pkgSrcRecords

do not revert candidate for protected packages

In commit 21b3eac8 I promoted the check for installable dependencies to
a pre-install check, which also reverts to a known good candidate (the
installed version) if it fails. This revert was done even for user
requested candidate switches which disabled our Broken detection so that
install requests which are impossible to satisfy do not fail anymore,
but print an (incomplete) solution proposal and then exit successfully.

Closes: 745046

Italian program translation update

Closes: 750009

cmdline/apt-helper.cc: use less generic description/short-description

Add compat mode for old (32bit FileSize) CacheDB (LP: #1274466)

Show unauthenticated warning for source packages as well

This will show the same unauthenticated warning for source packages
as for binary packages and will not download a source package if
it is unauthenticated. This can be overridden with
--allow-unauthenticated

Closes: #749795

use 'native' instead of 'amd64' as pkg arch

Git-Dch: Ignore

update symbols files

Git-Dch: ignore

show current/total testcase statistic also in concise mode

Git-Dch: Ignore

support parsing EDSP requests Architecture{,s} stanza

Adds also a small testcase for EDSP

Git-Dch: Ignore

without a filename we can't stat pipes

EDSP code uses pipes opened via an FD as sources and later for those
files modification times and filesize are read - but never really used
again. The result we get from FileFd is probably wrong, but as we don't
use it anyway, we just don't fallback if we have nothing to fallback to

Git-Dch: Ignore

print error stack on failure of 'apt' solver

Git-Dch: ignore

check exit status of external solvers

Solvers are supposed to exit successfully even if they haven't found a
solution, but a solver which fails drastically (like e.g. segfaults)
should be detected and dealt with accordingly instead of ignored.

if Resolver fails, do not continue even if not broken

This can happen if the request is already a well-formed request all by
itself (e.g. the package has no dependencies), but the resolver found
a reason to not accept it as solution. Our edsp 'dump' solver e.g.
shouldn't be able to trigger install, which it does otherwise.

Merge EDSP 0.5 w/ multi-arch support for external solvers

"I am going to merge it tomorrow…"

Merge remote-tracking branch 'mvo/debian/sid' into debian/sid

(try to) fix travis-ci build failures

dpkg on Ubuntu 12.04 does not seem to support parsing arch-specific
dependencies, so we try to detect if we face such a dpkg in the test.

In the other test the order depends on libdb, which changes per arch, so
we just run it through our sorting binary and be happy (hopefully).

Git-Dch: Ignore

Fix warning about uninitialized variable

Reported-By: clang++ -Werror

Fix uninitialized value

Reported-By: scan-build

use free() instead of delete[] in debSrcRecordParser::~debSrcRecordParser

The Buffer was allocated using strndup() so we need to free it using
free() instead of delete[]

Do not try to cast a pkgDepCache::Policy to a pkgCache

Fix incorrect cast in pkgDepCache::Policy::GetCandidateVer()

Reported-By: clang -fsanitize=address -fno-omit-frame-pointer

use free() instead of delete() when realloc is used

ContentsExtract::~ContentsExtract() needs to use free() because
Data got allocated via realloc()

Reported-By: clang -fsanitize=address -fno-omit-frame-pointer

Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

update Doxyfile to 1.8.7 to silence deprecation warnings

Git-Dch: ignore

fix screen width detection for apt/apt-get lists

3163087b moved SigWinch(int) from apt-get.cc to private-output.cc
without moving #include <sys/ioctl.h>, making SigWinch a nop.

Closes: 748430, 747942

fix tight loop detection and temporary removes

As outlined in #748355 apt segfaulted if it encountered a loop between a
package pre-depending on a package conflicting with the previous as it
ended up in an endless loop trying to unpack 'the other package'.

In this specific case as an essential package is involved a lot of force
needs to be applied, but can also be caused by 'normal' tight loops and
highlights a problem in how we handle breaks which we want to avoid.

The fix comes in multiple entangled changes:
1. All Smart* calls are guarded with loop detection. Some already had it,
   some had parts of it, some did it incorrect, and some didn't even try.
2. temporary removes to avoid a loop (which is done if a loop is
   detected) prevent the unpack of this looping package (we tried to unpack
   it to avoid the conflict/breaks, but due to a loop we couldn't, so we
   remove/deconfigure it instead which means we can't unpack it now)
3. handle conflicts and breaks very similar instead of duplicating most
   of the code. The only remaining difference is, as it should:
   deconfigure is enough for breaks, for conflicts we need the big hammer

consistently fail if Smart* packagemanager actions fail

These failure conditions come with an error message attached and the
conditions aren't workaroundable (otherwise this would have been done
instead of returning failure), so not erroring out here means that we
execute dpkg later on with a known not-working ordering adding insult
(our own error messages at the end) to injury (dpkg failure).

mark as Automatic/Downloadable pure as gcc suggests

Git-Dch: Ignore
Reported-By: gcc

make test independent from the actual Install-Size

Git-Dch: Ignore

show upgradable packages after apt update

Closes: 748389

add an additional test for arch specific conflicts

In bugreport #747261 I confirmed with this testcase that apt actually
supports the requested architecture-specific conflicts already since
2012 with commit cef094c2ec8214b2783a2ac3aa70cf835381eae1.

The old test only does simulations which are handy to check apt,
this one builds 'real' packages to see if dpkg agrees with us.

Git-Dch: Ignore

Never parse Version/Architecture tags in a Translation-$lang file

Version/Architecture information in a Translation-$lang file is
not allowed, so don't try to parse it. This is a fix for a bugreport
where a Translation-en file contained the content of the regular
Packages file (probably due to local FS corruption). This lead to
strange error messages on file download.

Thanks to Thomas Reusch for the report.

Merge remote-tracking branch 'mvo/feature/apt-ftparchive-srccache2' into debian/sid

fix regression from commit 215b0faf

show progress in run-tests

Merge remote-tracking branch 'mvo/feature/apt-ftparchive-srccache2' into debian/sid

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

prepare release 1.0.3

Revert "add bash completion for the "apt" command"

This reverts commit 697c9314c8ba24f3e393b5de11a3fad7adae4bfc.

Conflicts:
debian/rules

Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

EDSP: add APT-Release field to Package stanzas

EDSP: add Source field to Package stanzas

EDSP: add Architecture(s) multi-arch fields to the Request stanza

EDSP: bump protocol version to 0.5

EDSP doc: fix typo in Request stanza description

Only do openpty() if both stdin/stdout are terminals

Closes: 746434

initialize Verify in second pkgAcqIndex constructor

gcc reports in testcase ./test-bug-596498-trusted-unsigned-repo:
apt-pkg/acquire-item.cc:1059:7: runtime error: load of value 234, which
is not a valid value for type 'bool'

This happens as the bool Verify is initialized only in one of the two
constructors of the pkgAcqIndex class. It isn't a problem through as the
verification controlled by this flag is optional and used to fail early
on garbage files (like network portal pages) instead of later on in the
hashsum verification or while parsing (the then untrusted) file.

Reported-By: gcc-4.9 -fsanitize=undefined

Fix missing ScreenWidth check in apt.cc

debian/apt-doc.docs: remove README.MultiArch

l10n: vi.po: Update one new string

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

allow vendors to install configuration files

Vendors like ubuntu need to change some options, so giving them
a way to do this less painfully avoids reducing differences.

fix FileFd::Size bitswap on big-endian architectures

gzip only gives us 32bit of size, storing it in a 64bit container and
doing a 32bit flip on it has therefore unintended results.
So we just go with a exact size container and let the flipping be handled
by eglibc provided le32toh removing our #ifdef machinery.

Closes: 745866

enforce LFS for partial files in https range requests

remove unused duplicated acqprogress.{cc,h} files

Those files are in apt-private and used from there.

Git-Dch: Ignore

build http request in a stringstream

beside reducing code a bit, it avoids oddball problems while building
the string and doesn't trigger static analyse warnings.

remove outdated README.MultiArch

Debian wheezy shipped MultiArch to the masses and the predictions
remained true in sofar as little changes in apt itself and many
other frontends were needed compared to the fallout if done differently.

The info included is this file is therefore no longer current and adds
no useful information anymore, so we can drop it for good.

add a README for vendor information

add vendor information for BlankOn

Modified by commiter to not publicily export the codename (as the
manpages do not use it that way) and removing the included additional
derives logic as it was not working (the link always exists at that
point) and isn't needed as we do the special casing for debian mainly
because it would shallow all distributions otherwise.
(similar, but not that strong for ubuntu)

Closes: 743595

handle pkgnames shorter than modifiers

The bugreport highlights the problem with an empty package name. We fix
this by 'ignoring' these so that it behaves just like "apt-get install".
The deeper problem is that modifier strings can be longer than a package
name in which case the comparison doesn't make sense, so don't compare
then. Was not noticed so far as all modifiers are of length 1, so the
only package name shorter than this is in fact the empty package name.

Closes: 744940

properly undo CD-ROM mount in all error cases

In bug #740673 various issues in the CD-ROM handling code were
identified, while most the issues ended up being fixed in another way,
the unmounting of the CD-ROM in error cases was not tackled so far.

(The patch was modified by the commiter to apply)

provide support for debian/apt.conf.$(lsb_release -i -s) vendor specific config files

add bash completion for the "apt" command

reduce delta from ubuntu

prepare release 1.0.2

Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

Consistently use Dpkg::Progress* in documentation

Closes: 745452

Updated Thai program translation (closes: #745120)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Fix option name DPkg::Progress-Fancy in apt.8 manpage (LP: #1310506)

apt-private/acqprogress.cc: fix output when ctrl-c is hit during apt update (LP: #1310548, closes: #744297)

support dist-upgrade options in full-upgrade

dist-upgrade is supposed to be an alias for full-upgrade in apt, but
dist-upgrade was the only command recognized of the two in the option
and flags recognition code.

extract travis installs from build-depends automatically

I forgot to add libgtest-dev to the list of packages to install on
travis, so this slightly hacky oneliner might prevent us from having
the same problem again if we happen to change dependencies again.

Git-Dch: Ignore

use Google C++ Testing Framework for libapt tests

My commit 45df0ad2 from 26. Nov 2009 had a little remark:
"The commit also includes a very very simple testapp."
This was never intended to be permanent, but as usually…

The commit adds the needed make magic to compile gtest statically
as it is required and links it against a small runner. All previous
testcase binaries are reimplemented in gtest and combined in this
runner. While most code is a 1:1 translation some had to be rewritten
like compareversion_test.cc, but the coverage remains the same.

clear HitEof flag in FileFd::Seek

fseek and co do this to their eof-flags and it is more logic this way as
we will usually seek away from the end (e.g. to re-read the file).

The commit also improves the testcase further and adds a test for the
binary compressor codepath (as gz, bzip2 and xz are handled by
libraries) via the use of 'rev' as a 'compressor'.

apt-private/acqprogress.cc: reset color in apt update

force fancy progressbar redraw on window size change

We always reacted on the size change, but the bar is only redraw if the
precentage changes, which can take quiet a while in big upgrades, so
with a bit of refactoring we can now call for a redraw immediate to fix
this.

This refactor also helps in avoiding obscure pitfalls clangs static
analyser was complaining about (namely failure of ioctl resulting in
garbage values in the struct).

compile with absolute paths to allow lcov use

Instructing gcc (or clang) to prepare for capturing coverage data is
easy: Just build with: CXXFLAGS=--coverage

The hard part is that our buildsystem uses relative paths and so
confuses the hell out of lcov as it assumes this way that all our *.cc
files are in the same directory… by changing to absolute paths in the
compile rules we solve this problem.

Still not perfect as it refers to build/include files for most headers
and our forking/threading code isn't properly captured, but good enough
to see red reports for now:

CXXFLAGS=--coverage make
make test
./test/integration/run-tests -q
lcov --no-external --directory . --capture --output-file apt.info
genhtml --output-directory ./coverage/ apt.info

Git-Dch: Ignore

l10n: vi.po (624t): Update translation

Signed-off-by: Michael Vogt <mvo@debian.org>

Merge remote-tracking branch 'mvo/feature/helpful-apt-list' into debian/sid

Conflicts:
test/integration/test-apt-cli-list

Merge remote-tracking branch 'mvo/bugfix/apt-list-rc-pkgs' into debian/sid

consider priorities only for downloadable pkgs in resolver

A package which can't be downloaded anymore is very likely dropped from
a release and can therefore no longer be 'standard' (or similar). We
therefore do not grant points for them anymore and demote them to
prio:extra instead which helps other packages breaking them away even if
they have a lower priority.

The testcase was initially created by Michael Vogt and just amended.

extend FileFd test behond basic permission tests

We now do Open, Write and Read (the later multiple ways) for each
permission and each compressor we have configured to cover more cases
and especially ensure that compressors do not change our premissions.

This test is also to be credited for discovering the skippos-fix.

Git-Dch: Ignore

deal with umask only if we really need to for mkstemp

As the comment actually says: open() does the umask dance by itself, so
we don't need to do it for it. We have to do it after mkstemp in Atomic
though, so move it into the if.

Also removes the "micro-optimisation" "FilePermissions == 600" as it
doesn't trigger at the moment anyway as 600 != 0600.

don't double-count seeks in FileFd::Skip for bzip/xz

FileFd::Read already deals with the increase of the skipposition so that
we as the caller in FileFd::Skip really shouldn't increase it, too.

do not create an (additional) empty compressor

FileFd code knows how to deal with such a compressor, so it isn't a
problem, but it is absolutely not needed as we already have an
(matching) identity compressor with '.' earlier in the list.

Git-Dch: Ignore

be able to run abicheck from any directory

Git-Dch: Ignore

use wildcard to get files in our library makefiles

The explicit listing is a pain every time you want to add a file to the
list and serves no propose as we list all files there anyway, so this is
not only easier but also documents this fact.

Git-Dch: Ignore

fix test-failure in adt

prepare 1.0.1 release

apt: Minor typo in 'apt' man page (closes: #743657)

Merge remote-tracking branch 'mvo/bugfix/lp1304657-perms' into debian/sid

Merge remote-tracking branch 'mvo/bugfix/apt-search-case' into debian/sid

improve umask/fchmod code readability