add an additional test for arch specific conflicts

In bugreport #747261 I confirmed with this testcase that apt actually
supports the requested architecture-specific conflicts already since
2012 with commit cef094c2ec8214b2783a2ac3aa70cf835381eae1.

The old test only does simulations which are handy to check apt,
this one builds 'real' packages to see if dpkg agrees with us.

Git-Dch: Ignore

invalid cache if architecture set doesn't match

The cache heavily depends on the architecture(s) it is build for,
especially if you move from single- to multiarch. Adding a new
architecture to dpkg therefore has to be detected and must invalidate
the cache so that we don't operate on incorrect data.

The incorrect data will prevent us from doing otherwise sensible
actions (it doesn't allow bad things to happen) and the recovery is
simple and automatic in most cases, so this hides pretty well and is
also not as serious as it might sound at first.

Closes: 745036

improve pkgTagSection scanning and parsing

Removes the 256 fields limit, deals consistently with spaces littered
all over the place and is even a tiny bit faster than before.
Even comes with a bunch of new tests to validate these claims.

parse and retrieve multiple Descriptions in one record

It seems unlikely for now that proper archives will carry multiple
Description-* stanzas in the Packages (or Translation-*) file, but
sometimes apt eats its own output as shown by the usage of the CD team
and it would be interesting to let apt output multiple translations
e.g. in 'apt-cache show'.

reenable pipelining via hashsum reordering support

Now that methods have the expected hashes available they can check if
the response from the server is what they expected. Pipelining is one of
those areas in which servers can mess up by not supporting it properly,
which forced us to disable it for the time being. Now, we check if
we got a response out of order, which we can not only use to disable
pipelining automatically for the next requests, but we can fix it up
just like the server responded in proper order for the current requests.

To ensure that this little trick works pipelining is only attempt if we
have hashsums for all the files in the chain which in theory reduces the
use of pipelining usage even on the many servers which work properly,
but in practice only the InRelease file (or similar such) will be
requested without a hashsum – and as it is the only file requested in
that stage it can't be pipelined even if we wanted to.

Some minor annoyances remain: The display of the progress we have
doesn't reflect this change, so it looks like the same package gets
downloaded multiple times while others aren't at all. Further more,
partial files are not supported in this recovery as the received data
was appended to the wrong file, so the hashsum doesn't match.

Both seem to be minor enough to reenable pipelining by default until
further notice through to test if it really solves the problem.
This therefore reverts commit 8221431757c775ee875a061b184b5f6f2330f928.

tell download methods the expected hashes

Now that we have all hashes in the acquire system, pass the info down to
the methods, so that it can use it in the request and/or to precheck the
response.

promote ExpectedHashes to a pkgAcquire::Item member

Beside being another big API break with hopefully zero fallout in
reality it avoids having the same member and helper code in each and
every subclass.

deal with hashes in ftparchive more dynamic as well

Now that libapts acquire system happily passes around hashes and can be
made to support new ones without an ABI break in the future, we can
free ftparchive from all the deprecation warnings the last commit
introduced for it.

The goal here isn't to preserve ABI as we have none to keep here, but to
help avoiding introduction problems of 'new' hashes later as bugs creep
into the copy&paste parts, so short/less of them is good.

use HashStringList in the acquire system

It is not very extensible to have the supported Hashes hardcoded
everywhere and especially if it is part of virtual method names.
It is also possible that a method does not support the 'best' hash
(yet), so we might end up not being able to verify a file even though we
have a common subset of supported hashes. And those are just two of the
cases in which it is handy to have a more dynamic selection.

The downside is that this is a MAJOR API break, but the HashStringList
has a string constructor for compatibility, so with a bit of luck the
few frontends playing with the acquire system directly are okay.

use 'best' hash for source authentication

Collect all hashes we can get from the source record and put them into a
HashStringList so that 'apt-get source' can use it instead of using
always the MD5sum.

We therefore also deprecate the MD5 struct member in favor of the list.

While at it, the parsing of the Files is enhanced so that records which
miss "Files" (aka MD5 checksums) are still searched for other checksums
as they include just as much data, just not with a nice and catchy name.

LP: 1098738

add a simple container for HashStrings

APT supports more than just one HashString and even allows to enforce
the usage of a specific hash. This class is intended to help with
storage and passing around of the HashStrings.

Git-Dch: Ignore

tests: be able to disable "Fetched …" statistics message

The line contains everchanging execution statistics which is harmful for
testcases as they need to filter out such lines, but this is hard so we
can just add an option to disable them instead and be done.

Git-Dch: Ignore

use a std::vector instead of hardcoded array

Arrays with predefined lengths are very fragile as they are
likely forgotten in future changes and the size in this case
is dynamic making it even more dangerous.

Git-Dch: Ignore

mark as Automatic/Downloadable pure as gcc suggests

Git-Dch: Ignore
Reported-By: gcc

make test independent from the actual Install-Size

Git-Dch: Ignore

fix apt-config test now that PATH changed in 8c617819

Git-Dch: Ignore

apt-pkg/deb/debindexfile.cc: do not hardcode dpkg

apt-private/acqprogress.cc: do not show file size on IMSHit, it wasn't fetched, so why bother

Revert "fix test-bug-602412-dequote-redirect by removing the aptget update size information"

This reverts commit 773642528b6d9858c2c68ada42705ea71c8db37e.

Merge remote-tracking branch 'mvo/feature/build-dep-dsc2' into debian/experimental

Conflicts:
apt-pkg/deb/debindexfile.cc
apt-pkg/deb/debindexfile.h
apt-pkg/deb/debsrcrecords.cc

Merge remote-tracking branch 'mvo/bugfix/update-progress-reporting' into debian/experimental

update test-apt-progress-fd

Merge remote-tracking branch 'upstream/debian/sid' into bugfix/update-progress-reporting

Merge branch 'debian/sid' into debian/experimental

Merge remote-tracking branch 'mvo/feature/apt-ftparchive-srccache2' into debian/sid

fix regression from commit 215b0faf

Merge remote-tracking branch 'mvo/bugfix/update-progress-reporting' into debian/experimental

check for UnfetchedReleaseFiles when calculating the update percent value

Merge remote-tracking branch 'upstream/debian/sid' into bugfix/update-progress-reporting

fix tests

add BUILDDIRECTORY to PATH in the tests

fix some compile errors in the now enabled #if (APT_PKG_MAJOR >= 4 && APT_PKG_MINOR < 13)

apt-pkg/contrib/macros.h: bump library version to 4.13

show progress in run-tests

fix test-bug-602412-dequote-redirect by removing the aptget update size information

Merge remote-tracking branch 'mvo/bugfix/update-progress-reporting' into debian/experimental

Merge remote-tracking branch 'mvo/feature/apt-install-deb' into debian/experimental

Merge remote-tracking branch 'mvo/feature/apt-ftparchive-srccache2' into debian/sid

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Merge branch 'debian/sid' into debian/experimental

Conflicts:
apt-pkg/cachefilter.h
apt-pkg/contrib/fileutl.cc
apt-pkg/contrib/netrc.h
apt-pkg/deb/debsrcrecords.cc
apt-pkg/init.h
apt-pkg/pkgcache.cc
debian/apt.install.in
debian/changelog

move pkgSourceList::AddMetaIndex() into a private subclass until we decide about a good API

rename pkgSourceList::Add() to pkgSourceList::AddMetaIndex()

Merge branch 'debian/sid' into bugfix/update-progress-reporting

prepare release 1.0.3

Revert "add bash completion for the "apt" command"

This reverts commit 697c9314c8ba24f3e393b5de11a3fad7adae4bfc.

Conflicts:
debian/rules

Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

Only do openpty() if both stdin/stdout are terminals

Closes: 746434

initialize Verify in second pkgAcqIndex constructor

gcc reports in testcase ./test-bug-596498-trusted-unsigned-repo:
apt-pkg/acquire-item.cc:1059:7: runtime error: load of value 234, which
is not a valid value for type 'bool'

This happens as the bool Verify is initialized only in one of the two
constructors of the pkgAcqIndex class. It isn't a problem through as the
verification controlled by this flag is optional and used to fail early
on garbage files (like network portal pages) instead of later on in the
hashsum verification or while parsing (the then untrusted) file.

Reported-By: gcc-4.9 -fsanitize=undefined

Merge branch 'feature/abspath' into feature/apt-install-deb

fix tests

use flAbsPath()

Merge branch 'feature/abspath' into feature/apt-install-deb

Conflicts:
test/libapt/fileutl_test.cc

add flAbsPath() as a wrapper to realpath()

use new Popen()

Merge branch 'feature/popen' into feature/apt-install-deb

Implement Popen() execv helper to avoid popen()

avoid deb specific code in private-install

Fix missing ScreenWidth check in apt.cc

debian/apt-doc.docs: remove README.MultiArch

l10n: vi.po: Update one new string

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

WIP local deb install

allow vendors to install configuration files

Vendors like ubuntu need to change some options, so giving them
a way to do this less painfully avoids reducing differences.

fix FileFd::Size bitswap on big-endian architectures

gzip only gives us 32bit of size, storing it in a 64bit container and
doing a 32bit flip on it has therefore unintended results.
So we just go with a exact size container and let the flipping be handled
by eglibc provided le32toh removing our #ifdef machinery.

Closes: 745866

enforce LFS for partial files in https range requests

remove unused duplicated acqprogress.{cc,h} files

Those files are in apt-private and used from there.

Git-Dch: Ignore

build http request in a stringstream

beside reducing code a bit, it avoids oddball problems while building
the string and doesn't trigger static analyse warnings.

remove outdated README.MultiArch

Debian wheezy shipped MultiArch to the masses and the predictions
remained true in sofar as little changes in apt itself and many
other frontends were needed compared to the fallout if done differently.

The info included is this file is therefore no longer current and adds
no useful information anymore, so we can drop it for good.

add a README for vendor information

add vendor information for BlankOn

Modified by commiter to not publicily export the codename (as the
manpages do not use it that way) and removing the included additional
derives logic as it was not working (the link always exists at that
point) and isn't needed as we do the special casing for debian mainly
because it would shallow all distributions otherwise.
(similar, but not that strong for ubuntu)

Closes: 743595

handle pkgnames shorter than modifiers

The bugreport highlights the problem with an empty package name. We fix
this by 'ignoring' these so that it behaves just like "apt-get install".
The deeper problem is that modifier strings can be longer than a package
name in which case the comparison doesn't make sense, so don't compare
then. Was not noticed so far as all modifiers are of length 1, so the
only package name shorter than this is in fact the empty package name.

Closes: 744940

properly undo CD-ROM mount in all error cases

In bug #740673 various issues in the CD-ROM handling code were
identified, while most the issues ended up being fixed in another way,
the unmounting of the CD-ROM in error cases was not tackled so far.

(The patch was modified by the commiter to apply)

provide support for debian/apt.conf.$(lsb_release -i -s) vendor specific config files

add bash completion for the "apt" command

reduce delta from ubuntu

prepare release 1.0.2

add support for apt-get build-dep unpacked-source-dir

create debIFTypeDscFile type

add support for apt-get build-dep foo.dsc

Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

Consistently use Dpkg::Progress* in documentation

Closes: 745452

Updated Thai program translation (closes: #745120)

Merge remote-tracking branch 'donkult/debian/sid' into debian/sid

Fix option name DPkg::Progress-Fancy in apt.8 manpage (LP: #1310506)

apt-private/acqprogress.cc: fix output when ctrl-c is hit during apt update (LP: #1310548, closes: #744297)

pass Target/MetaIndexParser around into pkgAcqDiffIndex so that this can be used to create a proper pkgAcqIndex() with size information

support dist-upgrade options in full-upgrade

dist-upgrade is supposed to be an alias for full-upgrade in apt, but
dist-upgrade was the only command recognized of the two in the option
and flags recognition code.

extract travis installs from build-depends automatically

I forgot to add libgtest-dev to the list of packages to install on
travis, so this slightly hacky oneliner might prevent us from having
the same problem again if we happen to change dependencies again.

Git-Dch: Ignore

use Google C++ Testing Framework for libapt tests

My commit 45df0ad2 from 26. Nov 2009 had a little remark:
"The commit also includes a very very simple testapp."
This was never intended to be permanent, but as usually…

The commit adds the needed make magic to compile gtest statically
as it is required and links it against a small runner. All previous
testcase binaries are reimplemented in gtest and combined in this
runner. While most code is a 1:1 translation some had to be rewritten
like compareversion_test.cc, but the coverage remains the same.

calculate Percent as part of pkgAcquireStatus to provide a weighted percent for both items and bytes

use correct compression extension when loading the size of the size into the fetcher

clear HitEof flag in FileFd::Seek

fseek and co do this to their eof-flags and it is more logic this way as
we will usually seek away from the end (e.g. to re-read the file).

The commit also improves the testcase further and adds a test for the
binary compressor codepath (as gz, bzip2 and xz are handled by
libraries) via the use of 'rev' as a 'compressor'.

add Debug::acquire::progress debug option and fixme for index file loading with the correct extension

load the size from the metaindex into the fetcher to have even more accurate progress information

make the TotalFiles more reliable in apt-get update

apt-private/acqprogress.cc: reset color in apt update

force fancy progressbar redraw on window size change

We always reacted on the size change, but the bar is only redraw if the
precentage changes, which can take quiet a while in big upgrades, so
with a bit of refactoring we can now call for a redraw immediate to fix
this.

This refactor also helps in avoiding obscure pitfalls clangs static
analyser was complaining about (namely failure of ioctl resulting in
garbage values in the struct).

compile with absolute paths to allow lcov use

Instructing gcc (or clang) to prepare for capturing coverage data is
easy: Just build with: CXXFLAGS=--coverage

The hard part is that our buildsystem uses relative paths and so
confuses the hell out of lcov as it assumes this way that all our *.cc
files are in the same directory… by changing to absolute paths in the
compile rules we solve this problem.

Still not perfect as it refers to build/include files for most headers
and our forking/threading code isn't properly captured, but good enough
to see red reports for now:

CXXFLAGS=--coverage make
make test
./test/integration/run-tests -q
lcov --no-external --directory . --capture --output-file apt.info
genhtml --output-directory ./coverage/ apt.info

Git-Dch: Ignore

l10n: vi.po (624t): Update translation

Signed-off-by: Michael Vogt <mvo@debian.org>

Merge remote-tracking branch 'mvo/feature/helpful-apt-list' into debian/sid

Conflicts:
test/integration/test-apt-cli-list

Merge remote-tracking branch 'mvo/bugfix/apt-list-rc-pkgs' into debian/sid