prepare 1.0.1 release

apt: Minor typo in 'apt' man page (closes: #743657)

Merge remote-tracking branch 'mvo/bugfix/lp1304657-perms' into debian/sid

Merge remote-tracking branch 'mvo/bugfix/apt-search-case' into debian/sid

improve umask/fchmod code readability

Rename FileFd::Open() Perms to AccessMode

Bug lp:#1304657 was caused by confusion around the name Perms.
The new name AccessMode should make it clear that its not the
literal file permissions but instead the AccessMode passed to
open() (i.e. the umask needs to be applied)

Fix insecure file permissions when using FileFd with OpenMode::Atomic

Commit 7335eebea6dd43581d4650a8818b06383ab89901 introduced a bug
that caused FileFd to create insecure permissions when FileFd::Atomic
is used. This commit fixes the permissions and adds a test.

The bug is most likely caused by the confusing "Perm" parameter
that is passed to Open() - its not the file permissions but intead
the "mode" part of open/creat.

Fix possible race when stunnel/aptwebserver create their PID files

This patch should fix spurious test failures in jenkins or travis
that are caused by a race condition in the {stunnel,aptwebserver}.pid
file creation

Merge branch 'bugfix/apt-search-case' into debian/sid

make apt search case-insensitive by default

Add versioned openjdk-6-jdk breaks

This helps if people did unclean upgrades from squeeze, namely to
jessie directly.

Version the Breaks/Replaces for sun-java{5,6}-jdk (LP: #1302736)

This is a *hack* to work around unofficial packages for Java 7
and 8 that wrongly provide the Java 5 and 6 packages.

Closes: #743616

Fix crash in "apt list" when a sources.list file is unreable

Closes: 743413

releasing package apt version 1.0

add sun-java{5,6}-jdk to breaks/replaces as that provided a "apt" binary as well

install "apt" binary by default

prepare release

remove no longer needed apt.7 page

fix small apt.8.xml issues

refresh po/pot and unfuzzy apt-extracttemplate change

debian: Add default compress option to xz

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

l10n: vi.po (623t): Update Vietnamese translation

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

Merge remote-tracking branch 'mvo/feature/apt-manpage' into debian/sid

Conflicts:
cmdline/apt.cc

add "full-upgrade" to the apt.5.xml documentation

Merge remote-tracking branch 'upstream/debian/sid' into feature/apt-manpage

Conflicts:
cmdline/apt.cc

Merge remote-tracking branch 'mvo/feature/more-fancy-progress' into debian/sid

enable DPkg::Progress-Fancy by default

Merge remote-tracking branch 'mvo/debian/sid' into debian/sid

do not crash on SIGPIPE in pkgDPkgPM::RunScriptsWithPkgs()

If a external command closes the PIPE unexpectedly, do not crash
in pkgDPkgPM::RunScriptsWithPkgs but ignore the SIGPIPE.

Add new Debug::RunScripts option

This debug option will display all scripts that are run
by apts RunScripts and RunScriptsWithPkgs helpers.

Merge branch 'debian/sid' into feature/more-fancy-progress

Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

Use mkstemp() in apt-extracttemplaes (closes: #741627)

Use mkstemp() in apt-extractemplates and add a integrationtest
for apt-extracttemplates too. Thanks to Steve Kemp for the report.

fix documentation for APT::Periodic::MaxSize "0" (closes: #740551)

Add progressbar to "Dpkg::Progress-Fancy"

A text progressbar is now displayed in the Dpkg::Progress-Fancy
mode. It can be turned off via the apt option
Dpkg::Progress-Fancy::Progress-Bar=false

make fancy-progress fg/bg color configurable

Add two new options: Dpkg::Progress-Fancy::Progress-{fg,bg} that
allows customizing the colors in the dpkg fancy progress output.

discard candidates via IsInstallOk to allow override

In commit 446551c8 I changed MarkInstall to discard the candidate if the
candidate can't satisfy the dependency. This breaks interactive solvers
like aptitude which can change the candidate on-the-fly later.

In commit df77d8a5 I introduced this 'early' loop-breaking to begin with
which can't be that helpful for interactive solvers as well, but makes
perfect sense for non-interactives to stop them from exploring trees
which can't be satisfied, but it isn't perfect as ideally we would check
this before auto-installing the first dependency.

This commit therefore moves the loop into its own IsInstallOk hook so
that frontends can override this check if they want to and in exchange
removes the loop-breaking from MarkInstall itself and does it before any
dependency is installed.

Closes: 740750

do IsInstallOk call in MarkInstall unconditionally

Hooked checks could be influenced by AutoInst as a lot can happen
between a call without and one with this bit set. The real cache-hit
check is above this call already. Individual hooked checks can then
inspect the state if they want to cache. Calling them multiple times
shouldn't be a problem either way.

update symbols file to include new symbols from 0.9.16

ensure proper teardown in dpkg error cases

We have to properly close our pseudo terminals even in error cases
before we call post-invoke scripts. This is done now by breaking from
the dpkg calling loop instead of copying the handling, which did it in
the wrong order before.

This also ensures that our state file is written in error cases to
record autobit and co as this was forgotten before.

Closes: 738969

mark optional (private) symbols as hidden

This methods should not be used by anyone expect the library itself as
they are helpers for the specific class and therefore perfect candidates
for hidding.

Git-Dch: Ignore

enable fvisibility=hidden for our private library

While it is a huge undertaking to enable it for our public libraries as
basically everything we exported so far could be seen as public
interface our private library is new and under our full control, so we
can do whatever we like with it. The benefits are not that big in return
of course, but it reduces the size a bit, so thats great nontheless.

Git-Dch: ignore

add testcase for APT::Architectures "arch1,arch2"

Git-Dch: Ignore

Japanese programs translation update

Closes: 742255

correct some reported typos in /etc/cron.daily/apt

Closes: 702016
Reported-By: Mason Loring Bliss <mason@blisses.org>,
 Jakub Wilk <jwilk@debian.org>

Italian manpages translation update

Closes: 741867

only consider versioned kernel packages in autoremove

Metapackages like "linux-image-amd64" are otherwise matched by our
extraction as well, which later on can't be successfully compared via
dpkg --compare-versions as the 'amd64' bit isn't a version number.
(Luckily none of our architectures starts with a digit.)

This was broken by me in 0.9.16 as I moved a shell-glob matcher to a
regex-based one which has slightly different semantics regarding '*'.

Closes: 741962

continue reading in xz even if it outputs nothing

It can happen that content in our buffer is not enough to produce a
meaningful output in which case no output is created by liblzma, but
still reports that everything is okay and we should go on.

The code assumes it has reached the end through if it encounters a null
read, so this commit makes it so that it looks like this read was
interrupted just like the lowlevel read() on uncompressed files could.

It subsequently fixes the issue with that as well as until now our loop
would still break even if we wanted it to continue on.

(This bug triggers our usual "Hash sum mismatch" error)

Reported-By: Stefan Lippers-Hollmann <s.L-H@gmx.de>

apt-inst: Do not try to create a substring of an empty string in error reporting

One of our compressors (the empty one) has an empty extension. Calling substr
on it fails.

Release 0.9.16.1

Fix handling of autoclosing for compressed files (Closes: #741685)

AutoClose is both an argument in OpenDescriptor() and an enum. In
commit 84baaae93badc2da7c1f4f356456762895cef278 code using the AutoClose
parameter was moved to OpenDescriptorInternal(). In that function,
AutoClose meant the enum value, so the check was always false.

Updated German doc translation

prepare 0.9.16 release

add debian/apt.install to gitignore

fix test/integration/test-apt-helper

Merge branch 'debian/sid' of ssh://git.debian.org/git/apt/apt into debian/sid

use the pretty fullname of a pkg as download desciption

Otherwise the "WARNING: The following packages cannot be authenticated!"
messages does not include the architecture of the package, so it would
be slightly misinformative.

refactor FileFd to hide some #ifdefs

They tend to be ugly to look at, so hide them.

Git-Dch: Ignore

use liblzma-dev to provide xz/lzma support

We have xz/lzma support for a while, but only via an external binary
provided by xz-utils. Now that the Debian archive provides xz by default
and dpkg pre-depends on the library provided by liblzma-dev we can switch
now to use this library as well to avoid requiring an external binary.
For now the binary is in a prio:required package, but this might change
in the future.

API wise it is quiet similar to bz2 code expect that it doesn't provide
file I/O methods, so we piece this together on our own.

add a config option to switch uncompress methods to compress

Not very useful in the normal operation of work, but handy for tests.

Git-Dch: Ignore

ensure that gz compression test is run with gz

The framework can be configured to use different compression algorithms
to test different ones, but a testcase testing for gz support should
always be run with gz, regardless of what compressions are configured
otherwise.

Git-Dch: Ignore

factor out getting list of architectures from comma list

Beside fixing this minor code duplication it also resolves the problem
of messing up vim syntax-highlighting.

Git-Dch: Ignore

refactor setup of file opening via zlib/bz2 lib

Git-Dch: Ignore

move fd duplication closer to the gz/bz2 open calls

Git-Dch: Ignore

abstract version hash comparison a bit

In #737085 we see that apt can be confused if informations about
versions only differ slightly. This commit adds a way of at least adding
a few more data points with the next abi break to help a bit with it.

Git-Dch: Ignore

factor out parsing of MultiArch flag

Git-Dch: Ignore

correct LD_LIBRARY_PATH and config loading for apt-helper

Mostly ensures that we use the build methods and not the system
provided methods in the tests (if we don't want it that way).

Git-Dch: Ignore

ensure that a dot is a dot in the hook

As we deal with regex matchers here the dots are treated as wildcards if
we don't take care of escaping them. Not very likely that this could be
a real-world problem, but just to be sure.

add ".*-{kernel,modules}-$KERVER" matcher for hook

Pre-build kernel modules (like those build with module-assistent) are
commonly named in this way and it should be ungeneric enough to be added
by default for everyone.

support kfreebsd and hurd in the kernel hook

kfreebsd as well as hurd kernel packages call the postinst script as
well so we just need to enable the correct parsing for installed
packages and disable the "protect every version" hammer for them.

use a configurable list of versioned kernel packages

With APT::VersionedKernelPackages users have the option of adding
packages like pre-build out-of-tree modules to the list of automatically
protected from being autoremoved.

cmdline parsing: apt-config is not apt-cdrom

improve debug output in case downloadfile fails

Git-Dch: Ignore

msgstr with elipses need three dots

fixes some messages and their translation so that all of them have three
dots for messages with an elipse. Many translations already had this.

fix polish --install-suggests text in apt-get manpage

Description of the --install-suggests option is wrong in the polish
apt-get man page. The actual meaning of this option is the opposite
to what is written in the manual.

Closes: 741056

support very long mtab entries in mountpoint discovery

Old code limited lines to 250 characters which is probably enough for
everybody, but who knows… It also takes care of device nodes which start
with the same prefix.

enable mount support for apt-cdrom in the tests

Git-Dch: Ignore

remove code duplication for Add & Ident in apt-cdrom

The preparation code to deal with auto-detection and co is the same for
both methods, so not sharing them would be bad. Deals also with the
prevention of side effects triggered by the auto-detection like
disabling mounting for the fallback.

Git-Dch: Ignore

apt-cdrom ident shouldn't be interactive

Commit 62dcbf84 changed the code of ident to look more like the code for
add on my suggestion. This made ident interactive as it starts with a
unmount, press enter, mount cycle. The first two are skipped now.
This fixes d-i/apt-setup which is using it to get ID as well as label.

Closes: 740673

no error for non-existing mountpoints in MountCdrom

The mountpoint might be auto-generated by the mount command so pushing
an error on the stack will confuse the following code and let it believe
an unrecoverable error occured while potentially everything is okay.

Same goes for umount as a non-existing mountpoint is by definition not
mounted.

if mountpoint has a ".disk" directory it is mounted

Checking that parent-directory of mountpoint and mountpoint are on
different devices is fine most of the time, but is too restrictive
for our testcases and there shouldn't be anything wrong with 'normal'
users copying disk-contents around either if they want to.

We check for the existance of the ".disk/" directory now as this will
not be present if the disk isn't 'mounted'. Disks doesn't need to have
such a directory through, so for those we fall back to the old way of
detecting mounted or not mounted.

simplify apt-cdrom testcode

Git-Dch: Ignore

do not configure already unpacked packages needlessly

The unpack of a M-A:same package will force the unpack of all its
siblings directly to prevent that they could be separated by later
immediate actions. In commit 634985f8 a call to SmartConfigure was
introduced to configure these packages at the time the installation
order encounters them. Usually, the unpack order is already okay, so
that this 'earlier' unpack was not needed and if it wouldn't have been
done, the package would now only be unpacked, but by configuring the package
now we impose new requirements which must be satisfied. The code is
clever enough to handle this most of the time (it worked for 2 years!),
but it isn't needed and in very coupled cases this can fail.

Removing this call again removes this extra burden and so simplifies the
ordering as can be seen in the modified tests. Famous last words, but I
don't see a reason for this extra burden to exist hence the remove.

Closes: 740843

enable various compiler warnings

Now that the last few commits resolved the issues we can finally enable
a bunch of compiler warnings by default.

Git-Dch: ignore

use SPtrArray handling instead of explicit delete[]

The warning message from gcc doesn't make that much sense in my reading
as there is no loop which could overflow here, but it is better to use
our SPtrArray wrapping anyway which fixes the warning as well.

warning: cannot optimize loop, the loop counter may overflow [-Wunsafe-loop-optimizations]
   delete[] Dsc;

Git-Dch: Ignore
Reported-By: gcc -Wunsafe-loop-optimizations

follow method attribute suggestions by gcc

Git-Dch: Ignore
Reported-By: gcc -Wsuggest-attribute={pure,const,noreturn}

cleanup headers and especially #includes everywhere

Beside being a bit cleaner it hopefully also resolves oddball problems
I have with high levels of parallel jobs.

Git-Dch: Ignore
Reported-By: iwyu (include-what-you-use)

move defines for version to macros.h

also adds namespaced attributes for good usage

Git-Dch: Ignore

warning: unused parameter ‘foo’ [-Wunused-parameter]

Reported-By: gcc -Wunused-parameter
Git-Dch: Ignore

warning: type qualifiers ignored on function return type [-Wignored-qualifiers]

Reported-By: gcc -Wignored-qualifiers
Git-Dch: Ignore

warning: cannot optimize loop, the loop counter may overflow [-Wunsafe-loop-optimizations]

Git-Dch: Ignore
Reported-By: gcc -Wunsafe-loop-optimizations

warning: no previous declaration for foobar() [-Wmissing-declarations]

Git-Dch: Ignore
Reported-By: gcc -Wmissing-declarations

warning: useless cast to type A [-Wuseless-cast]

Git-Dch: Ignore
Reported-By: gcc -Wuseless-cast

warning: cast from type A to type B casts away qualifiers [-Wcast-qual]

Git-Dch: Ignore
Reported-By: gcc -Wcast-qual

StartPos is always positive for http/https

server.cc: In member function ‘bool ServerState::HeaderLine(std::string)’:
server.cc:198:72: warning: format ‘%llu’ expects argument of type ‘long long unsigned int*’, but argument 3 has type ‘long long int*’ [-Wformat=]
       else if (sscanf(Val.c_str(),"bytes %llu-%*u/%llu",&StartPos,&Size) != 2)

Git-Dch: Ignore
Reported-By: gcc -Wpedantic

warning: extra ‘;’ [-Wpedantic]

Git-Dch: Ignore
Reported-By: gcc -Wpedantic

warning: non-ISO-standard escape sequence, '\e' [enabled by default]

Git-Dch: Ignore
Reported-By: gcc -Wpedantic

fix -Wformat= warnings about size_t != %lu on e.g. armel

Git-Dch: Ignore
Reported-By: gcc

fix -Wmissing-field-initializers warnings

Reported-By: gcc
Git-Dch: Ignore

make doxygen more quiet, fix issues and disable latex

Git-Dch: Ignore