apache: update rewriteLogLevel for Apache 2.4

Apache 2.4 removes RewriteLog, and instead makes LogLevel work
generically with modules.

Restrict trace levels to 0..8, Apache rejects the config for anything
but trace{1..8}.

apache: support mod_dir DirectorySlash

Also update copyright, including past years I forgot to update.

apache: correct setEnvIfNoCase

Was generating a regular SetEnvIf

apache: support SetEnvIf

Trivial SetEnvIf implementation. Attribute is a regex as that is the
maximal syntax accepted for the argument, and the env arguments are
just a list of no_spaces.

This may change to something more like rewriteRule flags, with
additional syntax for each case supported by apache (ENV, !ENV,
ENV=VAL), and stricter syntax checking for the arguments.

apache: allow #":" in rewrite_arg type

We really should be escaping this in the [E=VAR:VAL] construct, but
since the results of a user using #":" in the VAR aren't fatal or
insecure (just surprising), allow it since otherwise you can't use
constructs like "%{HTTP:header}".

fix char syntax

apache: disallow backslashes in rewrite_arg type

backlashes can be used to create invalid config (e.g. using one at the
end of the line), and don't seem to be particularly useful
here. Disallow entirely for now.

apache: relax rewrite_arg syntax

This was too restrictive, making ENV flag essentially useless (there
is no way to access rewrite capture groups or other environment
variables).

This still forbids spaces; we could allow them, but would have to
ensure proper quoting or escaping and the apache parser for rewrite
arguments is pretty funky, so this seems to be of dubious value (read:
it would be a lot more work).

See https://bugzilla.hcoop.net/show_bug.cgi?id=1287 for background.

errormsg: remove errorText

This was never used, and makes `print' allocate memory for no good
reason.

apache: add php 7.2 support

Also get rid of fast_php (except for compatibility), and use php56
instead since we only have fastcgi php support now.

lib: add AAAA record for mailman hosts

easy_domain: fix argument

easy_domain: enable ipv6

web and dom will generate AAAA records by default now.

Adapt for ipv6 changes to web_place; this makes webAtIp somewhat
awkward -- users have to be assigned both an IPv4 and IPv6 address,
and specify both.

apache: add ipv6 support

web_place and web_node now have mandatory IPv6 addresses, and vhosts
will always listen on both IPv4 and IPv6.

mailman plugin updated as well

domain: ipv6 support for nodes, new your_ipv6 type

All nodes must support IPv6 now. Allow members to be granted
permissions to IPv6 addresses (currently no IPs are being granted, but
don't allow that feature to bitrot).

domain: add node ipv6 address to nodeMap

basic internal ipv6 support

extend nodeips with ipv6, which is now mandatory for all domtool
controlled servers going forward.

fwtool will generate $WEBNODES using IPv6 so rules from the webservers
to the member servers actually work.

vmail: show documentation on hcoop wiki

We need better help in domtool generally, but for now at least point
to something...

hcoop: remove fritz and bog from domtool control

dbms: use nodeIp instead of raw hostname

Should be using nodeIp like in all other cases where a node is
contacted.

hcoop: remove fritz as dns secondary

hcoop: change dbmsNode to gibran

Needed for mysql-fixperms to work (unfortunately still needed because
mysql is awful).

hcoop: remove mccarthy and navajos from domtool control

servers are decommissioned

hcoop: remove mccarthy from default MailNodes

hcoop: move dns master to gibran.hcoop.net

hcoop: set default web node to shelob

build: fix install_systemd_dispatcher rule

hcoop: move dispatcher to gibran

hcoop: move mailman from mccarthy to minsky

mailman: open /usr/share/images/mailman, revert to mod_access_compat

apache config on mailman server has been normalized with other
servers, and is using mod_access_compat at the top level since domtool
is still using mod_access_compat.

hcoop: move gibran and marsh to new ips

final gunk from roskomnadzor vs telegram

hcoop: move shelob to new ip

more fallout from russia vs telegram

hcoop: add new server `lovelace'

no services currently controlled by domtool.

hcoop: update minsky ip again

The new ip we got was blacklisted in Russia thanks to the war against
Telegram.

hcoop: update minsky.hcoop.net IP address

We had to change IPs (initially assigned IP was on spam blacklists
from some previous use).

apache: use HTTP for mod_auth_kerb service principal

HTTP/host is the hardcoded service name that the negotitate auth
method requires, which is why it has never worked here. Switch to the
expected service name going forward.

main: filter _darcs when assembling set of files in .domtool

At least one member is attempting to use darcs to track their config,
make domtool skip _darcs as if it were a dotfile.

hcoop: enable gibran as a dns server

Generate nodes there by default, will become master soon.

lib: add outpost ipv6 address

domtool-public: workaround mailman plugin deficiencies

The mailman plugin only generates mailman_domains.cfg on the server
that also runs the mailman web interface, so there's no way for a
secondary mail server to know which addresses need to be relayed to
the exim server that runs mailman.

Reworking the mailman plugin would be a bit involved, and it's fairly
low priority so work around for now by setting
/var/domtool/mailman_domains.cfg immutable on the affected servers,
and ignoring if the touch during redo_exim() fails.

If/when the plugin is updated, there is a secondary issue of copying
the mailmandb to all nodes since it is generated locally on the
mailman server. Lists could be managed by domtool, or even just a new
command to trigger an rsync of the mailmandb to afs and then to all
mail nodes when lists are changed should work (IIRC, it is only
changed when lists are added or removed).

postgres: rename dbms postgres-9.1 to postgres-9

This will actually be postgres 9.6 now, data is automatically being
migrated as there are no major incompatibilities (unlike 8.1 -> 9.1
which had a wire protocol break).

apache: remove php5-cgi support, always generate php config

Only fastcgi php is supported going forward since suphp has long been
deprecated.

Config.Apache.defaultPhpVersion has been removed; since PhpVersion
will always be specified, there is no reason for domtool not to
explicitly generate config instead of relying on the ambient apache
config to set default handlers for php.

The kerberos/afs fastcgi wrapper is suppressed on non-waklog systems,
but ONLY when php is configured from PhpVersion in the vhost as a
whole; the phpVersion and fastScriptAlias actions don't have access to
the node they are being generated on, and can't detect that waklog is
not supported. Will need to be fixed eventually...

lib: switch from php5 to fast_php by default

cgi based php5 is being removed

domtool-publish: try to grab tokens if aklog is available

sudo on Debian Jessie and later drops tokens (but not kerberos
tickets), make sure to refresh tokens so syncing files from afs
doesn't fail.

lib: add webSsl directive

Allows sharing config between http/https vhosts and optionally can
force https.

bootstrap: install default domtool library when bootstrapping

bootstrap: fix a few more bootstrap bugs

domtool user creation is actually optional for development/testing
builds

ensure build-tree versions of programs are used when bootstrapping to
avoid need to install.

should be possible to run without installing now.

bootstrap: use locally built domtool-config when creating local-root

Was unintentionally calling system-wide domtool-config

bootstrap: include sudoers file for non-hcoop setups

domtool needs sudo for certain scripts to actually publish scripts.

apache: only generate suphp directives when it will be used

suPHP directives should not be added when using fast_php, breaks when
using apache 2.4 with no suphp extension present.

hcoop: allow proxying to marsh

new shell server, members may run proxied daemons here.

hcoop: add minsky as admin web node

Will be needed when mailman is moved to minsky.

hcoop: add new server shelob.hcoop.net

New webserver, to replace navajos.

lib: typo fix

hcoop: enable `minsky' as a mail node for all members

Will not be enabled as MX yet, but ready to receive config

setsa: enable spam checking on admin mail nodes

No reason not to generate the addrs file, if spamassassin is not
installed it has no effect, and we want spam checking if it is.

create files domtool needs to modify as domtool

hcoop: new node `minsky'

Add as admin-only mail node for testing

domtool-publish: ensure mail files exist before using

empty values are ok here, and better than failing

domtool-publish: use `service' instead of `/etc/init.d'

More compatible with sysvinit and systemd

hcoop: rename quag -> marsh

fwtool: fix dns lookups

dig +short actually returns the ip with any cname, recursion bit was
wrong.

firewall: fix generation of outgoing rules on webserver

Was not concatenating domain suffix and was filtered out.

fwtool: filterHosts fixes

* Use FQDN for domtool nodes in case they have IPv6 addresses
* Allow ferm variables in hosts lists (for `$WEBNODES')
* Split 127.0.0.1 and :::1 rules (filterHosts will remove the one we
  don't want)

fwtool: generate rules in primary input/output chain

Using a single chain integrates with Puppet better, allowing it to
manage chains by default and fwtool rules being added to a pair of
explicitly unmanaged chains. If ferm is managing the entire firewall,
there's not much clarity lost over jumping to external user chains.

Adds a comment with the username to input/output rules as
well (missing from input before).

fwtool: initial ipv6 support and puppet integration

Not the prettiest, but it works.

Just duplicates the firewall between ipv4 and ipv6, making sure to
filter out any hostnames that aren't resolvable in each domain.

ProxiedServer doesn't work over IPv6 yet due to nodes not having that
information, will need to be fixed for proxied web services to work.

domtool-publish has a new action, firewallpuppet, that will reload the
firewall for our new setup (and fall back to just reloading ferm on
the current one). Further work is required for puppet; we are purging
unmanaged chains and will need to move all rules into a single chain
instead of jumping to a different chain per user.

fwtool: allow multiple nodes per rule

worker: add runOutput function

similar to shellOutput, but uses Unix.execute directly instead of
using bash, and returns both the return status and any output

domain: export validIpv6 and validIp

hcoop: disable gibran as dns server

server not quite ready

hcoop: new server quag.hcoop.net

Runs fwtool

add new server `gibran'

Enable as DNS server for admins for testing

lib/moin: update for 1.9.9, fix config order

User provided config must go after moin ScriptAlias on "/", otherwise
user aliases will never match.

mail: fix vmailpasswd compilation warnings

config: warn that changing localRoot will not work currently

add bin/ to repository

needed for build to succeed, exclusion was an oversight

create /var/domtool on install

And warn that changing localRoot won't work, yet.

add rules to install systemd units

openssl: fix building with openssl 1.1 and later

Patch provided by Robin Templeton <robin@hcoop.net>

web_apps: don't instantiate php5 in wordPress

interferes with fastcgi / hasn't been needed since the ancient times

apache: improved fastScriptAlias

Implementation using Alias + <Location> proved unworkable -- Apache
has an obnoxious property wherein Aliases are first match and
Locations are last match, causing all sorts of exciting
side-effects (e.g. having to add a `<Location>SetHandler
None</Location>' afterward for any aliases that otherwise would have
matched).

A directory + file match however works and does not cause strange
alias behavior.

Also fix not stripping trailing `/' when setting up wrapper.

apache: pass script to fastcgi wrapper

apache: fix missing newline in fastScriptAlias

apache: Implement fastcgi alias support

New directive `fastScriptAlias from to' works like `scriptAlias' but
using mod_fcgid.

webapps/moin: inject custom config before moin config

In Apache land, first matching alias wins and we're aliasing `/' to
moin so injecting user config after that deprives them of the ability
to customize aliases. Reverse configuration so they stand a chance.

apache: limit php-fastcgi to php

AddHandler to php extensions instead of making the php wrapper the
default mod_fcgid wrapper to avoid weird/insecure behavior.

Also fix `phpVersion' action.

apache: fastcgi config core, implement php5-cgi fastcgi

New fastcgi wrapper configuration to set up environment for user to
run fastcgi scripts.

Implemented support for using fastcgi with php5-cgi using version 6
since it does not exist in the real world. phpFastCgiWrapper is site
specific and should set whatever php environment variables are needed
and exec php5-cgi. This does not work with php-fpm, only old-style
php5-cgi in fastcgi mode with mod_fcgid.

todo: general fastcgi directives

apache: core directive AllowEncodedSlashes

Allow members to set the safe NoDecode mode instead of unequivocally
rejecting URLs with encoded slashes. "On" is not supported because we do
not want to allow encoded urls to access arbitrary directories (not sure
if it's paranoia, but the apache docs discourage it).

https://bugzilla.hcoop.net/show_bug.cgi?id=1220
https://httpd.apache.org/docs/2.2/mod/core.html#allowencodedslashes

hcoop: remove hopper from config

lib: add binding for new notfound mod_rewrite flag

Add 404 to possible redirect codes in mod_rewrite

hcoop: update library defaults

deleuze is no more

Remove deleuze from configuration

mailman: temporarily disable suexec, allow access to public archives

Debian Jessie suexec + mailman aren't playing nicely with each other
-- leave suexec disabled for now. Apache 2.4 also needs "require all
granted" to allow any access to a directory -- added for the public
list archives folder.

doc: correct apache docs link for allow/deny/order

mod_proxy: add retry=0 to ProxyPass

Wheezy's apache will not retry a backend for 60s after two failures,
which results in surprising behavior for members used to the behavior
on previous apache versions.

doc: rename proxy/url to match other modules

autodoc: fix css and image paths to automatically use ssl

hcoop.net is ssl-only now and the css cannot be loaded from
http://. Use a relative path instead.

Fix typo in config

Move mailman to mccarthy.hcoop.net