apache: use HTTP for mod_auth_kerb service principal

HTTP/host is the hardcoded service name that the negotitate auth
method requires, which is why it has never worked here. Switch to the
expected service name going forward.

main: filter _darcs when assembling set of files in .domtool

At least one member is attempting to use darcs to track their config,
make domtool skip _darcs as if it were a dotfile.

hcoop: enable gibran as a dns server

Generate nodes there by default, will become master soon.

lib: add outpost ipv6 address

domtool-public: workaround mailman plugin deficiencies

The mailman plugin only generates mailman_domains.cfg on the server
that also runs the mailman web interface, so there's no way for a
secondary mail server to know which addresses need to be relayed to
the exim server that runs mailman.

Reworking the mailman plugin would be a bit involved, and it's fairly
low priority so work around for now by setting
/var/domtool/mailman_domains.cfg immutable on the affected servers,
and ignoring if the touch during redo_exim() fails.

If/when the plugin is updated, there is a secondary issue of copying
the mailmandb to all nodes since it is generated locally on the
mailman server. Lists could be managed by domtool, or even just a new
command to trigger an rsync of the mailmandb to afs and then to all
mail nodes when lists are changed should work (IIRC, it is only
changed when lists are added or removed).

postgres: rename dbms postgres-9.1 to postgres-9

This will actually be postgres 9.6 now, data is automatically being
migrated as there are no major incompatibilities (unlike 8.1 -> 9.1
which had a wire protocol break).

apache: remove php5-cgi support, always generate php config

Only fastcgi php is supported going forward since suphp has long been
deprecated.

Config.Apache.defaultPhpVersion has been removed; since PhpVersion
will always be specified, there is no reason for domtool not to
explicitly generate config instead of relying on the ambient apache
config to set default handlers for php.

The kerberos/afs fastcgi wrapper is suppressed on non-waklog systems,
but ONLY when php is configured from PhpVersion in the vhost as a
whole; the phpVersion and fastScriptAlias actions don't have access to
the node they are being generated on, and can't detect that waklog is
not supported. Will need to be fixed eventually...

lib: switch from php5 to fast_php by default

cgi based php5 is being removed

domtool-publish: try to grab tokens if aklog is available

sudo on Debian Jessie and later drops tokens (but not kerberos
tickets), make sure to refresh tokens so syncing files from afs
doesn't fail.

lib: add webSsl directive

Allows sharing config between http/https vhosts and optionally can
force https.

bootstrap: install default domtool library when bootstrapping

bootstrap: fix a few more bootstrap bugs

domtool user creation is actually optional for development/testing
builds

ensure build-tree versions of programs are used when bootstrapping to
avoid need to install.

should be possible to run without installing now.

bootstrap: use locally built domtool-config when creating local-root

Was unintentionally calling system-wide domtool-config

bootstrap: include sudoers file for non-hcoop setups

domtool needs sudo for certain scripts to actually publish scripts.

apache: only generate suphp directives when it will be used

suPHP directives should not be added when using fast_php, breaks when
using apache 2.4 with no suphp extension present.

hcoop: allow proxying to marsh

new shell server, members may run proxied daemons here.

hcoop: add minsky as admin web node

Will be needed when mailman is moved to minsky.

hcoop: add new server shelob.hcoop.net

New webserver, to replace navajos.

lib: typo fix

hcoop: enable `minsky' as a mail node for all members

Will not be enabled as MX yet, but ready to receive config

setsa: enable spam checking on admin mail nodes

No reason not to generate the addrs file, if spamassassin is not
installed it has no effect, and we want spam checking if it is.

create files domtool needs to modify as domtool

hcoop: new node `minsky'

Add as admin-only mail node for testing

domtool-publish: ensure mail files exist before using

empty values are ok here, and better than failing

domtool-publish: use `service' instead of `/etc/init.d'

More compatible with sysvinit and systemd

hcoop: rename quag -> marsh

fwtool: fix dns lookups

dig +short actually returns the ip with any cname, recursion bit was
wrong.

firewall: fix generation of outgoing rules on webserver

Was not concatenating domain suffix and was filtered out.

fwtool: filterHosts fixes

* Use FQDN for domtool nodes in case they have IPv6 addresses
* Allow ferm variables in hosts lists (for `$WEBNODES')
* Split 127.0.0.1 and :::1 rules (filterHosts will remove the one we
  don't want)

fwtool: generate rules in primary input/output chain

Using a single chain integrates with Puppet better, allowing it to
manage chains by default and fwtool rules being added to a pair of
explicitly unmanaged chains. If ferm is managing the entire firewall,
there's not much clarity lost over jumping to external user chains.

Adds a comment with the username to input/output rules as
well (missing from input before).

fwtool: initial ipv6 support and puppet integration

Not the prettiest, but it works.

Just duplicates the firewall between ipv4 and ipv6, making sure to
filter out any hostnames that aren't resolvable in each domain.

ProxiedServer doesn't work over IPv6 yet due to nodes not having that
information, will need to be fixed for proxied web services to work.

domtool-publish has a new action, firewallpuppet, that will reload the
firewall for our new setup (and fall back to just reloading ferm on
the current one). Further work is required for puppet; we are purging
unmanaged chains and will need to move all rules into a single chain
instead of jumping to a different chain per user.

fwtool: allow multiple nodes per rule

worker: add runOutput function

similar to shellOutput, but uses Unix.execute directly instead of
using bash, and returns both the return status and any output

domain: export validIpv6 and validIp

hcoop: disable gibran as dns server

server not quite ready

hcoop: new server quag.hcoop.net

Runs fwtool

add new server `gibran'

Enable as DNS server for admins for testing

lib/moin: update for 1.9.9, fix config order

User provided config must go after moin ScriptAlias on "/", otherwise
user aliases will never match.

mail: fix vmailpasswd compilation warnings

config: warn that changing localRoot will not work currently

add bin/ to repository

needed for build to succeed, exclusion was an oversight

create /var/domtool on install

And warn that changing localRoot won't work, yet.

add rules to install systemd units

openssl: fix building with openssl 1.1 and later

Patch provided by Robin Templeton <robin@hcoop.net>

web_apps: don't instantiate php5 in wordPress

interferes with fastcgi / hasn't been needed since the ancient times

apache: improved fastScriptAlias

Implementation using Alias + <Location> proved unworkable -- Apache
has an obnoxious property wherein Aliases are first match and
Locations are last match, causing all sorts of exciting
side-effects (e.g. having to add a `<Location>SetHandler
None</Location>' afterward for any aliases that otherwise would have
matched).

A directory + file match however works and does not cause strange
alias behavior.

Also fix not stripping trailing `/' when setting up wrapper.

apache: pass script to fastcgi wrapper

apache: fix missing newline in fastScriptAlias

apache: Implement fastcgi alias support

New directive `fastScriptAlias from to' works like `scriptAlias' but
using mod_fcgid.

webapps/moin: inject custom config before moin config

In Apache land, first matching alias wins and we're aliasing `/' to
moin so injecting user config after that deprives them of the ability
to customize aliases. Reverse configuration so they stand a chance.

apache: limit php-fastcgi to php

AddHandler to php extensions instead of making the php wrapper the
default mod_fcgid wrapper to avoid weird/insecure behavior.

Also fix `phpVersion' action.

apache: fastcgi config core, implement php5-cgi fastcgi

New fastcgi wrapper configuration to set up environment for user to
run fastcgi scripts.

Implemented support for using fastcgi with php5-cgi using version 6
since it does not exist in the real world. phpFastCgiWrapper is site
specific and should set whatever php environment variables are needed
and exec php5-cgi. This does not work with php-fpm, only old-style
php5-cgi in fastcgi mode with mod_fcgid.

todo: general fastcgi directives

apache: core directive AllowEncodedSlashes

Allow members to set the safe NoDecode mode instead of unequivocally
rejecting URLs with encoded slashes. "On" is not supported because we do
not want to allow encoded urls to access arbitrary directories (not sure
if it's paranoia, but the apache docs discourage it).

https://bugzilla.hcoop.net/show_bug.cgi?id=1220
https://httpd.apache.org/docs/2.2/mod/core.html#allowencodedslashes

hcoop: remove hopper from config

lib: add binding for new notfound mod_rewrite flag

Add 404 to possible redirect codes in mod_rewrite

hcoop: update library defaults

deleuze is no more

Remove deleuze from configuration

mailman: temporarily disable suexec, allow access to public archives

Debian Jessie suexec + mailman aren't playing nicely with each other
-- leave suexec disabled for now. Apache 2.4 also needs "require all
granted" to allow any access to a directory -- added for the public
list archives folder.

doc: correct apache docs link for allow/deny/order

mod_proxy: add retry=0 to ProxyPass

Wheezy's apache will not retry a backend for 60s after two failures,
which results in surprising behavior for members used to the behavior
on previous apache versions.

doc: rename proxy/url to match other modules

autodoc: fix css and image paths to automatically use ssl

hcoop.net is ssl-only now and the css cannot be loaded from
http://. Use a relative path instead.

Fix typo in config

Move mailman to mccarthy.hcoop.net

don't complain about $user.daemon missing a domtool dir

Not committed to this yet, but current hcoop.daemon exists with no
path or other permissions simply to allow queries to domtool and
management of vmail accounts. Ignore lack of .domtool directory.

Enable mccarthy as mailnode for all users

Set fritz as default DNS master, make deleuze a default slave

ns1.hcoop.net is moving to fritz, set as default internalMaster. Keep
deleuze as a default slave for transition as some members are using
deleuze.hcoop.net at their registrar.

Add mccarthy, enable for mail use by users with priv mail

systemd service files for server/slave

Welcome to the future, whether we like or not.

Service files should provide functionality similar to the current init
scripts. Current no service monitoring is implemented (if possible,
regularly `domtool-admin ping'ing service and restarting if no response
would be nice).

/var/log/domtool.log is gone, replaced by use of the system journal.

Add ProxyPreserveHost apache directive
* Link other proxy directives to apache docs while I'm at it.

Add fritz as a dns node and enable as a slave

Master DNS will be moving to fritz in the near future.

Update proxy.dtl with new proxy_reverse_target type

Release

Support ! as a ProxyPass target

Reported by notd, ProxyPass can take ! to indicate not to proxy
anything under a path. Split proxy_target and proxy_reverse_target
types since ProxyPassReverse does not allow ! as a target.

Release

portal: return success/failure of changing vmail password

I hear it's useful to tell the difference between failure and success.

Release

apt: Handle Description-en replacing Description in apt-cache output

Ideally we'd care about languages other than English, but this works.

Release

reset error state before generating basis library

Errors occuring during publishing in the dispatcher can leak into the
next run. Reset the error state in basis to avoid returning an empty
basis library now that it is evaluated at each MsgConfig.

This may be the wrong solution -- not sure why errors get to hang
around after a run anyway.

scripts: Fix lazy chown syntax

user.group doesn't work when user has a dot in it. Use : in
domtool-addcert, and update other scripts for consistency.

vmailpasswd: fix bad interpreter

portal: Use readLine and not getPass when stdin is not a terminal

It is way harder than neccessary to make the portal call
domtool-portal when it spews output. Just assume input produced via a
pipe is from a program that knows what it is doing.

client: function to check if stdin is a tty

Client.getPass: catch syserror inval when detecting non-tty use

libc in Debian before Jessie returns einval instead of enotty

Remove mccarthy as node before release

It's not actually ready yet, and we have to release now.

Change DefaultAliasSource to $user@hcoop.net, add defaultMailUser extern

 * The type checker can be annoying, but I am not capable of the feats
   of hacking required to make it expand externs at type checking
   time (nor am I certain that's even a good idea)
 * Feature idea: allow binding a name passed to registerFunction in
   multiple `extern val' declarations. Extern already assumes the
   extern will be correctly type, so there's no additional peril.

Client.getpass: allow use on non-tty devices

Warn user the password will be echoed just in case. This allows
getpass to be used with input piped to it (e.g. from the hcoop members
portal).

Add vmail command for changing password when you know the current password

Not 100% sure if this the best way, but the members portal was tied to
*the* mail node, which is not good to begin with, and breaks when
there are multiple mail nodes.

 * Replaces vmailpasswd.c, which is an awful program (passed password on
   the command line revealing it to `ps' and only supports a local
   filesystem userdb).
 * Restricted to users with the priv `vmail' for now, and only used by
   the portal. Not much worth in exposing generally it seems (vmail
   users cannot login to any shell machines, at least at hcoop)
 * Includes helper python program to run crypt() (better than C at
   least...)
 * New function to parse the userdb into a StringMap (a better
   approach is possible, similar to the Vmail.list). Will be used to
   compile the database for Dovecot later.
 * New binary `domtool-portal' to expose replacement vmailpasswd command

Manage spamassassin preferences in shared space

Disentangle vmail from the mail node, Prepare for dovecot support

* Use new Slave.run and Connect.commandWorker where possible
* Always reload vmail db in worker, never in dispatcher
* Move non-courier-specific configuration variables to Config.Vmail.
  The master userdb is still managed using courier-authlib-userdb.
* Manage vmail db in afs, syncing as needed.

domtool-config: print errors on stderr, return failure code, export vmaildb

Slave.run: run a command using Unix.execute

Similar to Slave.shell, only it passes the arguments list directly to
Unix.execute.

Connection utilities (or: copying and pasting code is bad)

Finally get around to factoring out functions to connect to the
dispatcher, connect to a worker, and send a "simple" message to
workers (one where MsgOk/MsgError are the only valid replies).

mod_auth_kerb: Enabled KDC Verification and Negotiate

Every <Location> that enables kerberos auth has to include the
keytab/service declarations. Since we're verifying the KDC, allow
gssapi negotiate.

Add mccarthy as admin web server and mail node

New `make install_serverslave' target, don't use sudo in make install_{server,slave}

The dispatcher node is likely also running a worker node, and both
must be stopped before installation or else one of them segfaults when
its binary is overwritten.

Fix domtool-addcert for when user running is not in `wheel'

Domtool on deleuze assumed admin users would be in group
`wheel'. This is no longer true. Instead, make the CA readable only by
root, generate the new keys and certs into a non-afs temp directory,
and then move everything into afs afterward.

Unify web_node/default_node, and provide a default for WebPlaces