Don't send DNS info to servers that don't run DNS daemons
[hcoop/domtool2.git] / src / domain.sml
index 642f71c..82367ce 100644 (file)
@@ -27,6 +27,7 @@ structure SS = DataStructures.StringSet
 
 val ssl_context = ref (NONE : OpenSSL.context option)
 fun set_context ctx = ssl_context := SOME ctx
+fun get_context () = valOf (!ssl_context)
 
 val nodes = map #1 Config.nodeIps
 val nodeMap = foldl (fn ((node, ip), mp) => SM.insert (mp, node, ip))
@@ -35,6 +36,8 @@ fun nodeIp node = valOf (SM.find (nodeMap, node))
 
 val usr = ref ""
 fun getUser () = !usr
+val fakePrivs = ref false
+val isClient = ref false
 
 val your_doms = ref SS.empty
 fun your_domains () = !your_doms
@@ -48,8 +51,11 @@ fun your_groups () = !your_grps
 val your_pths = ref SS.empty
 fun your_paths () = !your_pths
 
+val your_ipss = ref SS.empty
+fun your_ips () = !your_ipss
+
 val world_readable = SS.addList (SS.empty, Config.worldReadable)
-val readable_pths = ref SS.empty
+val readable_pths = ref world_readable
 fun readable_paths () = !readable_pths
 
 fun setUser user =
@@ -59,6 +65,7 @@ fun setUser user =
        val your_paths = Acl.class {user = getUser (),
                                    class = "path"}
     in
+       fakePrivs := false;
        your_doms := Acl.class {user = getUser (),
                                class = "domain"};
        your_usrs := Acl.class {user = getUser (),
@@ -66,40 +73,80 @@ fun setUser user =
        your_grps := Acl.class {user = getUser (),
                                class = "group"};
        your_pths := your_paths;
-       readable_pths := SS.union (your_paths, world_readable)
+       readable_pths := SS.union (your_paths, world_readable);
+       your_ipss := Acl.class {user = getUser (),
+                               class = "ip"}
     end
 
+fun declareClient () = isClient := true
+fun fakePrivileges () = if !isClient then
+                           fakePrivs := true
+                       else
+                           raise Fail "Tried to fake privileges as non-client"
+
 fun validIp s =
     case map Int.fromString (String.fields (fn ch => ch = #".") s) of
        [SOME n1, SOME n2, SOME n3, SOME n4] =>
        n1 >= 0 andalso n1 < 256 andalso n2 >= 0 andalso n2 < 256 andalso n3 >= 0 andalso n3 < 256 andalso n4 >= 0 andalso n4 < 256
       | _ => false
 
+fun isHexDigit ch = Char.isDigit ch orelse (ord ch >= ord #"a" andalso ord ch <= ord #"f")
+
+fun validIpv6 s =
+    let
+       val fields = String.fields (fn ch => ch = #":") s
+
+       val empties = foldl (fn ("", n) => n + 1
+                             | (_, n) => n) 0 fields
+
+       fun noIpv4 maxLen =
+           length fields >= 2
+           andalso length fields <= maxLen
+           andalso empties <= 1
+           andalso List.all (fn "" => true
+                              | s => size s <= 4
+                                     andalso CharVector.all isHexDigit s) fields
+
+       fun hasIpv4 () =
+           length fields > 0
+           andalso
+           let
+               val maybeIpv4 = List.last fields
+               val theRest = List.take (fields, length fields - 1)
+           in
+               validIp maybeIpv4 andalso noIpv4 6
+           end
+    in
+       noIpv4 8 orelse hasIpv4 ()
+    end
+
 fun isIdent ch = Char.isLower ch orelse Char.isDigit ch
 
 fun validHost s =
-    size s > 0 andalso size s < 20
+    size s > 0 andalso size s < 50
     andalso CharVector.all (fn ch => isIdent ch orelse ch = #"-") s
 
 fun validDomain s =
-    size s > 0 andalso size s < 100
+    size s > 0 andalso size s < 200
     andalso List.all validHost (String.fields (fn ch => ch = #".") s)
 
 fun validNode s = List.exists (fn s' => s = s') nodes
 
-fun yourDomain s = SS.member (your_domains (), s)
+fun yourDomain s = !fakePrivs orelse SS.member (your_domains (), s)
 fun yourUser s = SS.member (your_users (), s)
 fun yourGroup s = SS.member (your_groups (), s)
 fun checkPath paths path =
-    List.all (fn s => s <> "..") (String.fields (fn ch => ch = #"/") path)
-    andalso CharVector.all (fn ch => Char.isAlphaNum ch orelse ch = #"." orelse ch = #"/"
-                                    orelse ch = #"-" orelse ch = #"_") path
-    andalso SS.exists (fn s' => path = s' orelse String.isPrefix (s' ^ "/") path) (paths ())
+    (List.all (fn s => s <> "..") (String.fields (fn ch => ch = #"/") path)
+     andalso CharVector.all (fn ch => Char.isAlphaNum ch orelse ch = #"." orelse ch = #"/"
+                                     orelse ch = #"-" orelse ch = #"_") path
+     andalso SS.exists (fn s' => path = s' orelse String.isPrefix (s' ^ "/") path) (paths ()))
 val yourPath = checkPath your_paths
 val readablePath = checkPath readable_paths
+fun yourIp s = !fakePrivs orelse SS.member (your_ips (), s)
 
 fun yourDomainHost s =
-    yourDomain s
+    !fakePrivs
+    orelse yourDomain s
     orelse let
        val (pref, suf) = Substring.splitl (fn ch => ch <> #".") (Substring.full s)
     in
@@ -131,12 +178,16 @@ val _ = Env.type_one "no_spaces"
 val _ = Env.type_one "no_newlines"
                     Env.string
                     (CharVector.all (fn ch => Char.isPrint ch andalso ch <> #"\n" andalso ch <> #"\r"
-                                              andalso ch <> #"\"" andalso ch <> #"'"))
+                                              andalso ch <> #"\""))
 
 val _ = Env.type_one "ip"
        Env.string
        validIp
 
+val _ = Env.type_one "ipv6"
+       Env.string
+       validIpv6
+
 val _ = Env.type_one "host"
        Env.string
        validHost
@@ -177,10 +228,22 @@ val _ = Env.type_one "readable_path"
        Env.string
        readablePath
 
+val _ = Env.type_one "your_ip"
+       Env.string
+       yourIp
+
 val _ = Env.type_one "node"
        Env.string
        validNode
 
+val _ = Env.type_one "mime_type"
+       Env.string
+       (CharVector.exists (fn ch => ch = #"/"))
+
+val _ = Env.registerFunction ("your_ip_to_ip",
+                             fn [e] => SOME e
+                              | _ => NONE)
+
 val _ = Env.registerFunction ("dns_node_to_node",
                              fn [e] => SOME e
                               | _ => NONE)
@@ -188,10 +251,22 @@ val _ = Env.registerFunction ("dns_node_to_node",
 val _ = Env.registerFunction ("mail_node_to_node",
                              fn [e] => SOME e
                               | _ => NONE)
+
+
 open Ast
 
 val dl = ErrorMsg.dummyLoc
 
+val _ = Env.registerFunction ("end_in_slash",
+                             fn [(EString "", _)] => SOME (EString "/", dl)
+                              | [(EString s, _)] =>
+                                SOME (EString (if String.sub (s, size s - 1) = #"/" then
+                                                   s
+                                               else
+                                                   s ^ "/"), dl)
+                              | _ => NONE)
+
+
 val nsD = (EString Config.defaultNs, dl)
 val serialD = (EVar "serialAuto", dl)
 val refD = (EInt Config.defaultRefresh, dl)
@@ -207,7 +282,8 @@ val masterD = (EApp ((EVar "internalMaster", dl),
                     (EString Config.masterNode, dl)),
               dl)
 
-val slavesD = (EList (map (fn s => (EString s, dl)) Config.slaveNodes), dl)
+val slavesD = (EList (map (fn s => (EString s, dl))
+                         (List.filter (fn x => List.exists (fn y => y = x) (Config.dnsNodes_all @ Config.dnsNodes_admin)) Config.slaveNodes)), dl)
 
 val _ = Defaults.registerDefault ("Aliases",
                                  (TList (TBase "your_domain", dl), dl),
@@ -403,7 +479,7 @@ datatype file_action' =
        | Delete' of string
        | Modify' of {src : string, dst : string}
 
-fun findDiffs (site, dom, acts) =
+fun findDiffs (prefixes, site, dom, acts) =
     let
        val gp = getPath dom
        val realPath = gp (Config.resultRoot, site)
@@ -431,8 +507,10 @@ fun findDiffs (site, dom, acts) =
                            loopReal acts
                        else
                            loopReal ((site, dom, realPath, Modify' {src = tmp, dst = real}) :: acts)
-                   else
+                   else if List.exists (fn prefix => String.isPrefix prefix real) prefixes then
                        loopReal ((site, dom, realPath, Delete' real) :: acts)
+                   else
+                       loopReal acts
                end
 
        val acts = loopReal acts
@@ -463,7 +541,7 @@ fun findDiffs (site, dom, acts) =
        acts
     end
 
-fun findAllDiffs () =
+fun findAllDiffs prefixes =
     let
        val dir = Posix.FileSys.opendir Config.tmpDir
        val len = length (String.fields (fn ch => ch = #"/") Config.tmpDir) + 1
@@ -495,7 +573,7 @@ fun findAllDiffs () =
                                                                                        file = name}
                                                  in
                                                      explore (dname',
-                                                              findDiffs (site, dom, diffs))
+                                                              findDiffs (prefixes, site, dom, diffs))
                                                  end
                                              else
                                                  diffs)
@@ -516,10 +594,14 @@ fun findAllDiffs () =
 val masterNode : string option ref = ref NONE
 fun dnsMaster () = !masterNode
 
+val seenDomains : string list ref = ref []
+
 val _ = Env.containerV_one "domain"
                           ("domain", Env.string)
                           (fn (evs, dom) =>
                               let
+                                  val () = seenDomains := dom :: !seenDomains
+
                                   val kind = Env.env dnsKind (evs, "DNS")
                                   val ttl = Env.env Env.int (evs, "TTL")
                                   val aliases = Env.env (Env.list Env.string) (evs, "Aliases")
@@ -533,7 +615,7 @@ val _ = Env.containerV_one "domain"
 
                                   fun saveSoa (kind, soa : soa) node =
                                       let
-                                          val {write, writeDom, close} = domainsFile {node = node, name = "soa"}
+                                          val {write, writeDom, close} = domainsFile {node = node, name = "soa.conf"}
                                       in
                                           write kind;
                                           write "\n";
@@ -579,7 +661,10 @@ val _ = Env.containerV_one "domain"
                                                                write "\t};\n")
                                                 | _ => (write "\tmasters { ";
                                                         write masterIp;
-                                                        write "; };\n");
+                                                        write "; };\n";
+                                                        write "// Updated: ";
+                                                        write (Time.toString (Time.now ()));
+                                                        write "\n");
                                               write "};\n";
                                               close ()
                                           end
@@ -608,7 +693,8 @@ val _ = Env.containerV_one "domain"
                               end,
                            fn () => !afters (!current))
 
-val () = Env.registerPre (fn () => (ignore (Slave.shellF ([Config.rm, " -rf ", Config.tmpDir, ""],
+val () = Env.registerPre (fn () => (seenDomains := [];
+                                   ignore (Slave.shellF ([Config.rm, " -rf ", Config.tmpDir, ""],
                                                       fn cl => "Temp file cleanup failed: " ^ cl));
                                    OS.FileSys.mkDir Config.tmpDir;
                                    app (fn node => OS.FileSys.mkDir
@@ -629,10 +715,10 @@ fun handleSite (site, files) =
        if site = Config.defaultNode then
            Slave.handleChanges files
        else let
-               val bio = OpenSSL.connect (valOf (!ssl_context),
-                                          nodeIp site
-                                          ^ ":"
-                                          ^ Int.toString Config.slavePort)
+               val bio = OpenSSL.connect true (valOf (!ssl_context),
+                                               nodeIp site
+                                               ^ ":"
+                                               ^ Int.toString Config.slavePort)
            in
                app (fn file => Msg.send (bio, MsgFile file)) files;
                Msg.send (bio, MsgDoFiles);
@@ -652,7 +738,18 @@ fun handleSite (site, files) =
 
 val () = Env.registerPost (fn () =>
                              let
-                                 val diffs = findAllDiffs ()
+                                 val prefixes = List.concat
+                                                    (List.map (fn dom =>
+                                                                  let
+                                                                      val pieces = String.tokens (fn ch => ch = #".") dom
+                                                                      val path = String.concatWith "/" (rev pieces)
+                                                                  in
+                                                                      List.map (fn node =>
+                                                                                   Config.resultRoot ^ "/" ^ node ^ "/" ^ path ^ "/")
+                                                                               nodes
+                                                                  end) (!seenDomains))
+                                                                 
+                                 val diffs = findAllDiffs prefixes
 
                                  val diffs = map (fn (site, dom, dir, Add' {src, dst}) =>
                                                      (Slave.shellF ([Config.cp, " ", src, " ", dst],
@@ -667,7 +764,7 @@ val () = Env.registerPost (fn () =>
                                                       handle OS.SysErr _ =>
                                                              ErrorMsg.error NONE ("Delete failed for " ^ dst);
                                                       (site,
-                                                       {action = Slave.Delete,
+                                                       {action = Slave.Delete true,
                                                         domain = dom,
                                                         dir = dir,
                                                         file = dst}))
@@ -715,11 +812,11 @@ val _ = Env.type_one "mail_node"
            orelse (hasPriv "mail"
                    andalso List.exists (fn x => x = node) Config.mailNodes_admin))
 
-fun rmdom doms =
+fun rmdom' delete resultRoot doms =
     let
        fun doNode (node, _) =
            let
-               val dname = OS.Path.joinDirFile {dir = Config.resultRoot,
+               val dname = OS.Path.joinDirFile {dir = resultRoot,
                                                 file = node}
 
                fun doDom (dom, actions) =
@@ -743,18 +840,18 @@ fun rmdom doms =
                                                loop (visitDom (fname ^ "." ^ dom,
                                                                fnameFull,
                                                                actions))
-                                           else                                                        
-                                               loop ({action = Slave.Delete,
-                                                      domain = dom,
-                                                      dir = dname,
-                                                      file = fnameFull} :: actions)
+                                           else                        
+                                                loop ({action = Slave.Delete delete,
+                                                       domain = dom,
+                                                       dir = dname,
+                                                       file = fnameFull} :: actions)
                                        end
                            in
                                loop actions
                                before Posix.FileSys.closedir dir
                            end
-                               handle OS.SysErr _ =>
-                                      (print ("Warning: System error deleting domain " ^ dom ^ " on " ^ node ^ ".\n");
+                               handle OS.SysErr (s, _) =>
+                                      (print ("Warning: System error deleting domain " ^ dom ^ " on " ^ node ^ ": " ^ s ^ "\n");
                                        actions)
                    in
                        visitDom (dom, dname, actions)
@@ -771,11 +868,14 @@ fun rmdom doms =
                fun doDom dom =
                    let
                        val domPath = String.concatWith "/" (rev (String.fields (fn ch => ch = #".") dom))
-                       val dname = OS.Path.joinDirFile {dir = Config.resultRoot,
+                       val dname = OS.Path.joinDirFile {dir = resultRoot,
                                                         file = node}
                        val dname = OS.Path.concat (dname, domPath)
                    in
-                       ignore (OS.Process.system (Config.rm ^ " -rf " ^ dname))
+                       if delete then
+                           ignore (OS.Process.system (Config.rm ^ " -rf " ^ dname))
+                       else
+                           ()
                    end
            in
                app doDom doms
@@ -785,6 +885,9 @@ fun rmdom doms =
        app cleanupNode Config.nodeIps
     end
 
+val rmdom = rmdom' true Config.resultRoot
+val rmdom' = rmdom' false
+
 fun homedirOf uname =
     Posix.SysDB.Passwd.home (Posix.SysDB.getpwnam uname)
 
@@ -856,7 +959,7 @@ fun considerAll ds {node, domain} =
                                     case d of
                                         Filename {filename, heading, showEmpty} =>
                                         if fname = filename then
-                                            entries := readFile showEmpty ("\n" :: line :: ":\n" :: heading :: line :: !entries)
+                                            entries := readFile showEmpty ("\n" :: line :: "\n" :: heading :: line :: !entries)
                                         else
                                             ()
                                       | Extension {extension, heading} =>
@@ -867,7 +970,7 @@ fun considerAll ds {node, domain} =
                                                 NONE => ()
                                               | SOME extension' =>
                                                 if extension' = extension then
-                                                    entries := readFile true ("\n" :: line :: ":\n" :: heading base :: line :: !entries)
+                                                    entries := readFile true ("\n" :: line :: "\n" :: heading base :: line :: !entries)
                                                 else
                                                     ()
                                         end
@@ -882,8 +985,25 @@ fun considerAll ds {node, domain} =
            ""
     end
 
-val () = registerDescriber (considerAll [Filename {filename = "soa",
-                                                  heading = "DNS SOA",
+val () = registerDescriber (considerAll [Filename {filename = "soa.conf",
+                                                  heading = "DNS SOA:",
                                                   showEmpty = false}])
 
+val () = Env.registerAction ("domainHost",
+                            fn (env, [(EString host, _)]) =>
+                               SM.insert (env, "Hostname",
+                                          (EString (host ^ "." ^ currentDomain ()), dl))
+                             | (_, args) => Env.badArgs ("domainHost", args))
+
+val ouc = ref (fn () => ())
+
+fun registerOnUsersChange f =
+    let
+       val f' = !ouc
+    in
+       ouc := (fn () => (f' (); f ()))
+    end
+
+fun onUsersChange () = !ouc ()
+
 end