Merge pull request #532 from dubek/vhdl-fix-defmacro

vhdl: Fix defmacro! so it doesn't modify existing functions

Merge pull request #535 from dubek/vimscript-fix-defmacro

vimscript: defmacro! doesn't modify existing functions

Merge pull request #538 from dubek/ts-fixes

typescript: Upgrade to 4.0.3 + soft-failure fixes

Merge pull request #537 from dubek/tcl-soft-fixes

tcl: Soft failure fixes

ts: defmacro! doesn't modify existing functions

ts: Fix (keyword) of keywords

ts: Upgrade to TypeScript 4.0.3

This required one code change in the name of the encoding passed to
`fs.readFileSync`.

tcl: defmacro! doesn't modify existing functions

tcl: Fix (keyword) of keywords

vhdl: defmacro! doesn't modify existing functions

vimscript: defmacro! doesn't modify existing functions

Merge pull request #530 from mpritham/master

Fix typos in step 7 - quoting

Fix 2 additional typos

Fix typo in step 7.

Merge pull request #529 from harryvederci/patch-2

Fix path to common lisp readme.

Fix path to common lisp readme.

Merge pull request #401 from asarhaddon/quasiquote

New soft tests, quasiquote algorithm described at  #103 on some impls.

Change quasiquote algorithm

- Add a `vec` built-in function in step7 so that `quasiquote` does not
  require `apply` from step9.
- Introduce quasiquoteexpand special in order to help debugging step7.
  This may also prepare newcomers to understand step8.
- Add soft tests.
- Do not quote numbers, strings and so on.

Should ideally have been in separate commits:
- elisp: simplify and fix (keyword :k)
- factor: fix copy/paste error in let*/step7, simplify eval-ast.
- guile: improve list/vector types
- haskell: revert evaluation during quasiquote
- logo, make: cosmetic issues

ada.2: typo

Fix (keyword :k) on erlang and fsharp

Improve answer to exercises

The identity function is not used in the answers.
Sort list, prn, hash-map by increasing difficulty.
Fix indentation consistency in concat.
Avoid using the same identifier twice.
In do3, make explicit that acc is not used.
In _quasiquote_iter, call the tested quasiquote2 instead of the original quasiquote.
In the quoting section, add foldr_pairs to hide recursions.
The compose function is not used in the answers.

Add link to glisp project.

Self-bootstrapping graphic design tool on Lisp (a TypeScript mal
implementation)

Merge pull request #519 from dubek/fix-ruby-keyword

ruby: (keyword :abc) should just return same keyword

Merge pull request #518 from oilshell/dev/andy

impls/bash: Minor changes to make it run under OSH

ruby: (keyword :abc) should just return same keyword

impls/bash: Minor changes to make it run under OSH

OSH is a bash-compatible shell: https://www.oilshell.org/

reader.sh:

- Put the constant regex pattern in a string literal.  This simplifies
  it by removing mixed regex vs. shell quoting, and implicit
  concatenation with $'\n'.

  This is suggested by the bash manual:
  https://www.gnu.org/software/bash/manual/bash.html#Conditional-Constructs

  "Storing the regular expression in a shell variable is often a useful
  way to avoid problems with quoting characters that are special to the
  shell."

- Initialize __reader_tokens as an array, not a string.

  https://www.oilshell.org/release/0.8.pre6/doc/known-differences.html#values-are-tagged-with-types-not-cells

env.sh:

Simplify quoting in 'eval' expressions.  This quotes associative array keys,
which is required by OSH to avoid dynamic parsing.

  https://www.oilshell.org/release/0.8.pre6/doc/known-differences.html#strings-vs-bare-words-in-array-indices
  http://www.oilshell.org/blog/2016/10/20.html

core.sh:

Quote associative array keys.  '<' and '>' are shell operators and OSH doesn't
have a special case when inside [].

----

With this change, OSH can run tests just like bash, e.g.:

$ osh impls/bash/stepA_mal.sh tests/step4_if_fn_do.mal

----

Test results are the same before and after this change:

$ NO_DOCKER=1 ./.travis_test.sh test bash

FAILURES:
SOFT FAILED TEST (line 295): (f (+ 1 1)) -> ['',true]:
    Expected : '.*\ntrue'
    Got      : '(f (+ 1 1))\nfalse'

TEST RESULTS (for ../tests/stepA_mal.mal):
    1: soft failing tests
    0: failing tests
  106: passing tests
  107: total tests

Remove "conj" from step9_try image.

It was already removed from the gliffy source but the export hadn't
been updated.

runtest-old.py: remove unused backup version

Merge pull request #497 from alimpfard/xslt

XSLT impl

README: Add XSLT and bump up counters

XSLT: Use blocking reads instead of a polling thread

Merge pull request #515 from bjh21/bjh21-runtest-timeout

runtest: Treat test timeouts as fatal

runtest: Treat test timeouts as fatal

If a test times out, that means it hasn't returned a prompt within
reasonable time.  Continuing to type at it is unlikely to be helpful,
since the lack of a prompt indicates that the subprocess has hung, so
subsequent tests are likely to time out as well.

This is particularly annoying in step 5, where the line that usually
times out, "(def! res2 (sum2 10000 0))" has its output ignored, so a
timeout is treated as success, meaning that runtest proceeds to the next
test, which of course also times out.

XSLT impl: Limit jvm memory to 2GB

Break some lines to make the code more readable

only print last result if in repl

no more infinite boot times!

move the repl inside XSLT itself, as a result, we'll exit the repl
after 100000000 iterations, but...that's probably enough for a lot
of things

attempt to speed execution up

by booting up multiple instancees of saxon, waiting for a signal
This doesn't really help much, since most of our tests are very small
however, it does lower the overall boot time (assuming travis can do
real concurrency)

...add default target back :facepalm:

I'm sorry, travis....

makefile tweak to avoid failure~

eliminate unnecessary env serialisations

gains about 40% performance (on average?)

format all xslt files

remove irrelevant comment

we can now self-host :tada:

try to avoid spammy "No such file or directory" errors

it doesn't happen on my machine, not sure why it does that

we can now self-host...almost

Atoms still need some ironing out, something is not updating them
properly
Also unknown is an issue where `def!` is not updating the env, probably
related to the above problem

apply @kanaka's patch to Dockerfile

add xslt to build matrix :facepalm:

Merge pull request #514 from alimpfard/jq-fix

Jq: Fix our share of #513

Jq: Fix our share of #513

Merge pull request #512 from bjh21/bjh21-step2-empties

Step 2: Test empty vectors and hash-maps

yorick: Fix evaluation of empty vectors in steps 2 and 3

This is achieved simply by propagating the code to detect empty vectors
(and lists, though I suspect that is unused) back from step 4 to the
earlier steps.

Step 2: Test empty vectors and hash-maps

An empty vector or hash-map should evaluate to itself, but I reached
the test of (empty? []) in step 4 before I discovered that I'd got []
evaluating to 0.  Add tests for both cases to step 2.

add a dockerfile with saxon in it

be more spec-compatible with readline

add 'xpath-eval', and fix most running issues

- step7 still has the replEnv-values-are-not-captured issue

fix (fn? +) ;=> false

oops.

rebase to kanaka/mal

generate perf analysis

fix previous env issue

perf tests run, still can't self-host

impl everything, passes tests, has some weird bug with eval

- investigate the case where (eval ...) loses the entire env

Implement step9 fully. pass all tests~

Finish step8

Issue: yanking out the replEnv from closures has an adverse effect in
that symbols meant to be captured from it will not be captured
We could get around this by copying all the used symbols, but
find-all-lexically-bound-symbols is quite complex

fix in-file step name

implement step7-quote

remove debug function

impl step6

separate replEnv from function environments, so as to decrease base size
(state size is still O(2^n))

impl step4, fix string parsing

print functions as #<fn name>

impl step3 fully. passes all tests

handle vectors and hashmaps

impl step2, remove interleaved calls in READ/EVAL/PRINT

start step2-eval

pass all step1 tests

add reader macros

complete required functionality for step1

starting xslt impl

Merge pull request #510 from bjh21/bjh21-runtest-simpler

Simplify runtest.py's input handling

runtest: Strip CR on input

Implementations don't generally deliberately emit CR, so any CR we see
was introduced either by the host language runtime or the OS terminal
driver, neither of which we're trying to test.

runtest: Don't worry about how implementation echoes input

Some of the complexity of runtest is in the way that it insists on
checking whether the implementation managed to echo its input line
correctly.  This isn't really an important part of the implementation,
though, and when using friendly line-editing libraries the echoing can
often end up containing escape sequences.  Simplify things by just
assuming that anything up to the first newline is our input being echoed
back.

This also means that various pre-processing of input is no longer
required.

Merge pull request #506 from gabrielmadruga/master

Update and fixes for the lua implementation.

Merge pull request #508 from bjh21/bjh21-throwtests

Add tests for nested exception handlers

Merge pull request #509 from bjh21/bjh21-ps-catch

ps: Fix handling of exceptions thrown from `catch*` clause

ps: Fix handling of exceptions thrown from catch* clause

PostScript's exception handling doesn't restore the dictionary or
operand stacks to the state they were in when the "stopped" operator
started, so mal's EVAL needs to do that itself.  To do this, it records
the current height of the stacks, but of course it does that in a
dictionary.  This means that when catching at exception, it relies on
the highest instance of "dictcnt" on the dictionary stack being the
correct one.  EVAL, however, was failing to restore the dictionary stack
at the right time.

For instance, conside this code (from the tests):

  (try* (try* (throw "e1") (catch* e (throw "e2"))) (catch* e "c2"))

Each "try*" clause saves "dictcnt" into a dictionary on the dictionary
stack.  When the inner "catch*" clause fires, it pops the dictionary and
operand stacks to the correct point, but then calls the second "throw"
with the wrong value of "dictcnt" still visible.  The result is that the
"catch*" clause ends up running with the wrong value of "dictcnt" and
restoring the stacks to the wrong place, essentially executing the
_inner_ "catch*" clause again, whereupon the error doesn't get caught
because there's no "stopped" left on the PostScript execution stack.

The fix is to add another dictionary that's just used to hold "dictcnt"
and "stackcnt", and to pop that from the dictionary stack as soon as the
stacks have been restored (or when it becomes unnecessary because the
"try*" clause has returned normally).

Add tests for nested exception handlers

When implementing exceptions on top of longjmp() or similar, it's
necessary to make sure that exception handlers get properly restored
after the try* clause, and none of the existing step 9 tests covered
this.

There are two cases covered here: throwing an exception after a
successful try*, and throwing and exception from within a catch*.  In
both cases we make sure that an outer catch* does its job.

Change os.clock multiplier, update Dockerfile to use lua 5.3.5.5

Merge pull request #505 from bjh21/bjh21-test-readatom

Step 6: Test read-string of a single atom at the end of input

Update README.md

Change \177 to \u{029e}, correctly define keyword, change loadstring to load

Add lrexlib-pcre through luarocks.

Remove usage of socket

Lua Makefile improvements.
Clean lib folder, and find linenoise.so.

Step 6: Test read-string of a single atom at the end of input

All of the other read-string tests test forms whose end can be detected
before the end of the input string, either because they're naturally
self-terminating (lists, strings) or because there's white space after
them.  All of the uses of the reader from the REPL are similarly likely
to have input with a newline or similar at the end.

My BCPL implementation turned out to read one character past the end of
the input when the input ended inside an atom, and to incorporate that
one byte into the output.  The consequences of a buffer over-read are a
little unpredictable, so I've just written a test that was good enough
to catch the bug for me.

Merge pull request #502 from maniaphobic/master

Correct a trivial typographical error in the guide

Correct a trivial typographical error in the guide

I corrected "you implementation" to "your implementation".

Revert accidentally pushed close_fds experiment

Move implementations into impls/ dir

- Reorder README to have implementation list after "learning tool"
  bullet.

- This also moves tests/ and libs/ into impls. It would be preferrable
  to have these directories at the top level.  However, this causes
  difficulties with the wasm implementations which need pre-open
  directories and have trouble with paths starting with "../../". So
  in lieu of that, symlink those directories to the top-level.

- Move the run_argv_test.sh script into the tests directory for
  general hygiene.

DEBUG re-enable (REMOVE ME).

DISABLE FDs (REMOVE ME).