Skip to content

Instawards · Week 4

Latest

Choose a tag to compare

@academiaseul academiaseul released this 13 Nov 00:54
· 10 commits to main since this release
4aa7a88

Week 4 changelog, as of Thu 12 Nov 2026, 21:03 Chile time. English is the official text; la versión en español está más abajo. It goes into CHANGELOG.md when the run ends on Tue 17 Nov.

Week 4 — 9 to 13 November 2026

Summary

This week the seven-day live run started on Stellar testnet, one day later than planned, and so far every hour has been judged and anchored. On Mon 9 Nov tests A–D and the independence test passed on a fresh 2/2/3 rehearsal account (PR #66). The stand-in drill and the kill tests were not done, and both founders decided to go anyway (PR #67). The run started by itself on Tue 10 Nov at 00:00 Chile time (03:00 UTC), from commit 9ee4646 (tag code-freeze); the day's delay is deviation DV-12 (PR #65). It ends on Tue 17 Nov at 00:00. By Thu 12 Nov at 21:03 Chile time, all 69 hourly batches had been anchored on the run's 2-of-3 account, each signed by the proposer and the verifier, and the reconciliation read RECONCILED. 12 five-minute intervals had been refused, every one of them on the list published before the run, including the first two injected faults, F01 and F02. The reconciliation page on qwatt.org now opens the run by itself (PR #69). We also corrected our own record: the verifier stop of Mon 9 Nov, before the start, was a manual stop made by mistake (PR #70). On Thu 12 Nov a Windows update restarted the Linux layer of the verifier's computer: the verifier was down for about 5½ minutes between two anchors, and no batch waited. All input is still simulated, assurance A0.

Added

  • The live run on Stellar testnet. It was armed on Mon 9 Nov at 19:19 Chile time at 9ee4646, started with no manual step on Tue 10 Nov at 00:00 and runs for 7 days. The run account GDSEQAD3…4MDC anchored its first batch, QW#0, at 01:01 Chile time: 31b72314…, ledger 5,651,924. Each anchor writes on Stellar testnet the batch's SHA-256 (qwatt.anchor.sha256) and the running total of simulated energy (qwatt.cumulative_mwh), with the memo QW#n. By Thu 12 Nov at 21:03 Chile time there were 69 anchors, QW#0 to QW#68: one for every hour, none missed, each landing within 3 minutes of its hour's close.

  • The run's public evidence (SOW Deliverable 4):

    • the feed, qwatt-evidence/run. It holds every batch, its raw readings, the accepted and rejected ledgers, and faults.json, which was published before the start with the eight faults, the code commit and the three public keys;
    • the verifier's log, qwatt-verifier-log/run: each decision, with the feed commit it read (but see Blockers);
    • the reconciliation of the run, in any browser: qwatt.org/reconcile.html, which opens the run by itself since Wed 11 Nov. On Thu 12 Nov at 21:03 Chile time the same check, run as anchor/reconcile-cli.js, read RECONCILED: 69 of 69 batches anchored, all by the proposer and the verifier, none by a stand-in, and the account at 2/2/3 with master weight 0.
  • The rejection log is filling as planned. By Thu 12 Nov at 21:03 Chile time, 12 intervals had been refused, and each one is on live/expected-run.json, the list published before the run (12 of its 30 entries so far):

    • at dawn on Tue 10, Wed 11 and Thu 12 Nov, the interval that starts at 06:45 Chile time, for plausibility.energy_power. The first was logged under batch qwatt-chispa-01-000006;
    • F01, a shaded sensor, Wed 11 Nov from 13:05 to 13:25 Chile time: 4 intervals, agreement.diverge, logged under batch qwatt-chispa-01-000037;
    • F02, a disconnected meter, Thu 12 Nov from 12:05 to 12:25: 4 intervals, agreement.diverge, logged under batch qwatt-chispa-01-000060;
    • at dusk on Thu 12 Nov, the interval that starts at 20:25, for plausibility.energy_power.

    A refused interval is left out of its batch's energy (the batch only counts it), so it never makes the verifier refuse a batch, and the verifier refused none. As of Thu 12 Nov at 21:03 Chile time, the next faults were F03, a night injection, on Fri 13 Nov at 01:35 Chile time, and F04, an implausible ramp, at 14:35.

  • Energy re-derivation (PR #64). node live/rederive.js <feed-dir> replays the published samples/*.csv through the same adapter and interval builder the run uses. It then compares every published interval's energy, sample count, mean power and the hash of its raw readings (source.raw_sha256), and recomputes the energy of accepted batches. No service runs it, and it only prints its result. On a simulated run it found 2,016 of 2,016 intervals equal. At the close, RUNBOOK step 3 saves its output as evidence/energy-rederivation.json, and a mismatch there is a finding to publish, not something to fix.

  • The write-up lists every outage (PR #63). ops/writeup.js now has an "Outages (OD-8)" section: host gaps from the audit, anchors that landed late, the cause of each where the founders recorded one, and a verdict on the seven days.

  • Evidence documents for Deliverables 2 and 3 (PR #71): docs/DELIVERABLE-2-EVIDENCE.md and docs/DELIVERABLE-3-EVIDENCE.md. Each maps the SOW's evidence of completion (§6) to public files and transactions, and lists what was not done, the deviations and the decisions still open.

  • Tests A–D and the independence test: PASS (PR #66). They ran as rehearsal-2026-11-09 on a fresh rehearsal account, GCJ5LL6T…E4GY, with the same three public keys and both hosts at 9ee4646. All of them used one proposal, d75c10d7…:

    • A, the proposer alone: refused by the network (tx_bad_auth);
    • B, the verifier alone, on the same transaction body: refused (tx_bad_auth);
    • D, the batch altered after the proposer signed: the verifier refused (verifier.hash_mismatch), and nothing was submitted;
    • independence, the batch withheld from the verifier's only input path (the public feed was not touched): the verifier refused (verifier.not_published), and nothing was signed;
    • C, the proposer and the verifier: anchored on Mon 9 Nov at 19:00 Chile time, ledger 5,647,595.

    The evidence is in evidence/rehearsal/2026-11-09-abcd/.

  • Between the weeks (Sat 7 – Sun 8 Nov): the first anchor on a 2/2/3 account with the sprint's three keys. The rehearsal rehearsal-2026-11-07 ran on the rehearsal account GBITYDTM…HFC2. At 20:43 Chile time on Sat 7 Nov it anchored test C, signed by the proposer and the verifier: 13457b4b…, ledger 5,614,274. It anchored 24 batches in all, up to Sun 8 Nov at 12:30 Chile time (15:30 UTC). Tests B, D and independence were refused as expected, as the freeze's DV-12 entry records; that rehearsal's test files are not public, and the tests of Mon 9 Nov replace them. Test A, the stand-in drill and the kill tests did not run that day.

  • The go decision, and a correction, on the record. A dated status note in the architecture freeze lists what ran on Mon 9 Nov and what did not, and records the go, at about 19:20 Chile time, in the same minutes as the arming (PR #67). A second note, of Wed 11 Nov, corrects what the first said about the verifier stop (PR #70; see Blockers).

Changed

  • The run starts on Tue 10 Nov, not Mon 9 (DV-12, PR #65, merged Mon 9 Nov). The Sat 7 Nov rehearsal did not get through test A, the stand-in drill, the kill tests or the go/no-go, so the services were not armed for Mon 9. The run now covers Tue 10 Nov 00:00 to Tue 17 Nov 00:00, Chile time (03:00 UTC), days 23 to 29 of the sprint. The eight faults moved with it, to Wed 11 – Mon 16 Nov. The expected list was regenerated with the same seed: 30 refusals in 2,016 intervals.
  • The run's code is frozen at 9ee4646, the commit both hosts run (code_commit in run/faults.json). The tag code-freeze went on it on Tue 10 Nov at 17:49 Chile time, about 18 hours after the start. On Wed 11 Nov, during the run, eight pull requests reached main: fixes and one new tool for checking and closing the run (#60 to #64), which no service on either host runs, the site change (#69) and two documents (#70, #71). On Thu 12 Nov a ninth, #72, updated the site. No code was deployed to either host: both still run 9ee4646. The outside check runs from main, so it has used #61 since Wed 11 Nov. The freeze allows only documented defect fixes after the code freeze, and makes any later change a numbered deviation in the write-up. #60 to #63 fix defects found in review; #64 adds a new tool, and #69 and #72 change the site. The write-up will number each of these changes as a deviation.
  • The check from outside both hosts now watches the run (V3-13b). An outside scheduler has started it every 15 minutes since Sat 7 Nov. On Tue 10 Nov it got the run account, the run's URLs and the alert webhook. Its first run with these settings, #329, reported the run live with no errors. See "In numbers" for every run since.
  • qwatt.org: the reconciliation page opens the live run by itself (PR #69). assets/status.json now names the run's feed and account, so the page needs no address parameters, and the Reconciliation menu entry reads "testnet".
  • qwatt.org: week 3 and the run on the home page and the roadmap (PR #72, merged Thu 12 Nov). The roadmap has sections for week 3 and the counted run, with their highlights, and two week-1 claims were corrected: when the outside signer's key arrived, and how anchoring stalls were closed.
  • Between the weeks (Sat 7 Nov): the monitors no longer raise false alarms for a run armed ahead of its start. Their timers count from run_start, not from a transaction or a push made before it, and before the start the outside check alerts only on VERIFIER_SILENT and SOURCE_DOWN (PR #59).

Fixed

  • Monitors that would have raised false alarms on a healthy run (PR #59, merged Sat 7 Nov). A batch closes every 12 intervals, so index.json moves once an hour. With a 30-minute limit, FEED_STALE would have fired every hour, and PROPOSER_HOST_SILENT before the first push of an armed run, which comes about an hour after the start. FEED_STALE now alerts at 75 minutes. PROPOSER_HOST_SILENT allows 75 minutes from the start for the first push, and 30 after it. Found in review, before the run.
  • A wrong feed address no longer passes the outside check silently (PR #59): the check now reports a faults.json it cannot find. Also, the watchdog calls a run BROKEN only if a second read agrees, because GitHub's file server can briefly answer 404 for a file the commit holds.
  • The outside check reports a wrong account and a half-set configuration (PR #61). An account Horizon does not know, from a typo or a testnet reset, used to read as "no anchors yet"; it now reports the account as not found. An account set without the feed URL or the verifier log URL used to skip those checks; each missing one is now reported.
  • The audit applies OD-8 (PR #62). A run that stopped early could pass, because the slots it never reached were not yet due. Once run_end has passed, every slot is due, so an early stop fails. A gap of up to 2 hours passes and is listed with its length; a longer one fails. While the run is going, the audit flags a run that has stopped producing. This also loosens the audit, as OD-8 allows: a short gap used to fail it, and now it is only listed.
  • verify-cli with a mistyped folder (PR #60). A path with no feed in it printed OK and created the folder, so a typo looked like a verified feed. It now exits 2, names the folder and creates nothing.

Progress vs. last week

Last week's "Next week" goals:

  • Goal: finish the proposer's server and its deploy key → Result: done. On Mon 9 Nov both hosts were at 9ee4646 with no failed check, and the proposer's server publishes the run's feed.
  • Goal: tests A–D and the independence test on a rehearsal account, and the first anchor there → Result: done. The first anchor landed on Sat 7 Nov, and A–D and independence passed on Mon 9 Nov (PR #66).
  • Goal: the stand-in drill, the kill tests, and the outside scheduler and alerts → Result: partly done. An outside scheduler has started the check every 15 minutes since Sat 7 Nov, and the check was pointed at the run, with its alert webhook, on Tue 10 Nov, after the start. The stand-in drill and the kill tests were not done.
  • Goal: tag the code freeze and arm the services, with the run starting on Mon 9 Nov → Result: partly done. The services were armed on Mon 9 Nov at 19:19 Chile time, for a start moved to Tue 10 Nov (DV-12). The tag came on Tue 10 Nov, after the start, on the run's commit.

In numbers

  • Tests: 501 passing at 6e8515b (week 3) → 509 at 9ee4646, the run's commit → 528 on main at a27299c, 0 failing (406 in npm test, 122 anchoring tests). CI on 9ee4646: run #257; on main at a27299c: run #281.
  • Pull requests merged since semana-3: 13. #59 between the weeks; #65 and #66 on Mon 9 Nov; #67 on Tue 10 Nov; #60 to #64 and #69 to #71 on Wed 11 Nov; #72 on Thu 12 Nov. #68 duplicated #69 and was closed. Commits from semana-3 to 4aa7a88: 27, not counting merge commits.
  • Testnet transactions:
    • 27 on the Sat 7 rehearsal account: creation, setup, funding and 24 anchors;
    • 4 on the Mon 9 rehearsal account: creation, setup, funding and test C. The network refused tests A and B, so they never reached a ledger;
    • 72 on the run account by Thu 12 Nov at 21:03 Chile time: creation, setup and funding on Fri 6 Nov, then 69 anchors, QW#0 to QW#68, each signed by the proposer and the verifier.
  • The run by Thu 12 Nov, 21:03 Chile time (Fri 13 Nov, 00:03 UTC): 69 batches published and 69 anchored; 828 of 828 intervals judged, 816 accepted and 12 refused (8 inside fault windows); 0 gaps in the feed; at most 1 hour and 5 seconds between two anchors. The verifier refused 0 batches, and there were 0 stand-in anchors.
  • From its first run with the run's settings, #329 on Tue 10 Nov at 15:53 Chile time, to Thu 12 Nov at 21:01 Chile time, the outside check ran 223 times, and 221 passed. Two, on Wed 11 Nov at 17:30 and 17:45 Chile time, ended in startup_failure: GitHub did not start the job, so no step ran, and the run went 45 minutes without an outside check. The next run passed. All runs.

Blockers and lessons

  • We went without the stand-in drill and the kill tests. On Mon 9 Nov the third signer's computer was prepared and recognised the third signer's identity. The drill itself, an anchor signed by the proposer and the third signer, was not done: the founders stopped the rehearsal to arm the run in time. No stand-in has been exercised on a 2/2/3 account. Restarts rest on the service settings, the recovery tests in CI and the earlier rehearsals, not on kill tests on these hosts. During the run, a stand-in anchor is used only for a real verifier outage, and none has been needed. The write-up will say all of this.
  • The verifier was stopped by mistake before the start, and our first note got the cause wrong. On Mon 9 Nov, after arming, the verifier and its watchdog were stopped by command at 19:30:04 Chile time and started again at 20:18:16 (22:30–23:18 UTC). The AI assistant that operates the verifier host for Jay ran both commands, with Jay's approval: it took the armed verifier for the rehearsal's and did not first check that the run's faults.json was already published. The watchdog raised VERIFIER_SILENT at 20:18:19 and cleared it at 20:23:23. The stop fell before the start, so no batch waited on it. Our status note of Tue 10 Nov said the verifier came back without anyone touching the host and that the cause was not established; the note of Wed 11 Nov corrects both (PR #70). Lesson: before stopping or starting a service, check which run it serves. While the run is live, nothing is stopped.
  • A Windows update restarted the verifier during the run. The verifier runs inside WSL (Windows Subsystem for Linux) on a Windows computer. On Thu 12 Nov at 16:07 Chile time, Windows Update started installing a WSL update (3.0.5.0), and WSL shut down at 16:08:46; the verifier's last check before that was at 16:08:40. WSL started again at 16:14:01, the three services started by themselves at 16:14:02, and the verifier's public status.json shows the new start at 16:14:04 (19:14:04 UTC). The verifier was down for about 5½ minutes, between QW#63 (16:02:44) and QW#64 (17:00:39), so no batch waited. No alert fired: the outage was shorter than the outside check's 30-minute limit, and the watchdog runs on the same computer. No code changed: the host still runs 9ee4646. The write-up will list it as an outage under OD-8, with this cause. Lesson: Windows Update can restart a host that runs on WSL, so updates should be paused for the length of a run.
  • A cleanup that printed nothing and deleted nothing. The run's public verifier log begins with 25 decisions from the rehearsals: 24 from Sat 7 – Sun 8 Nov and 1 from Mon 9 Nov. The command meant to empty the verifier's state before each rehearsal and before arming deleted nothing. The operator's shell could not read that directory, so * did not expand, and rm -f silently skipped a name that does not exist. The run's anchoring is not affected: the 25 lines can be told apart by their time and by a feed_commit that is not a commit of the run's feed. The log only grows, so they stay, and the signed count in the verifier's status.json includes them (94 = 25 + 69 on Thu 12 Nov). Lesson: check that a cleanup worked, not only that the command returned.
  • No margin left. The Tue 10 Nov start is the latest the freeze allows: the run ends as Day 30 begins. An outage of more than 2 hours breaks the seven days (OD-8), and there would be no time to start again. So far the longest outage is the verifier's 5½ minutes on Thu 12 Nov.
  • Known limit: the verifier does not recompute energy from the raw readings. It checks that they match their fingerprint, and that is all. The new offline tool (PR #64) recomputes every interval's energy from the published samples, and it will be run on the whole feed at the close. The verifier itself is unchanged.

Next week (16 to 20 November)

Planned, not done yet.

  1. The run ends by itself on Tue 17 Nov at 00:00 Chile time (03:00 UTC). No service is stopped and no code is deployed on either host before then; the RUNBOOK's recovery steps are used only for a real outage, and any outage goes in the write-up. As of Thu 12 Nov at 21:03 Chile time, six faults remained: F03 and F04 on Fri 13, F05 on Sat 14, F06 and F07 on Sun 15, and F08 on Mon 16 Nov, with 18 more refusals expected.
  2. The final audit of the run against the list of expected refusals, with OD-8's rules; the reconciliation of every anchor; and the energy re-derivation of the whole feed. These use the closing tools on main (#62 to #64), not the hosts' 9ee4646 copy, which does not have them.
  3. The public write-up on Tue 17 Nov (Day 30), linking every transaction. It will list every outage with OD-8's verdict, say that the stand-in drill and the kill tests were not done, explain the Mon 9 verifier stop, the Thu 12 restart and the 25 rehearsal decisions, and record each change made after the code freeze as a numbered deviation.
  4. The final demo video, then the program's closing article and brand kit, on dates still to be confirmed with the chapter.

Links

New terms this week

  • Arming: setting both hosts to the frozen commit and pointing them at the run, so that it starts by itself with no manual step.
  • Go/no-go: the founders' decision, written into the freeze, to start the run or not.
  • Code freeze: the commit the run uses, tagged code-freeze. After it, only documented defect fixes go in, and any change is a numbered deviation in the write-up.
  • Fault window: a period in faults.json when the simulator injects a fault on purpose. It must appear in the rejection log with one of its expected reasons.
  • RECONCILED: the reconciliation's verdict when everything published and accepted is anchored, and every anchor matches the batch it names.
  • OD-8: the rule for outages. A gap of up to 2 hours keeps the seven days continuous and is listed with its cause; a longer one breaks them.
  • Energy re-derivation: recomputing each interval's energy from the published raw samples and comparing it with the published figure.

Semana 4 — 9 al 13 de noviembre de 2026

Resumen

Esta semana partió la corrida en vivo de siete días en Stellar testnet, un día más tarde de lo planificado, y hasta ahora cada hora se ha juzgado y anclado. El lunes 9 de noviembre, las pruebas A–D y la de independencia pasaron en una cuenta de ensayo 2/2/3 nueva (PR #66). El simulacro de suplente y las pruebas de caída no se hicieron, y ambos fundadores decidieron seguir igual (PR #67). La corrida partió sola el martes 10 a las 00:00 hora de Chile (03:00 UTC), desde el commit 9ee4646 (tag code-freeze); el día de atraso es la desviación DV-12 (PR #65). Termina el martes 17 a las 00:00. Al jueves 12 a las 21:03 hora de Chile, los 69 lotes horarios estaban anclados en la cuenta 2 de 3 de la corrida, cada uno firmado por el proponente y el verificador, y la conciliación decía CONCILIADO. Se habían rechazado 12 intervalos de cinco minutos, todos ellos en la lista publicada antes de la corrida, incluidas las dos primeras fallas inyectadas, F01 y F02. La página de conciliación de qwatt.org ahora abre la corrida por sí sola (PR #69). También corregimos nuestro propio registro: la detención del verificador del lunes 9, antes del inicio, fue una detención manual hecha por error (PR #70). El jueves 12, una actualización de Windows reinició la capa Linux del computador del verificador: el verificador estuvo detenido cerca de 5 minutos y medio entre dos anclajes, y ningún lote esperó. Toda la entrada sigue siendo simulada, assurance A0.

Agregado

  • La corrida en vivo en Stellar testnet. Se armó el lunes 9 a las 19:19 hora de Chile en 9ee4646, partió sin ningún paso manual el martes 10 a las 00:00 y dura 7 días. La cuenta de la corrida GDSEQAD3…4MDC ancló su primer lote, QW#0, a la 01:01 hora de Chile: 31b72314…, ledger 5.651.924. Cada anclaje escribe en Stellar testnet el SHA-256 del lote (qwatt.anchor.sha256) y el total acumulado de energía simulada (qwatt.cumulative_mwh), con el memo QW#n. Al jueves 12 a las 21:03 hora de Chile había 69 anclajes, de QW#0 a QW#68: uno por cada hora, sin que faltara ninguno, y cada uno llegó menos de 3 minutos después del cierre de su hora.

  • La evidencia pública de la corrida (Entregable 4 del SOW):

    • el feed, qwatt-evidence/run. Tiene cada lote, sus lecturas crudas, los registros de aceptados y rechazados, y faults.json, que se publicó antes del inicio con las ocho fallas, el commit del código y las tres claves públicas;
    • la bitácora del verificador, qwatt-verifier-log/run: cada decisión, con el commit del feed que leyó (pero ver Bloqueos);
    • la conciliación de la corrida, en cualquier navegador: qwatt.org/reconcile.html, que abre la corrida por sí sola desde el miércoles 11. El jueves 12 a las 21:03 hora de Chile, el mismo chequeo, corrido como anchor/reconcile-cli.js, decía RECONCILED (CONCILIADO en la página): 69 de 69 lotes anclados, todos por el proponente y el verificador, ninguno por un suplente, y la cuenta en 2/2/3 con la clave maestra de peso 0.
  • El registro de rechazos se va llenando según lo planificado. Al jueves 12 a las 21:03 hora de Chile se habían rechazado 12 intervalos, y cada uno está en live/expected-run.json, la lista publicada antes de la corrida (12 de sus 30 entradas hasta ahora):

    • al amanecer del martes 10, del miércoles 11 y del jueves 12, el intervalo que empieza a las 06:45 hora de Chile, por plausibility.energy_power. El primero quedó registrado bajo el lote qwatt-chispa-01-000006;
    • F01, sensor tapado, el miércoles 11 de 13:05 a 13:25 hora de Chile: 4 intervalos, agreement.diverge, registrados bajo el lote qwatt-chispa-01-000037;
    • F02, medidor desconectado, el jueves 12 de 12:05 a 12:25: 4 intervalos, agreement.diverge, registrados bajo el lote qwatt-chispa-01-000060;
    • al atardecer del jueves 12, el intervalo que empieza a las 20:25, por plausibility.energy_power.

    Un intervalo rechazado queda fuera de la energía de su lote (el lote solo lo cuenta), así que nunca hace que el verificador rechace un lote, y el verificador no rechazó ninguno. Al jueves 12 a las 21:03 hora de Chile, las próximas fallas eran F03, inyección nocturna, el viernes 13 a la 01:35 hora de Chile, y F04, rampa no plausible, a las 14:35.

  • Recálculo de la energía (PR #64). node live/rederive.js <feed-dir> (la carpeta del feed) vuelve a pasar las muestras publicadas, samples/*.csv, por el mismo adaptador y el mismo constructor de intervalos que usa la corrida. Después compara, en cada intervalo publicado, la energía, la cantidad de muestras, la potencia media y la huella de sus lecturas crudas (source.raw_sha256), y recalcula la energía de los lotes aceptados. Ningún servicio la corre, y solo imprime su resultado. En una corrida simulada encontró iguales 2.016 de 2.016 intervalos. Al cierre, el paso 3 del RUNBOOK guarda esa salida como evidence/energy-rederivation.json, y una diferencia ahí es un hallazgo que se publica, no algo que se arregla.

  • El informe lista cada caída (PR #63). ops/writeup.js ahora tiene una sección "Outages (OD-8)": los huecos de los servidores según la auditoría, los anclajes que llegaron tarde, la causa de cada uno cuando los fundadores la registraron, y un veredicto sobre los siete días.

  • Documentos de evidencia de los Entregables 2 y 3 (PR #71): docs/DELIVERABLE-2-EVIDENCE.md y docs/DELIVERABLE-3-EVIDENCE.md. Cada uno relaciona la evidencia de cumplimiento del SOW (§6) con archivos y transacciones públicos, y lista lo que no se hizo, las desviaciones y las decisiones todavía abiertas.

  • Pruebas A–D y de independencia: PASS (PR #66). Corrieron como rehearsal-2026-11-09 en una cuenta de ensayo nueva, GCJ5LL6T…E4GY, con las mismas tres claves públicas y ambos servidores en 9ee4646. Todas usaron una misma propuesta, d75c10d7…:

    • A, el proponente solo: rechazada por la red (tx_bad_auth);
    • B, el verificador solo, sobre el mismo cuerpo de transacción: rechazada (tx_bad_auth);
    • D, el lote alterado después de que firmó el proponente: el verificador lo rechazó (verifier.hash_mismatch) y no se envió nada;
    • independencia, el lote retenido fuera de la única vía de entrada del verificador (el feed público no se tocó): el verificador lo rechazó (verifier.not_published) y no se firmó nada;
    • C, el proponente y el verificador: anclada el lunes 9 a las 19:00 hora de Chile, ledger 5.647.595.

    La evidencia está en evidence/rehearsal/2026-11-09-abcd/.

  • Entre semanas (sábado 7 – domingo 8): el primer anclaje en una cuenta 2/2/3 con las tres claves del sprint. El ensayo rehearsal-2026-11-07 corrió en la cuenta de ensayo GBITYDTM…HFC2. A las 20:43 hora de Chile del sábado 7 ancló la prueba C, firmada por el proponente y el verificador: 13457b4b…, ledger 5.614.274. En total ancló 24 lotes, hasta el domingo 8 a las 12:30 hora de Chile (15:30 UTC). Las pruebas B, D y de independencia se rechazaron como se esperaba, según registra la entrada DV-12 del freeze; los archivos de prueba de ese ensayo no son públicos, y las pruebas del lunes 9 los reemplazan. La prueba A, el simulacro de suplente y las pruebas de caída no corrieron ese día.

  • La decisión de seguir, y una corrección, por escrito. Una nota de estado fechada en el freeze de arquitectura lista qué corrió el lunes 9 y qué no, y registra el go, cerca de las 19:20 hora de Chile, en los mismos minutos en que se armó la corrida (PR #67). Una segunda nota, del miércoles 11, corrige lo que la primera decía sobre la detención del verificador (PR #70; ver Bloqueos).

Cambiado

  • La corrida parte el martes 10, no el lunes 9 (DV-12, PR #65, integrado el lunes 9). El ensayo del sábado 7 no alcanzó a hacer la prueba A, el simulacro de suplente, las pruebas de caída ni el go/no-go, así que los servicios no quedaron armados para el lunes 9. La corrida cubre ahora del martes 10 a las 00:00 al martes 17 a las 00:00, hora de Chile (03:00 UTC), los días 23 a 29 del sprint. Las ocho fallas se movieron con ella, al período del miércoles 11 al lunes 16. La lista esperada se regeneró con la misma semilla: 30 rechazos en 2.016 intervalos.
  • El código de la corrida está congelado en 9ee4646, el commit que corren ambos servidores (code_commit en run/faults.json). El tag code-freeze se puso el martes 10 a las 17:49 hora de Chile, unas 18 horas después del inicio. El miércoles 11, durante la corrida, llegaron a main ocho pull requests: correcciones y una herramienta nueva para revisar y cerrar la corrida (#60 a #64), que ningún servicio de los servidores corre, el cambio del sitio (#69) y dos documentos (#70, #71). El jueves 12 llegó un noveno, #72, que actualizó el sitio. No se instaló código en ninguno de los dos servidores: ambos siguen corriendo 9ee4646. El chequeo externo corre desde main, así que usa #61 desde el miércoles 11. El freeze solo admite correcciones documentadas de defectos después del freeze del código, y convierte todo cambio posterior en una desviación numerada del informe. #60 a #63 corrigen defectos encontrados en revisión; #64 agrega una herramienta nueva, y #69 y #72 cambian el sitio. El informe va a numerar cada uno de estos cambios como una desviación.
  • El chequeo desde fuera de los dos servidores ya vigila la corrida (V3-13b). Un programador externo lo lanza cada 15 minutos desde el sábado 7. El martes 10 recibió la cuenta de la corrida, las URL de la corrida y el webhook de alertas. Su primera ejecución con esa configuración, #329, informó la corrida en vivo y sin errores. Ver "En números" para cada ejecución desde entonces.
  • qwatt.org: la página de conciliación abre la corrida en vivo por sí sola (PR #69). assets/status.json ahora nombra el feed y la cuenta de la corrida, así que la página no necesita parámetros en la dirección, y la entrada Conciliación del menú dice "testnet".
  • qwatt.org: la semana 3 y la corrida en la portada y la hoja de ruta (PR #72, integrado el jueves 12). La hoja de ruta tiene secciones para la semana 3 y la corrida contada, con sus hitos, y se corrigieron dos afirmaciones de la semana 1: cuándo llegó la clave del firmante externo y cómo se cerraron las trabas del anclaje.
  • Entre semanas (sábado 7): los monitores ya no dan falsas alarmas con una corrida armada antes de su inicio. Sus plazos cuentan desde run_start, no desde una transacción o un push anteriores, y antes del inicio el chequeo externo solo alerta por VERIFIER_SILENT y SOURCE_DOWN (PR #59).

Corregido

  • Monitores que habrían dado falsas alarmas con una corrida sana (PR #59, integrado el sábado 7). Un lote se cierra cada 12 intervalos, así que index.json se mueve una vez por hora. Con un límite de 30 minutos, FEED_STALE habría saltado cada hora, y PROPOSER_HOST_SILENT antes del primer push de una corrida armada, que llega cerca de una hora después del inicio. FEED_STALE ahora alerta a los 75 minutos. PROPOSER_HOST_SILENT da 75 minutos desde el inicio para el primer push, y 30 después. Se encontró en revisión, antes de la corrida.
  • Una dirección de feed equivocada ya no pasa callada por el chequeo externo (PR #59): el chequeo ahora informa un faults.json que no encuentra. Además, el watchdog declara BROKEN una corrida solo si una segunda lectura lo confirma, porque el servidor de archivos de GitHub puede responder 404 por un momento ante un archivo que el commit sí tiene.
  • El chequeo externo informa una cuenta equivocada y una configuración a medias (PR #61). Una cuenta que Horizon no conoce, por un error de tipeo o un reinicio de testnet, se leía como "todavía sin anclajes"; ahora informa que no se encontró la cuenta. Una cuenta configurada sin la URL del feed o sin la de la bitácora del verificador se saltaba esos chequeos; ahora se informa cada una que falte.
  • La auditoría aplica OD-8 (PR #62). Una corrida que se detuviera antes de tiempo podía pasar, porque los tramos que nunca alcanzó todavía no tocaban. Una vez pasado run_end, todos los tramos tocan, así que una detención temprana falla. Un hueco de hasta 2 horas pasa y se lista con su duración; uno más largo falla. Mientras la corrida sigue, la auditoría avisa si la corrida dejó de producir. Esto también afloja la auditoría, como lo permite OD-8: un hueco corto antes la hacía fallar, y ahora solo se lista.
  • verify-cli con una carpeta mal escrita (PR #60). Una ruta sin feed imprimía OK y creaba la carpeta, así que un error de tipeo parecía un feed verificado. Ahora sale con código 2, nombra la carpeta y no crea nada.

Progreso vs. semana anterior

Metas de "Próxima semana":

  • Meta: terminar el servidor del proponente y su deploy key → Resultado: hecho. El lunes 9 ambos servidores estaban en 9ee4646 sin ninguna revisión fallida, y el servidor del proponente publica el feed de la corrida.
  • Meta: pruebas A–D y de independencia en una cuenta de ensayo, y el primer anclaje ahí → Resultado: hecho. El primer anclaje llegó el sábado 7, y A–D e independencia pasaron el lunes 9 (PR #66).
  • Meta: el simulacro de suplente, las pruebas de caída, y el programador externo y las alertas → Resultado: en parte. Un programador externo lanza el chequeo cada 15 minutos desde el sábado 7, y el chequeo se apuntó a la corrida, con su webhook de alertas, el martes 10, después del inicio. El simulacro de suplente y las pruebas de caída no se hicieron.
  • Meta: poner el tag del freeze y armar los servicios, con la corrida partiendo el lunes 9 → Resultado: en parte. Los servicios se armaron el lunes 9 a las 19:19 hora de Chile, para un inicio que pasó al martes 10 (DV-12). El tag llegó el martes 10, después del inicio, sobre el commit de la corrida.

En números

  • Pruebas: 501 pasando en 6e8515b (semana 3) → 509 en 9ee4646, el commit de la corrida → 528 en main en a27299c, 0 fallando (406 en npm test, 122 de anclaje). CI en 9ee4646: corrida #257; en main en a27299c: corrida #281.
  • Pull requests integrados desde semana-3: 13. El #59 entre semanas; #65 y #66 el lunes 9; #67 el martes 10; #60 a #64 y #69 a #71 el miércoles 11; #72 el jueves 12. El #68 duplicaba al #69 y se cerró. Commits de semana-3 a 4aa7a88: 27, sin contar los de merge.
  • Transacciones en testnet:
    • 27 en la cuenta de ensayo del sábado 7: creación, configuración, fondeo y 24 anclajes;
    • 4 en la cuenta de ensayo del lunes 9: creación, configuración, fondeo y prueba C. La red rechazó las pruebas A y B, así que nunca llegaron a un ledger;
    • 72 en la cuenta de la corrida al jueves 12 a las 21:03 hora de Chile: creación, configuración y fondeo el viernes 6, y después 69 anclajes, de QW#0 a QW#68, cada uno firmado por el proponente y el verificador.
  • La corrida al jueves 12, 21:03 hora de Chile (viernes 13, 00:03 UTC): 69 lotes publicados y 69 anclados; 828 de 828 intervalos juzgados, 816 aceptados y 12 rechazados (8 dentro de ventanas de falla); 0 huecos en el feed; a lo más 1 hora y 5 segundos entre dos anclajes. El verificador rechazó 0 lotes y hubo 0 anclajes de suplente.
  • Desde su primera ejecución con la configuración de la corrida, #329 el martes 10 a las 15:53 hora de Chile, hasta el jueves 12 a las 21:01 hora de Chile, el chequeo externo corrió 223 veces, y 221 pasaron. Dos, el miércoles 11 a las 17:30 y 17:45 hora de Chile, terminaron en startup_failure: GitHub no lanzó el trabajo, así que no corrió ningún paso, y la corrida pasó 45 minutos sin chequeo externo. La ejecución siguiente pasó. Todas las ejecuciones.

Bloqueos y lecciones

  • Partimos sin el simulacro de suplente y sin las pruebas de caída. El lunes 9 el computador del tercer firmante quedó preparado y reconoció la identidad del tercer firmante. El simulacro mismo, un anclaje firmado por el proponente y el tercer firmante, no se hizo: los fundadores detuvieron el ensayo para armar la corrida a tiempo. Todavía no se ha probado ningún suplente en una cuenta 2/2/3. Los reinicios descansan en la configuración de los servicios, las pruebas de recuperación en CI y los ensayos anteriores, no en pruebas de caída en estos servidores. Durante la corrida, un anclaje de suplente se usa solo ante una caída real del verificador, y no ha hecho falta ninguno. El informe dirá todo esto.
  • El verificador fue detenido por equivocación antes del inicio, y nuestra primera nota se equivocó en la causa. El lunes 9, después de armar, el verificador y su watchdog se detuvieron por comando a las 19:30:04 hora de Chile y volvieron a partir a las 20:18:16 (22:30–23:18 UTC). El asistente de IA que opera el servidor del verificador para Jay corrió ambos comandos, con la aprobación de Jay: confundió el verificador armado con el del ensayo y no revisó antes que el faults.json de la corrida ya estaba publicado. El watchdog levantó VERIFIER_SILENT a las 20:18:19 y lo despejó a las 20:23:23. La detención fue antes del inicio, así que ningún lote la esperó. Nuestra nota de estado del martes 10 decía que el verificador había vuelto sin que nadie tocara el servidor y que la causa no estaba establecida; la nota del miércoles 11 corrige ambas cosas (PR #70). Lección: antes de detener o arrancar un servicio, revisar qué corrida atiende. Mientras la corrida está en vivo, no se detiene nada.
  • Una actualización de Windows reinició el verificador durante la corrida. El verificador corre dentro de WSL (Windows Subsystem for Linux) en un computador con Windows. El jueves 12 a las 16:07 hora de Chile, Windows Update empezó a instalar una actualización de WSL (3.0.5.0), y WSL se apagó a las 16:08:46; la última revisión del verificador antes de eso fue a las 16:08:40. WSL volvió a partir a las 16:14:01, los tres servicios partieron solos a las 16:14:02, y el status.json público del verificador muestra el nuevo inicio a las 16:14:04 (19:14:04 UTC). El verificador estuvo detenido cerca de 5 minutos y medio, entre QW#63 (16:02:44) y QW#64 (17:00:39), así que ningún lote esperó. No saltó ninguna alerta: la caída fue más corta que el límite de 30 minutos del chequeo externo, y el watchdog corre en el mismo computador. No cambió el código: el servidor sigue corriendo 9ee4646. El informe la va a listar como una caída bajo OD-8, con esta causa. Lección: Windows Update puede reiniciar un servidor que corre sobre WSL, así que las actualizaciones deben pausarse mientras dure una corrida.
  • Una limpieza que no imprimió nada y no borró nada. La bitácora pública del verificador de la corrida empieza con 25 decisiones de los ensayos: 24 del sábado 7 – domingo 8 y 1 del lunes 9. El comando que debía vaciar el estado del verificador antes de cada ensayo y antes de armar no borró nada. La shell del operador no podía leer ese directorio, así que * no se expandió, y rm -f se saltó en silencio un nombre que no existe. El anclaje de la corrida no se ve afectado: las 25 líneas se distinguen por su hora y por un feed_commit que no es un commit del feed de la corrida. La bitácora solo crece, así que se quedan, y el contador signed del status.json del verificador las incluye (94 = 25 + 69 el jueves 12). Lección: comprobar que la limpieza funcionó, no solo que el comando terminó.
  • Sin margen. Partir el martes 10 es lo más tarde que permite el freeze: la corrida termina justo cuando empieza el Día 30. Una caída de más de 2 horas rompe los siete días (OD-8), y no quedaría tiempo para partir de nuevo. Hasta ahora, la caída más larga fueron los 5 minutos y medio del verificador el jueves 12.
  • Límite conocido: el verificador no recalcula la energía desde las lecturas crudas. Revisa que calcen con su huella, y nada más. La nueva herramienta fuera de línea (PR #64) recalcula la energía de cada intervalo desde las muestras publicadas, y se va a correr sobre el feed completo al cierre. El verificador mismo no cambió.

Próxima semana (16 al 20 de noviembre)

Planificado, todavía no hecho.

  1. La corrida termina sola el martes 17 a las 00:00 hora de Chile (03:00 UTC). Antes de eso no se detiene ningún servicio ni se instala código en ninguno de los servidores; los pasos de recuperación del RUNBOOK se usan solo ante una caída real, y toda caída va al informe. Al jueves 12 a las 21:03 hora de Chile quedaban seis fallas: F03 y F04 el viernes 13, F05 el sábado 14, F06 y F07 el domingo 15, y F08 el lunes 16, con 18 rechazos más esperados.
  2. La auditoría final de la corrida contra la lista de rechazos esperados, con las reglas de OD-8; la conciliación de cada anclaje; y el recálculo de la energía de todo el feed. Para esto se usan las herramientas de cierre de main (#62 a #64), no la copia 9ee4646 de los servidores, que no las tiene.
  3. El informe público el martes 17 (Día 30), con cada transacción enlazada. Va a listar cada caída con el veredicto de OD-8, decir que el simulacro de suplente y las pruebas de caída no se hicieron, explicar la detención del verificador del lunes 9, el reinicio del jueves 12 y las 25 decisiones de los ensayos, y registrar cada cambio hecho después del freeze del código como una desviación numerada.
  4. El video final de demostración, y después el artículo de cierre y el kit de marca del programa, en fechas que todavía hay que confirmar con el capítulo.

Enlaces

Términos nuevos de esta semana

  • Armar: dejar los dos servidores en el commit congelado y apuntando a la corrida, para que parta sola, sin ningún paso manual.
  • Go/no-go: la decisión de los fundadores, escrita en el freeze, de iniciar o no la corrida.
  • Freeze del código: el commit que usa la corrida, con el tag code-freeze. Después de él solo entran correcciones documentadas de defectos, y todo cambio es una desviación numerada del informe.
  • Ventana de falla: un periodo de faults.json en que el simulador inyecta una falla a propósito. Tiene que aparecer en el registro de rechazos con uno de sus motivos esperados.
  • CONCILIADO (RECONCILED en anchor/reconcile-cli.js): el veredicto de la conciliación cuando todo lo publicado y aceptado está anclado, y cada anclaje calza con el lote que nombra.
  • OD-8: la regla de las caídas. Un hueco de hasta 2 horas mantiene continuos los siete días y se lista con su causa; uno más largo los rompe.
  • Recálculo de la energía: volver a calcular la energía de cada intervalo desde las muestras crudas publicadas y compararla con la cifra publicada.