Skip to content

Captua 0.1.0-beta

Latest

Choose a tag to compare

@juancobo juancobo released this 26 Oct 06:32
b53e531

Versión en español abajo

0.1.0-beta is the first release built to be tested in day-to-day operation in an archive. It is tested on one configuration: a Captua unit (the Raspberry Pi scanner) with two Canon EOS Rebel T7 cameras connected over gphoto2, and a monitor, keyboard and mouse.

Captua can be used on its own or with Fisqua, AMPL's open-source cataloguing platform for archives. It can be used offline, or with copies kept in the cloud. Each of these is a complete way of working.

  • On its own: volumes take the archive's own reference codes, and a volume's files leave the unit through the export.
  • Offline: the unit needs no internet connection to capture, review or export.
  • With Fisqua: the codes come from the archive's Fisqua catalogue, and Captua sends each finished volume to Fisqua.
  • With the cloud: Captua keeps copies of the images and the catalogue in a bucket.

Volumes and file names

  • A volume is whatever the archive catalogues as a single item and captures as a whole: a bound volume, a folder, a bundle of loose documents. Each volume now carries a reference code: the archive's own, or, for an archive that uses Fisqua, the item's code in its Fisqua catalogue.
  • That code is the stem of every file name in the volume. A stem has at most 27 characters: lowercase letters and digits, in groups joined by single hyphens, as in co-ahr-con-t055. Nothing can be captured into a volume until it has a stem. Once images have been captured into a volume, its stem can't be changed or given to another volume. A volume's reference code and its stem are always the same; Captua refuses one that differs from the other.
  • New images are named <stem>-img_<nnnn>_c<n>: the stem, a number counted per volume, and the camera. Numbers are never reused, including those of retaken pages.
  • On the unit's storage, each volume's files now sit in a folder of their own, named after its stem. Inside are:
    • captures for the masters, the original files from the camera;
    • previews for the JPEGs made from RAW masters;
    • thumbnails for the thumbnails;
    • metadata for the metadata.
  • Renaming a project or moving a volume to another project no longer moves or renames any file. At the first start after the update, Captua moves existing files into this layout.
  • Renumbering a volume changes the order of its pages and leaves the file names as they are.
  • Captua leaves RAW masters exactly as the camera wrote them. Each image's rotation is recorded beside it and travels with the export.

Capture and interface

  • Guided tour: a first-run tour walks through the six steps from creating a project to exporting a volume. You can open it again from Ayuda.
  • Hover help: the icon-only controls on the capture screen say what they do when the pointer rests on them.
  • Thumbnail strips: they keep the two pages of a spread together.
  • Sliders: the brightness, contrast and saturation sliders change how the image looks on screen. They leave the file as it is. Captua resets the rotation when you move to the next page.
  • Camera rotation: each camera starts at the rotation saved for it, also when the unit takes a moment to detect the cameras after it starts.
  • Camera panel: it says when the capture system is not available, instead of reporting a missing camera.
  • Renumbering: it reports how many records were renumbered.
  • Storage warning: the overview warns every user when the drive that holds the volumes is 85% full or more.
  • Dialogs: dialogs fit on the unit's 800×480 screen, and you can scroll one that is too long for it. Escape or a click outside closes a dialog, except while closing it would lose work in progress.
  • User menu and shutdown: every screen has a user menu, opened from your name in the sidebar or from the avatar on the capture and volume screens. From it, every signed-in user can shut down or restart the unit, not only administrators.
  • Removed controls: two controls that did nothing are gone: the Filtros buttons on the project and volume lists, and Recuérdame on the sign-in screen.
  • Register: the interface addresses you as tú throughout.

Review

  • A page can be rejected for one of nine reasons, each with a line explaining it: motion blur, glare/reflection, shadows, out of focus, exposure, debris on surface, framing, obstruction, and other. A rejection for "Other" needs a note. A note can be up to 2,000 characters.

Copies in the cloud (optional)

  • On a unit set up with a bucket in the cloud (Backblaze B2), Captua copies each master and its preview there. It then checks each copy against the bucket's own list of what it holds.
  • For each volume, you can see how much of it is already in the bucket.
  • Once a day, Captua copies its catalogue (the database of volumes, records and images) to the bucket, encrypted.
  • Once the bucket holds a whole volume, an administrator can remove its masters and previews from the unit to free space. Thumbnails stay on the unit. Before removing a file, Captua checks it against the bucket again.
  • An administrator can bring a freed volume back from the bucket.
  • Copying to the bucket can be paused on the unit during maintenance, and resumed afterwards.

Working with Fisqua (optional)

  • When a volume is sent for review, and every one of its files is in the bucket, Captua sends Fisqua the volume's capture manifest: the list of its files and their checksums, which is needed to register the volume in Fisqua. No one has to exchange files by hand.
  • If the unit is offline at that moment, Captua sends the manifest once the connection returns.
  • The volume page shows where the volume stands in Fisqua: sent, registered, being processed, waiting for review, or refused, with the reasons.
  • When pages are reviewed in Fisqua, Captua applies the decisions on the unit: it approves or rejects each record with Fisqua's reason and note, and records any rotation correction. It skips any record whose images have changed since the volume was sent.
  • If Fisqua can't read the manifests this version of Captua writes, Captua stops sending and tells the administrator. Captua tries again every six hours, and sends the refused volumes again once Fisqua reads its manifests, after an update to either.
  • A unit without Fisqua can still download the capture manifest from the volume page.
  • Captua can import a digitisation list exported from Fisqua (the items an archive plans to capture) and create a volume for each item.

Welcome and credits

  • The welcome screen offers "Get started in English" and "Empezar en español". Each sets the interface language.
  • The welcome screen acknowledges the institutions and people who have made Captua possible. A QR code on the Credits page leads to the project's page on the AMPL website.

Name on the network

  • The interface is now at http://captua.local. An update renames a unit still called digitool to captua, and the unit still answers at digitool.local, so existing bookmarks still work.
  • The unit's own screen reaches Captua without going through the network, so it keeps working when the Wi-Fi drops.
  • After this update the unit's screen asks for the language once, because the kiosk now opens a different address.

Updates

  • A failed update puts the previous version back when that loses nothing. Otherwise it leaves the unit stopped, with a record of what happened and how to resolve it, so the unit never starts on code and a database that don't match.
  • An update refuses to install a checkout with local changes, or a version older than the one installed.
  • A rollback refuses to go ahead when restoring the backup would cut volumes off from their files, and lists them.
  • The unit's logs no longer record the session tokens that image and download addresses carry.

For units already in use

  • Units on which images were captured before this release need a few one-time steps after updating. These are command-line tools run by whoever manages the unit:
    • recording copies already in the bucket, including those Fisqua made under the new file names;
    • raising a volume's capture number past the numbers those copies use;
    • marking files already removed from the unit as freed;
    • recording checksums for older previews.
  • The order matters, and it is set out in the deployment guide.
  • The unit's settings can now use CAPTUA_ names, and Configuración shows them. Captua still reads the old DTK_ names. If a setting is given under both names, the CAPTUA_ value applies.

Known limits

  • The digitisation list is imported by uploading the file. It has no screen yet, and doesn't yet arrive from Fisqua on its own.
  • Space on the unit can be freed only once a volume is in a bucket. A way to free space that doesn't need a bucket is planned: a copy of the volume to three separate media, checked before anything is removed.

Links

Acknowledgments

Captua is developed at the Archives, Memory, and Preservation Lab of the University of California, Santa Barbara and at the University of Texas at Austin. It has been made possible in part by a major grant from the National Endowment for the Humanities: Democracy demands wisdom. (NEH Award HAA-304052-25: "Digitization Toolkit: a Blueprint for Egalitarian Access to Technology in Low-Resource Environments".)

Any views, findings, conclusions, or recommendations expressed in this software do not necessarily represent those of the National Endowment for the Humanities.

National Endowment for the Humanities


Español

0.1.0-beta es la primera versión hecha para probarse en el trabajo diario de un archivo. Se probó con una sola configuración: un equipo Captua (el escáner con Raspberry Pi) con dos cámaras Canon EOS Rebel T7 conectadas por gphoto2, y un monitor, un teclado y un mouse.

Captua se puede usar por sí solo o con Fisqua, la plataforma de código abierto de AMPL con la que los archivos catalogan sus fondos. Se puede usar sin conexión o con copias en la nube. Cada una de estas formas de trabajar es completa.

  • Por sí solo: los volúmenes llevan los códigos de referencia del propio archivo, y las imágenes de un volumen se sacan del equipo con la exportación.
  • Sin conexión: el equipo no necesita internet para capturar, revisar ni exportar.
  • Con Fisqua: los códigos vienen del catálogo del archivo en Fisqua, y Captua le envía a Fisqua cada volumen terminado.
  • Con la nube: Captua guarda en la nube una copia de las imágenes y del catálogo: la copia externa.

Volúmenes y nombres de archivo

  • Un volumen es lo que el archivo cataloga como una sola unidad y captura entero: un tomo encuadernado, una carpeta, un legajo de documentos sueltos. Ahora cada volumen tiene un código de referencia: el del propio archivo o, si el archivo usa Fisqua, el código de la unidad en su catálogo de Fisqua.
  • Ese código es la raíz del nombre de todos los archivos del volumen. Una raíz tiene como máximo 27 caracteres: letras minúsculas y dígitos, en grupos unidos por un solo guion, como co-ahr-con-t055. No se puede capturar nada en un volumen que todavía no tenga raíz. Cuando ya hay imágenes capturadas en un volumen, su raíz no se puede cambiar ni asignar a otro volumen. El código de referencia de un volumen y su raíz son siempre iguales: Captua rechaza un código que no coincida con la raíz.
  • Las imágenes nuevas se llaman <raíz>-img_<nnnn>_c<n>: la raíz, un número consecutivo propio de cada volumen y el número de la cámara. Un número no se repite nunca, ni siquiera cuando se vuelve a capturar una página.
  • En el almacenamiento del equipo, los archivos de cada volumen están ahora en una carpeta propia con el nombre de su raíz. Dentro hay cuatro carpetas:
    • captures, con los originales, los archivos tal como salen de la cámara;
    • previews, con las vistas previas en JPEG que Captua genera a partir de los originales RAW;
    • thumbnails, con las miniaturas;
    • metadata, con los metadatos.
  • Cambiarle el nombre a un proyecto o pasar un volumen a otro proyecto ya no mueve ni renombra ningún archivo. La primera vez que se arranca el equipo después de la actualización, Captua pasa a esta organización los archivos que ya estaban en él.
  • Renumerar un volumen cambia el orden de sus páginas y deja los nombres de archivo como están.
  • Captua deja los originales RAW tal como los escribió la cámara. Registra la rotación de cada imagen junto a ella y la incluye en la exportación.

Captura e interfaz

  • Recorrido guiado: la primera vez que entras, un recorrido te muestra los seis pasos, desde crear un proyecto hasta exportar un volumen. Puedes volver a verlo desde Ayuda.
  • Ayuda al pasar el puntero: los controles de la pantalla de captura que solo tienen un ícono muestran qué hacen cuando dejas el puntero encima.
  • Tiras de miniaturas: mantienen juntas las dos páginas del libro abierto que se fotografían a la vez.
  • Controles deslizantes: los de brillo, contraste y saturación cambian solo cómo se ve la imagen en la pantalla; el archivo queda igual. Captua devuelve la rotación a su valor inicial cuando pasas a la página siguiente.
  • Rotación de las cámaras: cada cámara empieza con la rotación guardada para ella, incluso cuando el equipo tarda un momento en reconocer las cámaras al arrancar.
  • Panel de cámaras: avisa cuando el sistema de captura no está disponible, en vez de decir que falta una cámara.
  • Renumerar: al terminar, Captua indica cuántos registros se renumeraron.
  • Aviso de almacenamiento: el resumen les avisa a todos los usuarios cuando el disco donde se guardan los volúmenes está al 85 % o más.
  • Ventanas de diálogo: caben en la pantalla de 800 × 480 píxeles del equipo, y puedes desplazarte por las más largas. La tecla Escape o un clic fuera de la ventana la cierran, salvo si al cerrarla perderías lo que estás haciendo.
  • Menú de usuario y apagado: todas las pantallas tienen un menú de usuario. Para abrirlo, haz clic en tu nombre en la barra lateral o, en las pantallas de captura y de volumen, en el círculo con tus iniciales. Desde ese menú, cualquier persona con la sesión iniciada puede apagar o reiniciar el equipo, no solo los administradores.
  • Controles retirados: ya no están los botones "Filtros" de las listas de proyectos y de volúmenes ni la casilla "Recuérdame" de la pantalla de inicio de sesión, que no hacían nada.
  • Tuteo: toda la interfaz te trata de tú.

Revisión

  • Una página se puede rechazar por uno de nueve motivos, cada uno con una línea que lo explica: imagen movida, reflejo/brillo, sombras, fuera de foco, exposición, impurezas en superficie, encuadre, obstrucción y otro. Para rechazar por "Otro" hace falta una nota. Una nota puede tener hasta 2.000 caracteres.

Copias en la nube (opcional)

  • En un equipo configurado con una copia externa en la nube (un bucket de Backblaze B2), Captua copia allí cada original y su vista previa. Después comprueba cada copia con la lista de archivos que lleva el propio Backblaze B2.
  • En cada volumen puedes ver qué parte ya está en la copia externa.
  • Una vez al día, Captua guarda en la copia externa una copia cifrada de su catálogo (la base de datos de volúmenes, registros e imágenes).
  • Cuando la copia externa tiene un volumen completo, un administrador puede quitar del equipo los originales y las vistas previas del volumen para liberar espacio. Las miniaturas se quedan en el equipo. Antes de quitar cada archivo, Captua vuelve a compararlo con la copia externa.
  • Un administrador puede restaurar desde la copia externa un volumen liberado.
  • Para hacer mantenimiento, se puede pausar en el equipo el envío a la copia externa y reanudarlo después.

Trabajo con Fisqua (opcional)

  • Cuando envías un volumen a revisión y todos sus archivos ya están en la copia externa, Captua le envía a Fisqua el manifiesto de captura del volumen: la lista de sus archivos con el checksum (la suma de verificación) de cada uno, que Fisqua necesita para registrar el volumen. Nadie tiene que pasar archivos a mano.
  • Si en ese momento el equipo no tiene conexión, Captua envía el manifiesto cuando el equipo vuelva a tenerla.
  • La página de cada volumen muestra en qué punto va en Fisqua: enviado, registrado, en proceso, esperando revisión o rechazado, con los motivos del rechazo.
  • Cuando alguien revisa las páginas en Fisqua, Captua aplica las decisiones en el equipo: aprueba o rechaza cada registro con el motivo y la nota de Fisqua, y guarda las correcciones de rotación. Omite los registros cuyas imágenes se modificaron después del envío.
  • Si Fisqua no puede leer los manifiestos de esta versión de Captua, Captua deja de enviarlos y se lo indica al administrador. Cada seis horas lo intenta de nuevo y, en cuanto Fisqua pueda leer sus manifiestos (después de actualizar Captua o Fisqua), vuelve a enviar los volúmenes rechazados.
  • En un equipo sin Fisqua, el manifiesto de captura se puede descargar de todas formas desde la página del volumen.
  • Captua puede importar una lista de digitalización exportada desde Fisqua (las unidades que un archivo planea capturar) y crear un volumen para cada una.

Bienvenida y créditos

  • La pantalla de bienvenida ofrece "Get started in English" y "Empezar en español". Cada botón pone la interfaz en el idioma en que está escrito.
  • La pantalla de bienvenida reconoce a las instituciones y personas que hicieron posible Captua. En los créditos, un código QR lleva a la página del proyecto en el sitio web de AMPL.

Nombre en la red

  • La interfaz está ahora en http://captua.local. Si un equipo todavía se llama digitool, la actualización le cambia el nombre a captua; como el equipo también responde en digitool.local, los favoritos que ya tenías siguen sirviendo.
  • En la pantalla conectada al equipo, Captua funciona sin pasar por la red, así que sigue disponible aunque se caiga el wifi.
  • Después de esta actualización, Captua vuelve a preguntar el idioma una vez en la pantalla del equipo, porque el modo quiosco usa ahora otra dirección.

Actualizaciones

  • Si no se puede completar una actualización, Captua vuelve a poner la versión anterior cuando puede hacerlo sin perder nada. Si no puede, deja el equipo detenido, con un informe de lo que pasó y de cómo resolverlo, para que el equipo nunca arranque con una versión del programa que no corresponde a la base de datos.
  • El proceso de actualización no instala nada si la copia del programa en el equipo tiene cambios locales, ni instala una versión más antigua que la ya instalada.
  • La herramienta para volver a una versión anterior se detiene si, al restaurar la copia de seguridad, algunos volúmenes quedarían separados de sus archivos, y muestra cuáles.
  • Los logs del equipo ya no guardan los tokens de sesión que van en las direcciones de las imágenes y de las descargas.

Para equipos que ya están en uso

  • Los equipos en los que se capturaron imágenes antes de esta versión necesitan algunos pasos, por una sola vez, después de actualizar. Cada paso es una herramienta de línea de comandos que ejecuta el administrador del equipo:
    • registrar los archivos que ya están en la copia externa, incluidos los que Fisqua copió con los nuevos nombres;
    • ajustar el contador de capturas de cada volumen para que siga después del número más alto que ya usan esos archivos;
    • marcar como liberados los archivos que ya se quitaron del equipo;
    • registrar los checksums de las vistas previas más antiguas.
  • Hay que ejecutarlos en un orden determinado, que se explica en la guía de instalación.
  • Los ajustes del equipo pueden llevar ahora nombres que empiezan con CAPTUA_, y la pantalla Configuración los muestra. Captua sigue leyendo los nombres anteriores, que empiezan con DTK_. Si un ajuste aparece con los dos nombres, se usa el valor de CAPTUA_.

Límites conocidos

  • Para importar la lista de digitalización hay que subir el archivo: todavía no hay una pantalla para hacerlo, y Captua todavía no la recibe directamente de Fisqua.
  • Solo se puede liberar espacio en el equipo cuando un volumen ya está en la copia externa. Está prevista otra forma de liberar espacio que no necesita la nube: una copia del volumen en tres soportes distintos, verificada antes de quitar nada.

Enlaces

Agradecimientos

Captua is developed at the Archives, Memory, and Preservation Lab of the University of California, Santa Barbara and at the University of Texas at Austin. It has been made possible in part by a major grant from the National Endowment for the Humanities: Democracy demands wisdom. (NEH Award HAA-304052-25: "Digitization Toolkit: a Blueprint for Egalitarian Access to Technology in Low-Resource Environments".)

Any views, findings, conclusions, or recommendations expressed in this software do not necessarily represent those of the National Endowment for the Humanities.

National Endowment for the Humanities