Repository navigation
Identificar por foto
English · Español
«Identificar por foto» reconoce cartas de Magic reales a partir de una imagen: qué carta es y qué impresión. Se llega desde la pantalla Buscar (la carta reconocida abre su ficha) y desde el diálogo Añadir carta (las cartas reconocidas entran en el deck abierto con sus copias). En el escritorio se sueltan o se eligen fotos; en Android un escáner en vivo reconoce cartas sin pulsar nada y las encadena, una tras otra, como las apps de colección.
Es un trabajo distinto de vincular una imagen propia: allí la imagen es una proxy cuyo título puede ser inventado; aquí es la foto de una carta impresa, con fondo, perspectiva y luz, y la impresión importa. Las dos comparten el OCR y la propuesta del nombre.
| Fichero | Qué hace |
|---|---|
src-tauri/crates/proxy-core/src/foto/ |
El trabajo de imagen, puro: detectar.rs (las cuatro esquinas de la carta en la foto), enderezar.rs (homografía y remuestreo a una carta plana de 630 × 880), firma.rs (huella de la ilustración para comparar impresiones), mod.rs (Punto, Esquinas, nitidez, utilidades comunes). |
src-tauri/src/reconocer/mod.rs |
De una foto a una Reconocida: reconocer (detectar + enderezar) y reconocer_enderezada (OCR, nombre, impresión). |
src-tauri/src/reconocer/impresion.rs |
Qué impresión: el pie, o la ilustración más parecida entre las impresiones del nombre (ordenar_por_imagen). |
src-tauri/src/reconocer/vivo.rs |
El escáner en vivo: hueco de un fotograma, hilo de trabajo, Seguimiento (cuándo leer, cuándo una carta es nueva), entradas JNI. |
src-tauri/src/commands/reconocer.rs |
Comandos reconocer_foto, reconocer_vivo_abrir, reconocer_vivo_cerrar, reconocer_vivo_linterna. |
src-tauri/src/commands/identify.rs |
leer_imagen (OCR de una carta) y proponer (la propuesta del nombre), compartidos con la vinculación. |
src-tauri/plugins/android-extra/android/…/EscanerCartas.kt |
La cámara de Android: vista previa de CameraX detrás de la vista web transparente y fotogramas para Rust. |
src-tauri/plugins/android-extra/android/…/Nativo.kt |
El objeto del puente JNI (comprobar, quiere, fotograma). |
src/stores/reconocer-store.ts |
useReconocer: diálogo o escáner abierto, modo (buscar o deck), la bandeja, la cola de fotos. |
src/features/reconocer/cuentas.ts |
La lógica pura de la bandeja: empezar, llegar (la misma carta suma una copia), elegir, cantidad, qué añadir. Con tests. |
src/features/reconocer/reconocer-dialog.tsx |
El diálogo (escritorio y galería), la zona para soltar, elegirFotos. |
src/features/reconocer/escaner-vivo.tsx |
La pantalla del escáner en vivo (Android). |
src/features/reconocer/visor.ts |
La geometría pura de lo que se pinta sobre la cámara (marcoGuia, encajar). Con tests. |
src/features/reconocer/bandeja.tsx |
Una fila por foto: la foto enderezada junto a la impresión propuesta, cómo se supo, un selector para corregirla, las copias o «Ver la ficha». |
src/features/reconocer/anadir.ts |
anadirAlDeck: mete las cartas elegidas como lo hace «Añadir carta». |
src/features/reconocer/boton-reconocer.tsx |
El botón «Identificar por foto» (escáner en el móvil, diálogo en el escritorio). |
flowchart TD
F["foto (fichero, content:// o fotograma de la cámara)"] --> D["foto::detectar<br/>cuatro esquinas o ninguna"]
D -- esquinas --> E["foto::enderezar → 630 × 880"]
D -- ninguna --> W["la foto entera estirada a 630 × 880"]
E --> O["leer_imagen: OCR (título, pie, resto)"]
W --> O
O --> P["proponer: índice de nombres, pie, Scryfall"]
P --> Q{"¿algo?"}
Q -- no --> R["girar 180° y leer otra vez"]
R --> P
Q -- sí --> I["impresion::elegir"]
I --> A{"¿colección y número del pie<br/>de la misma carta?"}
A -- sí --> X["impresión exacta (por = pie)"]
A -- no --> B["impresiones del nombre<br/>comparar ilustraciones (por = imagen)"]
B -- sin imágenes / sin red --> N["solo el nombre (por = nombre)"]
Como un escáner de documentos, sobre una copia en grises de 480 px (media por bloques, así una foto de 12 MP cuesta unos milisegundos):
- Desenfoque gaussiano (
imaging::blur::gauss, σ 1,2) y magnitud del gradiente de Sobel. - El 14 % de bordes más marcados (pero nunca por debajo de 24, para que una foto lisa no se invente bordes), engordados un píxel para cerrar huecos.
-
rten_imageproc::find_contours(el mismo crate que ya trae el OCR). - Cada contorno que ocupa del 8 al 99,5 % de la foto: casco convexo y Douglas-Peucker con tolerancia creciente hasta que quedan cuatro vértices. Douglas-Peucker conserva siempre su primer punto, así que el casco se gira para empezar por el punto más alejado del centro (una esquina); si no, sobrevive un punto a mitad de un lado y se recorta una esquina. Si no sale un polígono de cuatro (un dedo tapando una esquina, fundas muy redondas), se usa el rectángulo de área mínima cuando el casco lo llena al menos un 85 %.
- El cuadrilátero debe tener la proporción de una carta (63 / 88 = 0,716) con un margen del 20 %, medida sin la banda que el desenfoque y el engordado añaden alrededor del contorno (
BANDA, 2 px de la imagen reducida por lado: con ella todo rectángulo parece más cuadrado). Es amplio a propósito: una carta vista desde abajo en perspectiva llega a 0,84 (un 18 %); con un 12 % se descartaba el borde exterior y ganaba la caja de texto de dentro. Una pantalla de 16:9 (una tele, un móvil: un 21 %) y una caja de 2:1 no pasan; en la cámara virtual del emulador la tele pasaba por carta. - Gana el mayor que pasa.
Las esquinas van en el sentido del reloj empezando por la de arriba a la izquierda de la carta: el primer lado es uno de los cortos, el que queda más arriba en la foto (o el de la izquierda si la carta está tumbada). Una carta boca abajo sale girada 180°; lo arregla quien lee, leyendo otra vez girada (girar180).
Una homografía de cuatro puntos (sistema de 8 × 8, eliminación gaussiana con pivote parcial) lleva la carta plana a la foto; cada píxel de salida se toma con interpolación bilineal, con 2 × 2 o 3 × 3 muestras por píxel cuando la carta de la foto es mucho mayor de 880 px de alto (así sobrevive la letra pequeña del pie). Salida: ANCHO × ALTO = 630 × 880. Sin esquinas, la foto entera se estira a esa medida (puede ser ya un escaneo).
leer_imagen y proponer son las dos mitades del antiguo identificar de commands/identify.rs, partido para que la vinculación y las fotos lo compartan (la vinculación hace exactamente lo mismo que antes). proponer va sin pista y con escrito = false. El nombre inglés de una carta real se encuentra con el índice local de nombres (originales::buscar), un nombre impreso en otro idioma con la búsqueda multilingüe de Scryfall, y el pie (pie_leido) da colección, número y, en las cartas recientes, idioma.
Si la primera lectura no da nada (ni nombre seguro ni pie), la carta estaba seguramente boca abajo: se gira 180° y se lee otra vez, y se queda la lectura que dio más.
-
El pie. Si el pie da colección y número,
card_lang(colección, número, idioma o en)trae esa impresión exacta; solo se usa si es la misma carta que el nombre propuesto (un pie mal leído puede apuntar a otra).por = pie, confianzaExact. -
La ilustración. Si no, se traen las impresiones del nombre (
consulta_impresiones, la consulta decard_prints, en el idioma de la propuesta, o en inglés si en ese no hay). Se agrupan porillustration_id(un campo opcional nuevo deScryCard; las cartas guardadas en la caché sin él cuentan cada impresión como un grupo) y se comparan los primerosMAX_ILUSTRACIONES = 40grupos: se baja la imagensmallde una impresión por grupo (cuatro a la vez) aapp_cache_dir/reconocer/<id>.jpg, se calcula suFirmay se compara con la de la foto. Las impresiones se ordenan por distancia; las no comparadas van al final, en el orden de Scryfall.-
Umbral. La mejor ilustración solo cuenta si su distancia es como mucho
UMBRAL_IMAGEN = 0,30. Con cartas reales el arte bueno queda hacia 0,11 y los demás hacia 0,5; una proxy, o un arte que Scryfall no tiene, da 0,5 con todos. Por encima del umbral el resultado espor = nombre(la lista sigue ordenada, pero elige la persona). -
El marco, dentro del arte ganador. Muchas impresiones comparten ilustración (el Lightning Bolt de Christopher Moeller está en M10, M11, A25, 2X2, Jumpstart…) y su huella del arte es idéntica.
afinar_marcoreordena ese bloque: primero las del idioma de la carta (el de la propuesta o el del pie: los marcos de una impresión son iguales en todos los idiomas) y, entre ellas, la de carta entera (Firma::de_zona(carta, ENTERA)) más parecida a la foto, comparando una impresión por colección y número, como muchoMAX_MARCOS = 12.por = imagen.
-
Umbral. La mejor ilustración solo cuenta si su distancia es como mucho
-
Solo el nombre. Sin red o sin imágenes, o si ninguna ilustración pasa el umbral, la propuesta es la propia carta propuesta.
por = nombre.
Una carta de otra fuente (una ficha de Cockatrice) no tiene impresiones: se devuelve tal cual.
La ventana de la ilustración, en fracciones de la carta (ARTE: x de 0,08 a 0,92, y de 0,11 a 0,55, válida para el marco moderno, el antiguo y el arte a sangre), da dos cosas:
- un dHash de 16 × 16 (si cada zona es más clara que la de su derecha), que aguanta brillo, contraste, JPEG y un poco de desenfoque;
- el color medio de una rejilla de 6 × 4 en CIE Lab, con la luminosidad media restada (la luz de la habitación cambia más el brillo que el tono).
distancia = 0,5 · Hamming/256 + 0,5 · min(ΔE medio / 40, 1). La medida no importa: la small de Scryfall (146 × 204) y la foto de 630 × 880 dan la misma huella con menos de 0,12 de diferencia.
| Comando | Firma | Notas |
|---|---|---|
reconocer_foto |
(ruta) -> Reconocida |
Lee el fichero por fichero.rs (también un content:// de Android, hasta 80 MB), lo decodifica (con la orientación EXIF) y pasa la cadena entera. |
reconocer_vivo_abrir |
(canal: Channel<EstadoEscaner>) -> () |
Solo Android (Unsupported, motivo: camara fuera). Baja los modelos del OCR si faltan, pone a trabajar el hilo, abre la cámara (pidiendo el permiso) y deja la pantalla encendida (UsoPantalla::Escaner). |
reconocer_vivo_cerrar |
() -> () |
Para el hilo, cierra la cámara y deja que la pantalla se apague. Se puede llamar aunque no haya nada abierto. |
reconocer_vivo_linterna |
(si) -> bool |
Linterna sí o no; false si no hay flash. |
Reconocida { esquinas?, miniatura, lectura, candidatas, mejor?, confianza, impresiones, por }: esquinas en fracciones de la foto (null = se usó la foto entera), miniatura un JPEG de unos 300 px en data: URL de la carta enderezada, impresiones una lista de { carta, distancia? }, la mejor primero, y por uno de pie, imagen, nombre, nada.
Errores: la cámara sin permiso es Unsupported con motivo: permiso_camara, sin una cámara que valga es Unsupported con motivo: camara (los dos traducidos en lib/errores.ts); los problemas de la imagen llegan por la conversión de siempre de ImagingError (ErrorCode::Image).
sequenceDiagram
participant K as EscanerCartas.kt
participant R as reconocer::vivo (Rust)
participant P as escaner-vivo.tsx
P->>R: reconocer_vivo_abrir(canal)
R->>K: escanerAbrir (permiso, CameraX)
loop cada fotograma (≥ 120 ms entre uno y otro)
K->>R: ¿Nativo.quiere()?
K->>R: Nativo.fotograma(rgba, w, h, giro)
R->>R: girar, detectar
R-->>P: viendo { esquinas, ancho, alto, leyendo }
alt carta quieta 2 fotogramas, nítida, sin leer
R->>R: enderezar, OCR, proponer, impresión
R-->>P: reconocida { reconocida } (solo si es nueva)
end
end
P->>R: reconocer_vivo_cerrar
R->>K: escanerCerrar
-
La cámara detrás de la página.
EscanerCartasañade unPreviewViewde CameraX (FILL_CENTER) al padre de la vista web, trae la vista web delante y la vuelve transparente, como el modowindoweddel lector de QR, con la misma versión de CameraX (1.5.1) para que Gradle no mezcle dos. La interfaz del escáner es de React: mientras está abierto,html[data-escaner]deja transparenteshtmlybodyy oculta#root(sin desmontarlo,index.css); el escáner va en un portal fuera de#root, así que los diálogos (la ficha de una carta) siguen saliendo por encima. CameraX va atada al ciclo de vida de la actividad y se para sola en segundo plano. -
Fotogramas sin desperdicio.
ImageAnalysisenRGBA_8888, quedándose solo con el último, a unos 1280 × 720. Antes de copiar un fotograma Kotlin preguntaNativo.quiere(); Rust dice que sí solo si su único hueco está vacío y el hilo está libre. Las filas se copian sin el relleno de cada una y se entregan conNativo.fotograma(rgba, ancho, alto, giro), como mucho uno cada 120 ms. Uno nuevo pisa al que no se haya cogido: nunca hay cola. -
Por qué JNI y no IPC. Un fotograma son unos 3,7 MB; por el IPC de la vista web (JSON o base64) no sería viable, y
getUserMediano está conectado en la vista web de Tauri en Android (RustWebChromeClientno atiendeonPermissionRequest). JNI le da los bytes directamente al hilo; la pantalla solo recibe mensajes pequeños por unChannel. -
Cuándo leer (
Seguimiento). Puro y probado con secuencias de esquinas:- una carta está quieta cuando sus esquinas se mueven menos del 2 % de la diagonal del fotograma (
QUIETA) durante 2 fotogramas (ESTABLE); - un salto de más del 15 % (
SALTO) es otra carta (o un movimiento grande): se puede leer otra vez; - 6 fotogramas sin carta (
SALIDA) es que se fue: la misma carta cuenta otra vez si vuelve; - una lectura sin resultado espera 3 fotogramas (
REINTENTO); una carta enderezada movida (foto::nitidezpor debajo de 20) espera 1; - una carta ya leída no se relee mientras siga a la vista, y una lectura que da la carta que ya está a la vista no se manda.
- una carta está quieta cuando sus esquinas se mueven menos del 2 % de la diagonal del fotograma (
-
La pantalla. Barra superior con cerrar, linterna y galería; el marco guía (una carta, el 75 % del sitio) y el contorno detectado (ámbar mientras lee); un aviso de estado («Apunta a una carta…», «Quieto un momento…», «Leyendo…», «Reconocida: X»); la bandeja abajo (al lado, de lado) con la más nueva primero y «Añadir al deck» en el modo deck. Cada carta reconocida vibra un instante. El «Atrás» de Android sale del escáner: con algo en la bandeja va al diálogo (no se pierde nada); si no, cierra. Sin permiso lo explica y ofrece los ajustes de Android (
abrirAjustesDeLaCamara) o la galería. -
La geometría de encima (
visor.ts): la vista previa llena la pantalla recortando lo que sobra, así queencajarescala el fotograma pormax(W / ancho, H / alto), lo centra y resta dónde empieza la caja del visor.
El diálogo y el escáner comparten useReconocer y la misma bandeja, así que pasar de uno a otro la conserva.
- Una foto entra «leyendo» (
empezar) y luego llega (llega). Si otra fila ya tiene la misma carta elegida, suma una copia allí y la nueva desaparece (escanear dos veces la misma carta son dos copias). Una fila sin propuesta no cuenta hasta que se elige una carta. - Cada fila enseña la foto enderezada junto a la miniatura de la impresión propuesta (para compararlas), cómo se supo (exacta por el pie, por la ilustración, solo por el nombre, «revísala» para
Probable, «elige la carta» paraNone) y un selector con las impresiones primero (hasta 40) y luego las otras cartas propuestas. - Modo Buscar: «Ver la ficha» abre la ficha de la carta encima (el escáner sigue abierto).
-
Modo deck (desde «Añadir carta», que se cierra antes): copias por fila y «Añadir al deck».
anadirAlDecktrae cada carta una vez contraerCarta, clona las copias de más con un id nuevo, las mete en la posición desde la que se abrió el diálogo (y en lugar de la casilla en blanco, si la había) en un solo paso de deshacer y anuncia «N cartas añadidas al deck». - Las fotos se leen de una en una (una cola de promesas en el store); cerrar vacía la bandeja y deja de leer el resto. El diálogo pregunta antes de cerrar mientras lee, y en el modo deck con cartas sin añadir.
-
Soltar ficheros: el diálogo escucha
onDragDropEventmientras está abierto; el arrastre global de la vista previa (useArrastrarFicheros) no hace nada mientras tanto, así que las fotos no se añaden además como cartas propias.
En la CPU de un ordenador (compilación de release), con una carta en español girada 12° sobre un fondo con ruido en una foto de 3000 × 2600: detectar y enderezar, 25 ms; OCR de la carta enderezada entera, mediana de 185 ms (solo la franja del título, 82 ms; solo la del pie, 108 ms). El título y el nombre inglés impreso se leen bien. La cadena entera contra Scryfall (la primera vez, con las descargas) tarda de 2 a 4 s: un Lightning Bolt fotografiado de M10 da exactamente M10 146 por su ilustración y su marco; una proxy cuyo arte no tiene Scryfall se queda en «solo por el nombre». Un móvil es varias veces más lento; reconocer::tests::mide_el_ocr (#[ignore], PB_DATOS y PB_FOTO) lo mide en el dispositivo.
-
proxy-core/src/foto/: detección de frente, girada (±15°, −25°), tumbada (90°), boca abajo (170°), en perspectiva, en una foto de 3000 px, sin carta, con una caja de 2:1 y con una pantalla de 16:9; la homografía de ida y vuelta y con puntos alineados; enderezar una foto en perspectiva con un error medio de 6/255 como mucho; la huella: la misma ilustración como foto peor está más cerca que otra ilustración, la medida no importa y la carta entera distingue dos marcos del mismo arte; la nitidez. Todo con fotos inventadas por un generador fijo (foto::pruebas). -
src-tauri/src/reconocer/: la foto entera cuando no hay carta, esquinas en fracciones, la miniatura comodata:URL JPEG; el orden de impresiones con unCardApide mentira (gana la ilustración de la foto, una descarga por ilustración, la caché la segunda vez, las que no tienen imagen al final, solo 40 ilustraciones comparadas, el marco y el idioma deciden dentro de un mismo arte, no se baja nada más si ningún arte se parece); nombres de fichero seguros en la caché; secuencias deSeguimiento(lee al quedarse quieta, no relee ni repite mientras sigue a la vista, cuenta otra vez tras salir, otra carta en su sitio, espera para reintentar); el giro del fotograma; sin escáner abierto no se quieren fotogramas. Dos tests#[ignore]:mide_el_ocryreconoce_una_foto_de_verdad(la cadena entera contra Scryfall en una carpeta temporal:PB_MODELOS,PB_FOTO). -
src/features/reconocer/__tests__/: la bandeja (cuentas.test.ts) y la geometría de encima de la cámara (visor.test.ts);features/preview/__tests__/arrastrar-ficheros.test.tscomprueba que el arrastre global no hace nada con el diálogo abierto.
- Detectar mejor en fondos difíciles: añadir un caso inventado a los tests de
detectar.rsy luego ajustarPERCENTIL_BORDE,AREA_MINIMAoTOLERANCIA_PROPORCION. - Elegir mejor la impresión:
ARTEy los pesos deFirma::distancia;MAX_ILUSTRACIONESpone tope a las descargas de las cartas con cientos de impresiones (tierras básicas, Sol Ring). - El tacto del escáner: las constantes de arriba de
reconocer/vivo.rsyEscanerCartas.INTERVALO_MS. - Aún no está: mover las esquinas a mano cuando la detección falla, la webcam en el escritorio, distinguir foil.
- Identificación de cartas y OCR: el OCR y la propuesta del nombre que comparte.
- Búsqueda de cartas y Añadir carta y variantes: dónde está el botón.
-
Móvil: el plugin
android-extra, JNI y las comprobaciones de la release. - Integración con Scryfall: impresiones e imágenes.
-
Almacenamiento y blobs:
app_cache_dir/reconocer/.
Use and build · Uso y desarrollo
- User-Guide · Guía de usuario
- Development-Setup · Preparación del entorno de desarrollo
- Testing-and-CI · Tests y CI
- Releases-and-Auto-Updates · Versiones y actualizaciones automáticas
- Conventions · Convenciones
- Rename-to-Tapete · Cambio de nombre a Tapete
- License · Licencia
Architecture · Arquitectura
- Architecture · Arquitectura
- IPC-and-Error-Handling · IPC y manejo de errores
- Rust-App-Layer · Capa de aplicación Rust
Data · Datos
- Deck-Model · Modelo del mazo
- Storage-and-Blobs · Almacenamiento y blobs
- Deck-Package-Format · Formato del paquete de mazo
- Deck-Library · Biblioteca de mazos
Getting cards · Conseguir cartas
- Decklist-Parsing · Parseo de la lista del mazo
- Scryfall-Integration · Integración con Scryfall
- External-Sources · Fuentes externas
- Card-Identification-and-OCR · Identificación de cartas y OCR
- Identify-From-a-Photo · Identificar por foto
Layout, images, PDF · Maquetación, imagen y PDF
- Layout-Engine · Motor de maquetación
- Imaging-and-PDF · Imagen y PDF
- Export · Exportación
- The-Card-Stamp · El sello de las cartas
- Live-Preview · Vista previa en vivo
- Statistics · Estadísticas
Card designer · Diseñador de cartas
- Designer-Overview · Visión general del diseñador
- Designer-Engine · Motor del diseñador
- Designer-Composition · Composición del diseñador
- Frame-Packs · Packs de marcos
- Designer-App-Layer · Capa de aplicación del diseñador
- Designer-UI · Interfaz del diseñador
- Card-Editor-Dialog · Diálogo Editar carta
Game table · Mesa de juego
- Game-Engine · Motor de la mesa
- Game-Table · Mesa de juego
- Online-Play · Juego en línea
- Friends-and-Messages · Amigos y mensajes
Mobile · Móvil
Frontend · Frontend
- Frontend-Architecture · Arquitectura del frontend
- State-Stores · Stores de estado
- Internationalization · Internacionalización
- Themes-and-Skins · Temas y skins
- Icons · Iconos
- Settings-and-Shell · Ajustes y shell
- Tutorials · Tutoriales
- Decklist-Panel · Panel de la lista del mazo
- Add-Card-and-Variants · Añadir carta y variantes
- Card-Search · Búsqueda de cartas
- Set-Browser · Explorador de sets
Reference · Referencia