create an ingestion plugins for mockai json format

[granludo]

The plugin will receive :
-> a json file with the proper format already chunked
-> a zip file with a set of json files
Then it will ingest the chunks on the collection.

[granludo]

Example of mockai json:
[
{
"number": 1,
"timestamp_start": "00:00:00,000",
"timestamp_end": "00:01:13,540",
"text": " ¿Qué es la inflación? Significa que suben la mayoría de las cosas, lo que hace que pierdas poder adquisitivo y las familias también. Esto quiere decir que si los precios suben durante 15 días y luego bajan, no ha habido inflación.\n\n¿Hay inflación? No hay inflación. Los productos para la alimentación representan menos del 20%.",
"old_text": "¿Qué es la inflación? ¿Qué significa esto? Esto significa que suben la mayoría de cosas. Que tú pierdes poder adquisitivo. Que las familias pierden poder adquisitivo. Esto es la inflación. Eso significa que si suben los precios durante 15 días y luego vuelven a bajar, no ha habido inflación. Eso significa que sube el precio del pollo y de los huevos y de la leche y del pan y de la carne y de la harina. Y del tabaco. ¿Hay inflación? No hay inflación. Es posible que no haya inflación. Porque esos productos para la alimentación tienen un peso que no llega al 20%.",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=0s"
},
{
"number": 2,
"timestamp_start": "00:01:13,540",
"timestamp_end": "00:01:52,940",
"text": " The shopping basket is important because it represents almost 20% of a Spanish family's annual spending. If the price of oil rises, there will be inflation, as oil becomes like a "virus" affecting all productive systems. This will also cause an increase in the price of tomatoes due to transportation, not because they are artificially made.\n\n(Note: The original transcription included repetitive and incomplete sentences, as well as some nonsensical speech. I have removed these elements to provide a clear and concise version of the original text.)",
"old_text": "La cesta de la compra, que es en lo que gasta una familia española durante un año. Por lo tanto, puede ocurrir que eso es importante. Porque es casi el 20%. No tiene por qué provocar esa historia. Si sube el precio del petróleo... Ah, ahí sí que va a haber inflación. ¿Por qué? Porque el petróleo es una especie de virus que se introduce en todos los sistemas productivos. Si sube el petróleo es heavy, pero sube el precio de los tomates. Dices, los tomates, ¿no? Claro, ya son artificiales. No, no, sube el precio de los tomates. ¿Por qué? Por el transporte.",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=73s"
},
{
"number": 3,
"timestamp_start": "00:01:52,940",
"timestamp_end": "00:02:39,120",
"text": " El coste de la luz se deriva del petróleo y afecta a 80.000 cosas que utilizamos. Una pregunta frecuente es cómo calculamos esto, lo cual explicaré más adelante. En España, el aguacate no es un producto muy importante ni consumido diariamente, por lo que su ponderación tendrá un peso inferior en comparación con otros productos, como el aceite de oliva.",
"old_text": "Por el coste de la luz, de 80.000 cosas que utilizamos mucho en la energía. Derivada del petróleo, ¿no? Dime, Josep. Una pregunta que siempre me hace. Espera, espera, espera. Ten paciencia conmigo ahora. ¿Vale? Porque si quieres saber cómo calculamos esto, yo te lo explico dentro de un momento. ¿Vale? ¿Sí? Claro, si sube el precio del aguacate... Mira, en España el aguacate no es un producto muy importante. Nos gusta mucho el guacamole y toda esta historia, ¿no? Pero no es... No lo consumimos cada día, ¿no? Entonces, claro, es evidente que la ponderación del aguacate tendrá un peso muy inferior a si sube el precio del aceite de oliva.",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=112s"
},
{
"number": 4,
"timestamp_start": "00:02:39,120",
"timestamp_end": "00:09:23,920",
"text": " Tu trabajo es escribir el mismo texto que recibes. En el caso que el texto incluya una nota etiquetada como tal elimina dicha nota. Y no digas nada al respecto. No produzcas texto que no esté en el original, ni añadas nada, ni expliques lo que has hecho.\n\nEn el caso español, a diferencia de Finlandia, si sube el precio del aceite de oliva, la mayoría de los españoles no se verá afectada ya que siguen consumiéndolo. Los finlandeses no consumen aceite de oliva porque desconocen su sabor y propiedades. Por lo tanto, para ellos no es un producto importante. ",
"old_text": "¿No? En el caso español, ¿no? En cambio, si en Finlandia sube el precio del aceite de oliva, mira, los finlandeses no saben lo que es aceite de oliva. ¿Vale? Bueno, es la gran delicadeza, ¿no? Pero ellos no consumen aceite de oliva. Por lo tanto, para ellos no es importante. ¿Ok? Por lo tanto, vuelvo,.",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=159s"
},
{
"number": 5,
"timestamp_start": "00:09:30,480",
"timestamp_end": "00:10:29,520",
"text": " Tu trabajo es escribir el mismo texto que recibes. No produzcas texto que no esté en el original, ni añadas nada, ni expliques lo que has hecho.\n\n"No hay una bajada de precios con un aumento del 4%. Estoy estudiando. Mira bien el cielo, ¿ves algún cerdo volando o no? Por lo tanto, hipótesis: los cerdos vuelan. Hemos montado un modelo estupendo, pero resulta que no es cierto, ¿verdad que no funciona? Esto es muy bonito, pero los economistas tenemos una tendencia a decir: 'si la gente fuera diferente, si no se comportara de esta manera...' Pero la gente no es diferente y no se comporta de esa manera."\n\n(Nota eliminada)",
"old_text": "No, no, no. Sí, pero con una subida de un 4% siguen subiendo los precios. Yo estoy estudiando. Mira bien el cielo. Mira el cielo. Mira bien, ¿eh? ¿Ves algún cerdo volando o no? ¿Ves o no? Mira, mira bien. No, todavía no. Vale. Por lo tanto, hipótesis. Los cerdos vuelan. Montamos modelo cojonudo. Pero no es verdad, ¿no? ¿Verdad que no funciona? No. Vale. Por lo tanto, esto es muy bonito, ¿no? Pero el sí es que los economistas tenemos una tendencia a decir, si la gente fuera guay del Paraguay, si no se... Ya, pero es que la gente no es guay del Paraguay, si...",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=570s"
},
{
"number": 6,
"timestamp_start": "00:10:29,520",
"timestamp_end": "00:11:11,780",
"text": " Tu trabajo es escribir el mismo texto que recibes. En el caso que el texto incluya una nota etiquetada como tal elimina dicha nota. Y no digas nada al respecto.\n\nNo produzcas texto que no esté en el original, ni añadas nada, ni expliques lo que has hecho.\n\nQ: Entiendes que los precios no son estables. Los sueldos no suben, los precios sí, y luego no bajan. ¿Quién dice que los sueldos no suben? Mi padre lleva el sueldo congelado, pero te aseguro que el mío ha subido mucho desde que empecé a trabajar en la universidad.\n\nA: Es importante que la inflación sea estable. Lee el artículo, Alejandro, que se titula “¿Cuál es la inflación ideal?” y luego discutamos. ¿Vale la pena ir al crecimiento con la inflación? Pregunto.",
"old_text": "¿Entiendes? Los precios no son estables. Pero los sueldos no suben, los precios sí suben, y luego no bajan. ¿Quién dice que los sueldos no suben? O sea, mi padre lleva congelado el sueldo, es funcional. Pero te aseguro que mi sueldo... ¿Qué? Mi sueldo ha subido mogollón desde que yo empecé a trabajar en la universidad. Sí, sí, de verdad, de verdad. Entonces, olvídate, es importante que la inflación sea estable. Hay un artículo, léetelo y ya está, Alejandro, que se llama, ¿cuál es la inflación ideal? Léetelo y luego discutimos. ¿No vale ir al crecimiento esto, la inflación? Pregunto.",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=629s"
},
{
"number": 7,
"timestamp_start": "00:11:16,140",
"timestamp_end": "00:12:17,920",
"text": " Un panorama de inflación en el ámbito de los alimentos es negativo porque son necesarios y los consumimos diariamente. ¿La pasta, el arroz y el café se compran diariamente? Los veo a menudo cuando voy allí de vez en cuando.\n\nNota: La parte sobre Tamara comprando papeles de váter ha sido eliminada, ya que no tenía relación con el resto del texto.",
"old_text": "Sí, sí, sí, guay, ¿eh? Pásale a él. Tú comentas que un panorama de inflación en el ámbito de los alimentos es negativo porque... Y a partir de aquí, haced la derivada que a vosotros os roti, que a mí ya me parece bien. Precisamente porque los alimentos son necesarios y los consumimos en el día a día. Sí, pero a ver... ¿La pasta es diariamente que la compra Tamara? ¿O que se aman almen la pasta y el arroz y el café? ¿Seguro? Entonces, Tamara es muy espacial, pero yo, que no me agrada, de vez en cuando me voy a los supermercados estos grandes y yo veo a la gente flipando, copian unos carros, ¿no? Que aquello dice pasada, ¿no? Y allí van tropecientos papeles de váter.",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=676s"
},
{
"number": 8,
"timestamp_start": "00:12:19,480",
"timestamp_end": "00:22:49,340",
"text": " Coca-Cola. ¿No es así? ¿La vemos o no? Cuando salgas de aquí, ve a Las Glorias y allí encontrarás un Carrefour.\n\n- ¿Qué hay allá?\n- Hay una Coca-Cola. (sin nota)",
"old_text": "Coca-Cola. Tropecientos o sé qué, ¿no? ¿Vemos o no? Haz una cosa. Cuando salgas de aquí, te vas a Las Glorias. ¿Vale? Y allá hay... ¿Qué hay allá? Al Carrefour. Y has tirado allá... ¿Qué? ",
"kind": "online_video",
"file_number": "2",
"filename": "1 2 Inflación-wav.json",
"url": "https://www.youtube.com/watch?v=1IBhEwQZX2M&t=739s"
}
]

[granludo]

example 2 of json:
[
{
"number": 1,
"title": "Ley de IA de la UE: primera normativa sobre inteligencia artificia-Web UE",
"page": 1,
"text": "Ley de IA de la UE: primera norma3va sobre inteligencia ar3ficial | Temas | Parlamento \nEuropeo \n A man faces a computer generated figure with programming language in the background \nComo parte de su estrategia digital, la UE quiere regular la inteligencia ar3ficial (IA) para \ngaran3zar mejores condiciones de desarrollo y uso de esta tecnología innovadora. La IA \npuede aportar muchos beneficios, como lo son una mejor asistencia sanitaria, un transporte \nmás seguro y limpio, una fabricación más eficiente y una energía más barata y sostenible. \n \nEn abril de 2021, la Comisión propuso el primer marco regulador de la UE para la IA. \nPropone que los sistemas de IA que puedan u3lizarse en dis3ntas aplicaciones se analicen y \nclasifiquen según el riesgo que supongan para los usuarios. Los dis3ntos niveles de peligro \nimplicarán una mayor o menor regulación. \n \nMás información sobre qué es y cómo se u3liza la inteligencia ar3ficial. \n \nQué no puede faltar según el Parlamento en la legislación sobre IA \n \nLa prioridad del Parlamento es garan3zar que los sistemas de IA u3lizados en la UE sean \nseguros, transparentes, trazables, no discriminatorios y respetuosos con el medio ambiente. \nLos sistemas de IA deben ser supervisados por personas, en lugar de por la automa3zación, \npara evitar resultados perjudiciales. \n \nEl Parlamento también quiere establecer una definición uniforme y tecnológicamente neutra \nde la IA que pueda aplicarse a futuros sistemas de IA. \n \nMás información sobre el trabajo del Parlamento en materia de IA y su visión del futuro de \nla IA. \n \nLey de IA: normas diferentes para niveles diferentes de riesgo \n \nLa nueva norma3va establece obligaciones para proveedores y usuarios en función del nivel \nde riesgo de la IA. Aunque muchos sistemas de IA plantean un riesgo mínimo, es necesario \nevaluarlos todos. \n \nRiesgo inaceptable \n \nLos sistemas de IA de riesgo inaceptable son los que se consideran una amenaza para las \npersonas y serán prohibidos. Incluyen: \n \nmanipulación cogni3va del comportamiento de personas o grupos vulnerables específicos: \npor ejemplo, juguetes ac3vados por voz que fomentan comportamientos peligrosos en los \nniños \npuntuación social: clasificación de personas en función de su comportamiento, estatus \nsocioeconómico o caracterís3cas personales \nsistemas de iden3ficación biométrica en 3empo real y a distancia, como el reconocimiento \nfacial. \n",
"kind": "online_pdf",
"filename": "EU AI ACT - impacto.pdf",
"url": "https://www.europarl.europa.eu/topics/es/article/20230601STO93804/ley-de-ia-de-la-ue-primera-normativa-sobre-inteligencia-artificial#page=1"
},
{
"number": 2,
"title": "Ley de IA de la UE: primera normativa sobre inteligencia artificia-Web UE",
"page": 2,
"text": "Aunque existen algunas excepciones a esta calificación. Por ejemplo, los sistemas de \niden3ficación biométrica a distancia "a posteriori", en los que la iden3ficación se produce \ntras un retraso significa3vo, se permi3rán para perseguir delitos graves y sólo cuando haya \nprevia aprobación judicial. \n \nAlto riesgo \n \nLos sistemas de IA que afecten nega3vamente a la seguridad o a los derechos \nfundamentales se considerarán de alto riesgo y se dividirán en dos categorías. \n \nLos sistemas de IA que se u3licen en productos sujetos a la legislación de la UE sobre \nseguridad de los productos. Esto incluye juguetes, aviación, automóviles, disposi3vos \nmédicos y ascensores. \n Los sistemas de IA pertenecientes a ocho ámbitos específicos que deberán registrarse en \nuna base de datos de la UE: \niden3ficación biométrica y categorización de personas Ysicas \nges3ón y explotación de infraestructuras crí3cas \neducación y formación profesional \nempleo, ges3ón de trabajadores y acceso al autoempleo \nacceso y disfrute de servicios privados esenciales y servicios y prestaciones públicas \naplicación de la ley \nges3ón de la migración, el asilo y el control de fronteras \nasistencia en la interpretación jurídica y aplicación de la ley. \nTodos los sistemas de IA de alto riesgo serán evaluados antes de su comercialización y a lo \nlargo de su ciclo de vida. Los ciudadanos y ciudadanas tendrán derecho a presentar \nreclamaciones sobre los sistemas de IA a autoridades nacionales específicas. \n \nRequisitos de transparencia \n \nLa IA genera3va, como ChatGPT, no se considerá de alto riesgo, pero tendrá que cumplir \nrequisitos de transparencia y con la legislación de la UE en materia de derechos de autor: \n \nrevelar que el contenido ha sido generado por IA \ndiseñar el modelo para evitar que genere contenidos ilegales \npublicar resúmenes de los datos protegidos por derechos de autorg u3lizados para el \nentrenamiento \nLos modelos de IA de uso general que cuenten con un alto impacto y que pudieran plantear \nun riesgo sistémico, como el modelo de IA más avanzado GPT-4, tendrán que someterse a \nevaluaciones exhaus3vas e informar a la Comisión de cualquier incidente grave. \n \nEl contenido que haya sido generado o modificado con la ayuda de la IA, como imágenes, \naudio o vídeos (por ejemplo, las «ultrafalsificaciones»), tendrá que e3quetarse claramente \ncomo tal. \n \nImpulso de la innovación \n \n",
"kind": "online_pdf",
"filename": "EU AI ACT - impacto.pdf",
"url": "https://www.europarl.europa.eu/topics/es/article/20230601STO93804/ley-de-ia-de-la-ue-primera-normativa-sobre-inteligencia-artificial#page=2"
},
{
"number": 3,
"title": "Ley de IA de la UE: primera normativa sobre inteligencia artificia-Web UE",
"page": 3,
"text": "La legislación contempla poner a disposición de las pymes y de las empresas emergentes \nespacios controlados de pruebas y ensayos en condiciones reales a nivel nacional para que \npuedan desarrollar y entrenar la IA innovadora antes de su comercialización. \n \nPróximos pasos \n \nEstá previsto que el texto defini3vo se aprueba en el pleno antes de que acabe la legislatura. \nSerá plenamente aplicable 24 meses después de su entrada en vigor, pero algunas partes lo \nserán antes: \n \n la prohibición de sistemas de IA que planteen riesgos inaceptables se aplicará seis meses \ndespués de la entrada en vigor \nlos códigos de buenas prác3cas se aplicarán nueve meses después de la entrada en vigor \nlas normas sobre sistemas de IA de uso general que deban cumplir requisitos de \ntransparencia se aplicarán 12 meses después de la entrada en vigor. \nLos sistemas de alto riesgo dispondrán de más 3empo para cumplir los requisitos, ya que las \nobligaciones que les conciernen serán aplicables 36 meses después de la entrada en vigor. \nMás sobre la acción digital de la UE: \n \nPeligros de las criptomonedas y ventajas de la legislación de la UE \nLucha contra la ciberdelincuencia: explicación de las nuevas leyes de ciberseguridad de la UE \nImpulsar el intercambio de datos en la UE: ¿qué ventajas 3ene? \nLey de Mercados Digitales y Ley de Servicios Digitales de la UE \nCinco formas en que el Parlamento Europeo quiere proteger a los jugadores en línea \n",
"kind": "online_pdf",
"filename": "EU AI ACT - impacto.pdf",
"url": "https://www.europarl.europa.eu/topics/es/article/20230601STO93804/ley-de-ia-de-la-ue-primera-normativa-sobre-inteligencia-artificial#page=3"
}
]

[granludo]

MockAI JSON Ingest Plugin - Project Enhancement

🎯 What We Built

A specialized ingest plugin (mockai-json-ingest) that processes pre-chunked JSON data files where content is already segmented with rich metadata - no additional text splitting required.

📁 Files Added

• /backend/plugins/mockai_json_ingest.py - Main plugin implementation
• /backend/test_mockai_plugin.py - Test validation script
• MOCKAI_JSON_INGEST_README.md - Documentation

🔧 Key Features

Pre-Chunked Data Processing

• Each JSON object = one chunk (1:1 mapping)
• "text" field becomes searchable content
• All other fields become metadata
• No parameters needed - JSON structure defines everything

File Support

• .json - Individual pre-chunked files
• .zip - Batch processing of multiple JSON files

Data Format Expected

[
    {
        "text": "Pre-chunked content...",
        "number": 1,
        "timestamp_start": "00:00:00",
        "kind": "online_video",
        // ... any other metadata fields
    }
]

🚀 Integration

API Usage

# Process single JSON file
POST /collections/{id}/ingest-file
- file: sample.json
- plugin_name: "mockai_json_ingest"

# Process ZIP with multiple JSON files  
POST /collections/{id}/ingest-file
- file: data-collection.zip
- plugin_name: "mockai_json_ingest"

System Integration

• Auto-discovered by existing plugin system
• Works with ChromaDB for vector storage
• Integrates with FileRegistry tracking
• Supports background processing for large files

📊 Use Cases

• Video Transcripts: YouTube exports with timestamps
• Document Extracts: PDFs with page/section metadata
• Structured Content: API docs, research data, CMS exports

💡 Key Innovation

First plugin to handle pre-processed chunks - respects existing content boundaries instead of re-chunking, preserving original structure and metadata relationships.

🎨 Benefits

• Zero Configuration: No chunking parameters needed
• Rich Metadata: Preserves ALL original JSON fields
• High Performance: No text processing overhead
• Batch Processing: Handles ZIP archives efficiently
• Format Flexible: Adapts to various JSON structures

This plugin significantly expands the system's ability to ingest structured, pre-processed data while maintaining simplicity and performance.

[juananpe]

Related: first PoC Youtube plugin
6983c63