S9: Codificación multimedia (II)
- Tiempo: 50min + 50min
- Fecha: 19 de Marzo
-
Objetivos:
- Captura de Audio/Vídeo
- Códecs
- Visión general del funcionamiento del Vídeo
- Contenedores multimedia
- Introducción
- Captura de audio
- Códecs
- Encapsulado de audio
- Vídeo
- Descargas
- El rincón friki
- Autor
- Créditos
- Licencia
- Enlaces
La información que está disponible en esta wiki es una guía para el profesor. Los contenidos se desarrollan más a fondo en las clases presenciales
Partimos del esquema general que vimos en la clase pasada. Esta es la película
El audio digital se obtiene a partir de la digitalización de la señal analógica eléctrica, usando un conversor analógico/digital. El proceso tiene dos fases: Muestreo y cuantificación
Durante el muestreo se dejan pasar solo el voltaje de la señal durante ciertos instantes de tiempo, permaneciendo el resto a 0v. Lo que se obtiene es una señal eléctrica con picos muy estrellos, que se representa mediante puntos sobre líneas verticales. Se trata de una señal discreta. Cada punto es una muestra. La frecuencia a la que se obtienen las muestras se denomina frecuencia de muestreo y se mide en muestras/segundos
A la salida del conversor analógico digital se obtienen números en binarios, con un número fijo de bits. Esto hace que la precisión para medir el voltaje de cada muestra sea finita y que sólo se dispongan de N niveles para representar ese voltaje. Así, si representamos cada muestra con 8 bits, tendremos 256 niveles diferentes de voltaje
Si el voltaje de una muestra recae entre dos niveles, se aproxima al más cercano
Debido a ello, al realizar la conversión a digital se está introduciendo un error. Y por ello, la señal analógica reconstruida, NO será exactamente igual a la original
A la salida del conversor A/D tenemos un chorro de bits, el bitrate, que se mide en bits por segundo(bits/s ó bps)
Una señal de audio se muestrea a una frecuencia de 1Khz y se usa un conversor A/D de 8 bits. ¿Cual es el bitrate del audio digital?
Se están tomando 1000 muestras por segundo, y como cada muestra es de 8 bits, se tendrá un bitrate de 8000 bits por segundo (8Kbps)
El primer formato de audio digital fue el PCM: Modulación por impulsos codificados
- Aplicación: telefonía
- Frecuencia de muestreo: 8000 muestras por segundo
- 8 bits por muestra (256 niveles)
- Bitrate de 64Kbps
- Paso de cuantización variable. En la voz humana hay más cantidad de amplitues pequeñas que grandes. Se usan más bits para las amplitudes pequeñas
- Cuantificación Lineal
- Primer formato elegido para la distribución multimedia
- CDs: Muestreo a 44.1K con 16 bits por muestra
- DVDs: Muestreo a 192K con 24 bits por muestra
- Misión fundamental: Comprimir. Usar menos bits para representar la misma señal digital, o lograrlo con las menor degradación posible
Para captar la idea de códec, imaginemos que tenemos una señal digital, con las siguientes muestras de 6 bits: 50, 10, 15, 20. En total tenemos 4 x 6 = 24 bits. Analizando el grupo de muestras, vemos que son múltiplos de 5 por lo que podemos sacar el 5 como factor común, obteniendo: 5 * [10, 2, 3, 4]. Como son números más pequeños, los podemos representar con 4 bits (en vez de 6). Así, ese nuevo grupo es de 5 * 4 = 20 bits. Hemos pasado de un grupo de 24 bits a otro de 20 bits
¿Qué precio pagamos? --> Mayor recursos de procesado. Compromiso entre compresión - recursos de procesado
- PCM. Sin compresión. Binario natural
- AMR. Usado en Telefonía (GSM). Frames de 20ms con 160 muestras a 8Khz (8 bits). Baja calidad
- SPEEX. Códec libre, para voz. Frames de 20ms con 160 muestras a 8Khz (8 bits) (Obsoleto--> Opus)
- Opus. Códec Libre. Formato contenedos del Ogg. Las notas de voz de WhatsApp usan Opus
- AAC. Sucesor del MP3. Alta calidad. Servicios de streaming
- Las muestras de audio se agrupan en frames, que contienen un fragmento de audio de longitud fija
- Los frames son cortos para evitar latencia
- Información que aparece en los frames:
- Tipo de Frame
- Indicador de calidad
- CRC
- Muestras
Estudiaremos los procesos involucrados en la captura y tratamiento básico de las señales de Vídeo
- Luz: Ondas electromagnéticas
- Propiedades: reflexión, refracción
- Composición luz blanca. Prisma de newton. Disco de Newton
- RGB. Colores primarios: Rojo-verde-azul. ¡¡Concepto biológico!!
- Construcción aditiva de colores
- Dibujo transformación, transporte y almacenamiento de vídeo
- Información asociada a la onda
- Los 3 canales en paralelo
- Idem, pero con números. Adición de conversores A/D
- La magia está en el transductor CCD
- Sensor con células fotoeléctricas, cada una capta la intensidad de un color
- Muestreo en tiempo y en espacio
- ¡Muchísima información!
- Hay muchísima información:
- Una señal PAL de televisión requeriría un bitrate de 216Mbps
- Un DVD sólo podría almacenar 21 segundos de señal PAL
- Usamos Códecs: Codifcador + decodificador
- Hay mucha redundancia, tanto temporal como espacial. El objetivo de los codecs es eliminar esta redundancia (sacar factor común)
- Tipos de compresión:
- Compresión sin pérdidas: Compresión reversible con el que se obtiene la imagen original. Factores de compresión de un orden de maginitud: 1M --> 100K
- Compresión con pérdidas: La señal codificada NO es identica a la original. Mayor ratio de compresión a coste de pérdida en la calidad de la imagen
- El vídeo se encapsula en frames (PDU)
- En estos frames encontramos información como:
- Inicio y fin de la imagen
- Referencia temporal
- Formato del vídeo: tamaño pantalla
- Tipo de fotograma
- Vídeo codificado
- ....
- MPEG2 (1996). Se usa en TDT
- H.263 (1995). Muy fácil de codificar. Móviles
- H.264/MPEG-4 (2001). Alta calidad. Alta compresión
- Spark Sorenson. Codec usado en Flash (FLV)
- Theora: Libre. Calidad un poco inferior a MPEG4
- VP8. De google, pero libre. Calidad algo inferior a H264
- FourCC: DIVX, XVID, H264, DX50...
- Cadena de 4 caracteres que identifica a un CODEC
- En este enlace se listan todos los identificadores
- Permiten encapsular y organizar flujos de media
- Multiplexación: vídeo, audio, subtitulos
- Organización: Divisiones o capítulos. Menús
- Identificación: Información precisa sobre los CODECs y parámetros
- Indexación. Permite hacer saltos (SEEK)
- Incorporación de meta-información: autor, título, etc....
- Contenedores más comunes:
- VGA en la FPGA
- Juan González-Gómez (Obijuan)
- Creado a partir del contenido generado por el profesor Jose María Cañas y otros profesores del departamento GSYC
- Dibujo del micrófono, By Emoji One, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=37427814
- Dibujo Altavoz: By No machine-readable author provided. Mobius assumed (based on copyright claims). - No machine-readable source provided. Own work assumed (based on copyright claims)., Public Domain, https://commons.wikimedia.org/w/index.php?curid=763917
