Repository navigation
PT BR 5 Codecs
Warning
Experimental: decode, reader, sniff e encoder podem mudar em qualquer atualização, então não use ainda nos
seus mods (veja pacotes públicos e internos).
Note
Configurável: codecs.maxImageSourceSize, codecs.png.failOnCorruptedData, codecs.png.useBKGDChunk,
codecs.svg.maxSize e codecs.vp8.brokenTokens. Veja os comentários deles em config/watermedia.toml.
A CodecsAPI entrega um decodificador (ImageReader) e um codificador (Encoder). As imagens usam os nossos codecs em
Java puro, sem inicialização nem FFmpeg; o vídeo passa pelo FFmpeg.
PNG, JPEG, WebP, SVG e Netpbm.
ImageData image = CodecsAPI.decode(bytes); // A byte[], A ByteBuffer OR AN InputStream
ByteBuffer pixels = image.frames()[0]; // TIGHTLY PACKED; JPEG AND WEBP COME ROTATED TO THEIR EXIF ORIENTATION
PixelFormat format = image.format(); // BGRA (GRAY FOR GRAYSCALE JPEGS)
int width = image.width();
int height = image.height();
ImageData rgba = CodecsAPI.decode(bytes, PixelFormat.RGBA); // ASK FOR BGRA, RGBA OR GRAY AND IT CONVERTSGIF, APNG e WebP animado. Um reader percorre os frames um por um em vez de manter todos na memória.
try (ImageReader reader = CodecsAPI.reader(buffer)) { // DON'T CHANGE buffer UNTIL THE READER CLOSES
int frames = reader.frameCount();
boolean forever = reader.repeat() == ImageData.REPEAT_FOREVER;
reader.addFilter(new DownscaleFilter(0.5f)); // OPTIONAL: SHRINKS EVERY FRAME, NEVER ENLARGES
while (reader.hasNext()) {
ByteBuffer frame = reader.next(); // REUSED ON THE NEXT CALL: COPY IT TO KEEP IT
long delayMs = reader.delay(); // HOW LONG THIS FRAME STAYS ON SCREEN
}
boolean rewound = reader.reset(); // BACK TO THE FIRST FRAME; false WHEN IT CAN'T
ImageData all = reader.readAll(); // OR EVERY FRAME LEFT AT ONCE, AS COPIES
}MediaType type = CodecsAPI.sniff(buffer); // IMAGE, VIDEO, AUDIO... FROM THE FIRST BYTES
ImageMetadata info = reader.metadata(); // ON AN OPEN READER: title(), authors()... AND value(CodecsAPI.METAKEY_EXIF)
try {
ImageData image = CodecsAPI.decode(bytes);
} catch (UnsupportedFormatException unsupported) {
// A VALID FILE USING A FEATURE THE DECODER LACKS: FALL BACK TO ANOTHER DECODER
} catch (CodecException broken) {
// A BROKEN OR OVERSIZED FILE
}Alguns formatos que o sniff reconhece como imagem (BMP, TIFF, AVIF...) ainda não têm decodificador. Para as suas
próprias engines, new BcReader(buffer) lê os blocos comprimidos BC1, BC3 e BC7 de uma textura DDS; as engines
embutidas ainda não os desenham.
Vídeo e áudio são decodificados dentro dos players: crie um com PlayerAPI.player (veja
reprodução de mídia).
Set<VideoCodec> videoCodecs = Container.MP4.video(); // WHAT EACH CONTAINER ACCEPTS; A TRACK THAT
Set<AudioCodec> audioCodecs = Container.MP4.audio(); // DOESN'T FIT IS REFUSED BEFORE THE FILE IS TOUCHEDTodo codificador recebe um frame por chamada, no formato do Encoder.Video, com timestamps em microssegundos sempre
crescentes; cada frame dura até o próximo. Alimente cada codificador a partir de uma única thread.
PNG (gravado como APNG quando recebe mais de um frame) e GIF, sem FFmpeg. Eles aceitam frames RGBA, BGRA, RGB ou GRAY.
// STATIC: ONE FRAME AND NO AUDIO TRACK
Encoder.Video png = new Encoder.Video(VideoCodec.PNG, 512, 512, PixelFormat.RGBA, 1);
try (Encoder encoder = CodecsAPI.encoder(Container.PNG, Path.of("logo.png"), png, null)) {
encoder.video(pixels, 0);
}
// ANIMATED: MORE FRAMES; THE FULL CONSTRUCTOR ADDS QUALITY (0 TO 100, 50 BY DEFAULT) AND PLAYS (0 LOOPS FOREVER)
Encoder.Video gif = new Encoder.Video(VideoCodec.GIF, 320, 240, PixelFormat.BGRA, 30, 80, 0);
try (Encoder encoder = CodecsAPI.encoder(Container.GIF, Path.of("clip.gif"), gif, null)) {
for (int i = 0; i < frames.length; i++) encoder.video(frames[i], i * 33_333L);
}MP4, MOV, MKV e WebM pelo FFmpeg, além de Ogg só para áudio. Eles aceitam qualquer PixelFormat bruto.
Encoder.Video video = new Encoder.Video(VideoCodec.H264, 1280, 720, PixelFormat.BGRA, 60); // THE FULL CONSTRUCTOR SETS QUALITY, LIKE ON IMAGES
Encoder.Audio audio = new Encoder.Audio(AudioCodec.AAC, 48_000, 2, SampleType.S16);
try (Encoder encoder = CodecsAPI.encoder(Container.MP4, Path.of("clip.mp4"), video, audio)) { // IOException WITHOUT FFMPEG
encoder.video(frame, ptsUs); // EXACTLY video.frameBytes() BYTES
encoder.audio(pcm); // INTERLEAVED SAMPLES FROM TIME ZERO: PAD A LATE START WITH SILENCE
} // close() FINISHES THE FILE, WRITTEN AS <file>.part UNTIL THEN