Hace unas horas, Sony Interactive Entertainment anunció la adquisición de iSIZE, una empresa con sede en Londres fundada en 2016 centrada en aplicaciones de aprendizaje automático para el procesamiento de vídeo. Los términos financieros de la transacción no fueron revelados.
Sony afirma que beneficiará la investigación y el desarrollo de la compañía y sus servicios de transmisión de video. De hecho, el sitio web de iSIZE revela tres productos principales, dos de los cuales están directamente relacionados con eso: BitClear y BitSave. La primera es una tecnología de procesamiento de vídeo basada en IA que limpia los artefactos de compresión, como timbres, desenfoque y artefactos de contenido muy comprimido.
En las GPU NVIDIA RTX, T4 o V100, BitClear puede funcionar con múltiples recursos de vídeo de entrada en tiempo real (a 25/30 fps). Permite escalar videos, todo con una latencia de procesamiento de tan solo 5 ms en GPU o CPU de alto rendimiento.
Procesa cualquier contenido altamente comprimido y produce una salida de mayor calidad que mejora el valor del activo. Opera en todo tipo de contenido.
Revive con la máxima calidad posible sin afectar la intención artística de los creadores originales. Como el ruido de codificación de video se aplica en la totalidad de cada cuadro de video, opera en la totalidad de cada cuadro de entrada y no es un enfoque de región de interés.
Arquitectura de red neuronal escalable que puede escalar a grandes volúmenes de contenido y es ideal para la implementación local y en la nube.
El segundo producto iSIZE es BitSave, que la compañía describe como un ‘optimizador de percepción’ basado en inteligencia artificial que permite a los codificadores producir videos de mayor calidad a una tasa de bits más baja.
Ofrece hasta un 50% de reducción en la tasa de bits de video con respecto a la última tecnología con la misma calidad visual o una mejorada. Aumenta la eficiencia de compresión de cualquier códec de vídeo y se ejecuta en dispositivos cliente con una sobrecarga adicional mínima o nula.
La tecnología BitSave es compatible con cualquier códec, incluidos AVC, HEVC, VP9, AV1 e incluso los próximos AV2 y VVC, con mayores ganancias en velocidad de bits y calidad ofrecidas para estándares más nuevos.
Procesamiento de una sola pasada por contenido para una escalera ABR completa. No requiere ningún cambio en los dispositivos de codificación, entrega o decodificación. Compatible con cualquier infraestructura de codificación de vídeo existente
Permite recetas de codificación más simples, ofrece una importante eficiencia computacional y energética, lo que permite una transmisión de video sostenible a escala.
Claramente, ambas tecnologías pueden resultar muy útiles para Sony en su intento de mejorar su propia tecnología de streaming. Recientemente, Sony lanzó la función de transmisión en la nube de PS5 a principios de este mes, justo antes del próximo lanzamiento de la computadora de mano PlayStation Portal centrada en la transmisión. En el futuro, es posible que la nueva tecnología de streaming (que soporta 4K, a diferencia de xCloud de Microsoft) también llegue a las PC.
Por cierto, el tercer producto de iSIZE podría muy bien ser de interés para PlayStation Studios de Sony para el desarrollo de juegos. Llamado BitGen, permite la generación en vivo de avatares fotorrealistas 2D/3D.
SIN ENTRENAMIENTO SIN CONEXIÓN Y SIN FALSIFICACIONES
Evitar falsificaciones profundas garantizando una representación fiel de lo capturado por la cámara. Representación basada en IA y extracción de estructuras en espacio latente; Sin captura ni entrenamiento fuera de línea.
PRESENCIA EN LÍNEA A UNA BATERIA DE BITS MUCHO MÁS BAJA
Reducción de la tasa de bits entre 3 y 10 veces en comparación con los codificadores de video genéricos de última generación (AV1, HEVC) para obtener la misma calidad visual.
LOGRAR UNA LATENCIA CASI CERO
Latencia de vídeo 5 veces menor. Potencia del transceptor 5 veces menor. Presencia remota ininterrumpida en condiciones de mala señal inalámbrica. Calidad de experiencia significativamente mejor -> mayor tiempo de participación del usuario.
UNA SOLUCIÓN ROBUSTA Y AGNOSTICA DEL USUARIO
Amplíe su escala a millones de usuarios con el uso de un único modelo. Los modelos personalizados se pueden adaptar al contenido: conversacional, IoT, infrarrojos, multiespectral, etc. Implementables en todos los dispositivos.