\n<\/aside>\n<\/p>\n
La compresi\u00f3n eficaz consiste en encontrar patrones para reducir el tama\u00f1o de los datos sin perder informaci\u00f3n. Cuando un algoritmo o modelo puede adivinar con precisi\u00f3n el siguiente dato en una secuencia, demuestra que es bueno para detectar estos patrones. Esto vincula la idea de hacer buenas conjeturas (que es lo que hacen muy bien los modelos de lenguaje grandes como GPT-4) con lograr una buena compresi\u00f3n.<\/p>\n
En un art\u00edculo de investigaci\u00f3n de arXiv titulado \u00abEl modelado del lenguaje es compresi\u00f3n\u00bb, los investigadores detallan su descubrimiento de que el modelo de lenguaje grande (LLM) de DeepMind llamado Chinchilla 70B puede realizar compresi\u00f3n sin p\u00e9rdidas en parches de im\u00e1genes de la base de datos de im\u00e1genes ImageNet hasta el 43,4 por ciento de su tama\u00f1o original, superando el algoritmo PNG, que comprimi\u00f3 los mismos datos al 58,5 por ciento. Para el audio, Chinchilla comprimi\u00f3 muestras del conjunto de datos de audio LibriSpeech a solo el 16,4 por ciento de su tama\u00f1o sin formato, superando la compresi\u00f3n FLAC con un 30,3 por ciento.<\/p>\n
En este caso, n\u00fameros m\u00e1s bajos en los resultados significan que se est\u00e1 produciendo una mayor compresi\u00f3n. Y la compresi\u00f3n sin p\u00e9rdidas significa que no se pierden datos durante el proceso de compresi\u00f3n. Contrasta con una t\u00e9cnica de compresi\u00f3n con p\u00e9rdida como JPEG, que elimina algunos datos y los reconstruye con aproximaciones durante el proceso de decodificaci\u00f3n para reducir significativamente el tama\u00f1o de los archivos.<\/p>\n
Los resultados del estudio sugieren que, aunque Chinchilla 70B fue entrenada principalmente para manejar texto, tambi\u00e9n es sorprendentemente efectiva para comprimir otros tipos de datos, a menudo mejor que los algoritmos dise\u00f1ados espec\u00edficamente para esas tareas. Esto abre la puerta a pensar en los modelos de aprendizaje autom\u00e1tico no solo como herramientas para la predicci\u00f3n y escritura de texto, sino tambi\u00e9n como formas efectivas de reducir el tama\u00f1o de varios tipos de datos.<\/p>\n\nAgrandar
\/<\/span> Un gr\u00e1fico de los resultados de las pruebas de compresi\u00f3n proporcionado por los investigadores de DeepMind en su art\u00edculo. El gr\u00e1fico ilustra la eficiencia de varias t\u00e9cnicas de compresi\u00f3n de datos en diferentes conjuntos de datos, todos inicialmente de 1 GB de tama\u00f1o. Emplea una proporci\u00f3n de \u00abmenos es mejor\u00bb, comparando el tama\u00f1o comprimido con el tama\u00f1o original.<\/div>\nMente profunda<\/p>\n<\/figcaption><\/figure>\n
Durante las \u00faltimas dos d\u00e9cadas, algunos cient\u00edficos inform\u00e1ticos han propuesto que la capacidad de comprimir datos de manera efectiva es similar a una forma de inteligencia general. La idea se basa en la noci\u00f3n de que comprender el mundo a menudo implica identificar patrones y dar sentido a la complejidad, lo cual, como se mencion\u00f3 anteriormente, es similar a lo que hace una buena compresi\u00f3n de datos. Al reducir un gran conjunto de datos a una forma m\u00e1s peque\u00f1a y manejable manteniendo sus caracter\u00edsticas esenciales, un algoritmo de compresi\u00f3n demuestra una forma de comprensi\u00f3n o representaci\u00f3n de esos datos, argumentan sus defensores.<\/p>\n\n Anuncio <\/span> <\/p>\n<\/aside>\nEl Premio Hutter es un ejemplo que pone de relieve esta idea de la compresi\u00f3n como una forma de inteligencia. El premio, que lleva el nombre de Marcus Hutter, investigador en el campo de la IA y uno de los autores del art\u00edculo de DeepMind, se otorga a cualquiera que pueda comprimir de manera m\u00e1s efectiva un conjunto fijo de texto en ingl\u00e9s. La premisa subyacente es que una compresi\u00f3n de texto altamente eficiente requerir\u00eda comprender los patrones sem\u00e1nticos y sint\u00e1cticos del lenguaje, de manera similar a como lo entiende un humano.<\/p>\n
Entonces, en teor\u00eda, si una m\u00e1quina puede comprimir estos datos extremadamente bien, podr\u00eda indicar una forma de inteligencia general, o al menos un paso en esa direcci\u00f3n. Si bien no todos en el campo est\u00e1n de acuerdo en que ganar el Premio Hutter indicar\u00eda inteligencia general, la competencia resalta la superposici\u00f3n entre los desaf\u00edos de la compresi\u00f3n de datos y los objetivos de crear sistemas m\u00e1s inteligentes.<\/p>\n
En esta l\u00ednea, los investigadores de DeepMind afirman que la relaci\u00f3n entre predicci\u00f3n y compresi\u00f3n no es unidireccional. Plantean que si tienes un buen algoritmo de compresi\u00f3n como gzip, puedes darle la vuelta y usarlo para generar datos nuevos y originales basados \u200b\u200ben lo que has aprendido durante el proceso de compresi\u00f3n.<\/p>\n
En una secci\u00f3n del art\u00edculo (Secci\u00f3n 3.4), los investigadores llevaron a cabo un experimento para generar nuevos datos en diferentes formatos (texto, imagen y audio) haciendo que gzip y Chinchilla predijeran lo que sigue en una secuencia de datos despu\u00e9s de condicionarlos. una muestra. Es comprensible que gzip no funcionara muy bien, produciendo resultados completamente absurdos, al menos para una mente humana. Demuestra que, si bien se puede obligar a gzip a generar datos, esos datos pueden no ser muy \u00fatiles m\u00e1s que como una curiosidad experimental. Por otro lado, Chinchilla, que est\u00e1 dise\u00f1ada teniendo en mente el procesamiento del lenguaje, como era de esperar, tuvo un desempe\u00f1o mucho mejor en la tarea generativa.<\/p>\n\nAgrandar
\/<\/span> Un ejemplo del art\u00edculo de DeepMind que compara las propiedades generativas de gzip y Chinchilla en un texto de muestra. La salida de gzip es ilegible.<\/div>\nMente profunda<\/p>\n<\/figcaption><\/figure>\n
Si bien el art\u00edculo de DeepMind sobre la compresi\u00f3n de modelos de lenguaje de IA no ha sido revisado por pares, proporciona una ventana intrigante a nuevas aplicaciones potenciales para modelos de lenguaje de gran tama\u00f1o. La relaci\u00f3n entre compresi\u00f3n e inteligencia es un tema de debate e investigaci\u00f3n en curso, por lo que es probable que pronto veamos surgir m\u00e1s art\u00edculos sobre el tema.<\/p>\n<\/p><\/div>\n
Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"La compresi\u00f3n eficaz consiste en encontrar patrones para reducir el tama\u00f1o de los datos sin perder informaci\u00f3n. Cuando un algoritmo o modelo puede adivinar con precisi\u00f3n el siguiente dato en…<\/p>\n","protected":false},"author":1,"featured_media":825445,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[34366,3148,96793,12901,8,10010,5227,26797,2964,144,1474,5725],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/825444"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=825444"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/825444\/revisions"}],"predecessor-version":[{"id":825446,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/825444\/revisions\/825446"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/825445"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=825444"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=825444"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=825444"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}