{"id":738936,"date":"2023-07-21T06:31:11","date_gmt":"2023-07-21T06:31:11","guid":{"rendered":"https:\/\/magazineoffice.com\/empresas-de-ia-que-buscan-datos-producidos-por-ia-para-capacitacion-recursiva\/"},"modified":"2023-07-21T06:31:15","modified_gmt":"2023-07-21T06:31:15","slug":"empresas-de-ia-que-buscan-datos-producidos-por-ia-para-capacitacion-recursiva","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/empresas-de-ia-que-buscan-datos-producidos-por-ia-para-capacitacion-recursiva\/","title":{"rendered":"Empresas de IA que buscan datos producidos por IA para capacitaci\u00f3n recursiva"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div id=\"article-body\">\n<p>Parece que las empresas de IA, incluidas Microsoft, OpenAI y Cohere, est\u00e1n haciendo todo lo posible para encontrar datos sint\u00e9ticos con los que entrenar sus productos de IA.  Citando la disponibilidad limitada de datos \u00aborg\u00e1nicos\u00bb generados por humanos en la red mundial, estas empresas tienen como objetivo utilizar datos (sint\u00e9ticos) generados por IA en una especie de ciclo infinito, donde el entrenamiento se logra con datos que ya se han creado de forma generativa.<\/p>\n<p>\u201cSi pudiera obtener todos los datos que necesita de la web, eso ser\u00eda fant\u00e1stico\u201d, dijo Aidan Gomez, director ejecutivo de Cohere, la empresa emergente LLM de $ 2 mil millones, al Financial Times.  \u201cEn realidad, la web es tan ruidosa y desordenada que no es realmente representativa de los datos que desea.  La web simplemente no hace todo lo que necesitamos\u201d.<\/p>\n<aside class=\"hawk-nest\" data-render-type=\"fte\" data-skip=\"dealsy\" data-widget-type=\"seasonal\"\/>\n<p>Y tambi\u00e9n est\u00e1 la cuesti\u00f3n del costo, ya que los datos generados por humanos, seg\u00fan G\u00f3mez, son \u00abextremadamente costosos\u00bb.  Esto ya ha llevado a la fundaci\u00f3n de algunas empresas de \u00abdatos sint\u00e9ticos\u00bb, como Gretel.ai, que se especializa en producir conjuntos de datos sint\u00e9ticos que luego se venden con fines de capacitaci\u00f3n.<\/p>\n<p>El problema de la disponibilidad y procedencia de los datos es uno de los mayores factores limitantes en nuestra era actual de IA.  Hoy en d\u00eda, existen riesgos reales al entrenar redes de IA con datos sint\u00e9ticos que ya han sido \u00abmasticados\u00bb y generados por las propias IA.  Por un lado, est\u00e1 el problema de agravar las deficiencias en los datos de entrenamiento base: si el conjunto de datos de entrenamiento no sint\u00e9tico original ya sufr\u00eda sesgos, esos mismos sesgos se incluir\u00e1n, digerir\u00e1n y amplificar\u00e1n en iteraciones de entrenamiento posteriores, lo que aumentar\u00e1 su relevancia.<\/p>\n<p>Pero otro problema, quiz\u00e1s mucho m\u00e1s impactante, se deriva de un l\u00edmite descubierto recientemente: la calidad de salida se degrada severamente despu\u00e9s de cinco rondas de entrenamiento en datos sint\u00e9ticos generados por IA.  Si esta condici\u00f3n \u00abMAD\u00bb presenta un l\u00edmite blando o duro para el entrenamiento de IA parece una pregunta en el coraz\u00f3n de la intenci\u00f3n de Microsoft y OpenAI de entrenar recursivamente sus redes de IA.  Sin embargo, este es un espacio que probablemente ver\u00e1 una r\u00e1faga de estudios;  Microsoft Research, por ejemplo, ha publicado art\u00edculos sobre historias cortas generadas recursivamente (lo que significa que un modelo fue entrenado en historias generadas por otro modelo) y una red de IA de codificaci\u00f3n que fue entrenada en documentaci\u00f3n generada por IA en torno a la programaci\u00f3n de Python.  La verificaci\u00f3n de los riesgos de la degeneraci\u00f3n de datos en estos y otros modelos de mayor tama\u00f1o (como el Llama 2 de 70B-par\u00e1metro, lanzado recientemente al c\u00f3digo abierto por Meta) ser\u00e1 clave para saber hasta d\u00f3nde (y qu\u00e9 tan r\u00e1pido) evolucionar\u00e1 la IA en el futuro previsible.<\/p>\n<p>Con las empresas orientadas a la IA que claman por m\u00e1s y m\u00e1s datos, tiene sentido que intenten generar conjuntos de datos de alta calidad de forma recursiva.  Esto se puede hacer de varias maneras, pero quiz\u00e1s la que tiene la mayor probabilidad de \u00e9xito proviene simplemente de permitir que dos redes de IA interact\u00faen entre s\u00ed, una de las cuales asume el papel de tutor y la otra asume el papel de estudiante.  Sin embargo, la intervenci\u00f3n humana ser\u00eda (y siempre ser\u00e1) necesaria para seleccionar puntos de datos de menor calidad y controlar las \u00abalucinaciones\u00bb (afirmaciones de IA que no son verdaderas).<\/p>\n<p>Hay algunos obst\u00e1culos en el camino hacia el sue\u00f1o tecnocr\u00e1tico de una IA autodidacta y autodidacta;  modelos que pueden tener discusiones internas, descubrimientos internos y que producen nuevos conocimientos que no se limitan a mezclar y combinar (aunque, despu\u00e9s de todo, ese es uno de los sellos distintivos de la producci\u00f3n creativa).<\/p>\n<p>Eso s\u00ed, hay que tener en cuenta que no todos los sue\u00f1os son agradables.  Ya tenemos problemas para lidiar con las pesadillas inducidas por humanos;  no se sabe cu\u00e1n impactantes pueden ser las \u00abpesadillas\u00bb de una m\u00e1quina.<\/p>\n<\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-41<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Parece que las empresas de IA, incluidas Microsoft, OpenAI y Cohere, est\u00e1n haciendo todo lo posible para encontrar datos sint\u00e9ticos con los que entrenar sus productos de IA. Citando la&hellip;<\/p>\n","protected":false},"author":1,"featured_media":738937,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[2515,9297,121,3848,107,110,79533,73900],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/738936"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=738936"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/738936\/revisions"}],"predecessor-version":[{"id":738938,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/738936\/revisions\/738938"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/738937"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=738936"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=738936"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=738936"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}