De kaggle…

Parece que, aunque se avanza, «las habilidades cognitivas que podrían generalizarse ampliamente a muchas tareas después de unos pocos ejemplos siguen siendo esquivas». Por eso ARC2: un impulso.

¿Qué es ARC? ¿Cómo participar?

Copio y pego de AQUÍ (en el texto hay enlaces que amplían la info y especifican los modos de participación en el desafío):

ARCO 1

ARC 1 se lanzó originalmente en noviembre de 2019 y fue objeto de una competencia pública de Kaggle con un premio de $ 20,000 a principios de 2020. La competencia terminó con el mejor participante resolviendo el 20.6% de las tareas de prueba. Dos años después, a mediados de 2022, el estado del arte en ARC 1 es de casi un 30 %.

ARC 1 presentó 1,000 tareas divididas entre 400 tareas de capacitación generalmente más fáciles, 400 tareas de validación y 200 tareas que forman el conjunto de prueba privado. La mitad del conjunto de prueba privado se utilizó como conjunto de prueba en la competencia original de Kaggle.

ARCO 2

ARC 2 es una extensión ambiciosa de ARC que tiene como objetivo abordar ciertos puntos débiles de ARC 1. Si bien cada tarea en ARC 1 era única, ARC 1 no era tan diversa como debería ser: algunos tipos de tareas (por ejemplo, «llene el parche vacío en esta cuadrícula con patrón») se reutilizaron más de una vez y ocasionalmente se reutilizaron en diferentes divisiones de conjuntos de datos.

ARC 2 está destinado a ser más grande y más diverso que ARC 1, sin ningún tipo de tarea específico utilizado más de una vez. ARC 2 constará de 5000 tareas únicas: 2000 para el conjunto de entrenamiento, 2000 para el conjunto de evaluación y 1000 para el conjunto de prueba privado.

Proceso de colaboración abierta ARC 2

Mientras que ARC 1 fue el trabajo de una sola persona, ARC 2 está destinado a ser el trabajo de muchos: para garantizar la escala y la diversidad de tareas, estamos abriendo el proceso de creación de tareas a la multitud. Puede crear nuevas tareas utilizando el editor público de ARC y enviarlas para incluirlas en ARC 2. Esperamos recibir tantas contribuciones como sea posible y apreciamos sus envíos. ARC 2 está alojado por François Chollet y Lab42 . Si tiene alguna pregunta, no dude en contactarnos en cualquier momento.

Competición anual ARC 2

Una vez que se cree el conjunto ARC 2, realizaremos una competencia en ARC 2. El objetivo de la competencia es desarrollar una IA que pueda resolver más del 90% de las tareas en el conjunto de prueba privado, sin conocimiento previo de las tareas. . Tenemos la intención de ejecutar la competencia hasta que se logre el objetivo. Esta vez no solo habrá premios en metálico, sino que también grabaremos los nombres de los ganadores para la eternidad (o casi), y los ganadores serán invitados a un viaje memorable a Davos, Suiza.

El concurso está organizado por François Chollet y Lab42 . En caso de cualquier pregunta, no dude en ponerse en contacto con nosotros en cualquier momento.