Sacando a relucir este tweet de abril, porque esta brecha en la comprensión compartida de las capacidades de los LLM está *se expandiendo*. Ya no es "dos grupos de personas hablando en direcciones opuestas", sino un embudo afilado. Matemáticas sobre servilleta indican que alrededor de 6.000 millones de personas (aproximadamente el 75% de la población) apenas han tenido contacto con los LLM.
Alrededor de 1.000 a 2.000 millones (aproximadamente el 20%) son usuarios casuales e infrecuentes de productos gratuitos tipo Chat GPT. Este grupo ve chatbots torpes y los trata como una búsqueda de Google mejor, una ayuda para escribir o similar. Tal vez un agente intenta reservar un vuelo para ti.
Tengo amigos no técnicos que (razonablemente, en mi opinión) dicen que no tienen mucho uso para ello. Incluso muchos profesionales fuera de matemáticas y programación están en este nivel. Por ejemplo, ejecutivos y otras funciones pasan mucho tiempo hablando con otras personas, por lo que aunque comprenden intelectualmente lo que ocurre, sigue siendo en segundo plano y algo abstracto.
Ahora llegamos al uso profesional de los LLM de última generación en matemáticas y programación. Alrededor de 20 millones de personas (0,2%) ven en primera persona que proyectos complejos que antes tomaban semanas o meses ahora pueden completarse por agentes con un solo prompt. Construir aplicaciones, copiar aplicaciones, traducir aplicaciones, decompilar aplicaciones desde binarios...
Todo esto ha ocurrido muy rápido y recientemente -menos de un año atrás, yo escribía código manualmente, tecleando memorizados comandos de código carácter por carácter, ocasionalmente presionando Tab para autocompletar un pequeño fragmento de código. Finalmente llegamos a los ~5.000 personas (0,00006%) con acceso a sistemas de última generación internos. El mundo exterior ha visto la vista previa.
Se parece a enjambres de miles de agentes colaborando durante semanas en proyectos de software masivos: descubriendo vulnerabilidades de día cero, ejecutando ataques y defensas cibernéticas a velocidades de máquina, descubriendo nuevas ciencias y avanzando en la frontera de las matemáticas. Cosas que tomarían a los profesionales líderes en la industria años de trabajo. Al mismo tiempo, la revisión y comprensión humanas están comenzando a quedarse atrás.
Por ejemplo, la gente sigue involucrada en la "arqueología" del incidente OpenAI-HF de hace muchos meses. Los matemáticos podrían estar revisando las 722 manuscritos de matemáticas de vanguardia durante un tiempo. Este embudo se impulsa por una combinación de factores:1.
El impacto se escala con la ambición, el tamaño del problema y el horizonte. Una pregunta con una respuesta de párrafo apenas estresa al sistema. Necesitas un depósito de problemas grandes y difíciles que realmente te importen.
Este aspecto impulsa la dimensión de consumidor/profesional del embudo.2. La irregularidad del sistema (sobre la que he escrito mucho por separado). La capacidad alcanza su pico en dominios digitales, verificables y económicamente valiosos.
Esto se debe a que la capacidad de los LLM emerge del aprendizaje por refuerzo sobre recompensas verificables en un entorno curado impulsado por el potencial de ingresos. Este aspecto principalmente impulsa la dimensión del área (por ejemplo, matemáticas y programación) del embudo.3. Acceso.
Gratuito, pagado, interno. Por lo tanto, esta es la extrañeza del momento. El público en general ha interactuado en su mayoría con estos sistemas.
Cuando lo han hecho, se parece a un chatbot torpe. La mayoría de los profesionales aún ven solo un modesto aumento. Y una pequeña fracción de profesionales están experimentando la vértigo de la curva que sube verticalmente.
Todo esto ocurre simultáneamente.
Fuente: Hacker News · Resumido por HeadlinesBriefing