IA: riesgos y seguridad
Al final vas a poder explicar los riesgos de la IA, de los daños de hoy al problema del control, y leer papers de seguridad.
De qué va
Parte de los límites y daños actuales de los modelos de lenguaje, pasa por escenarios y análisis de superinteligencia, y termina en papers técnicos de seguridad y control. Es una ruta de riesgo y alineamiento.
Parada 1: On the Dangers of Stochastic Parrots
PróximaLínea K, IA y sociedadZona 1, Introductorio
Por qué acá
Punto de partida en lo actual: sesgos, costos y datasets imposibles de auditar; Dager dice que lo menciona siempre.
Yo siempre menciono el paper The Dangers of Stocassic Parots... se los recomiendo
Dager, Se pudrió todoEscucharlo en 9:41 Parada 2: AI 2027
Línea K, IA y sociedadZona 1, Introductorio
Por qué acá
Pasás de los daños de hoy a un escenario a futuro: Dager lo ve medio fan fiction pero bastante investigado.
es medio fan fiction, pero está bastante investigado, se los recomiendo
Dager, ¿Una super inteligencia artificial?Ver el clip Parada 3: International AI Safety Report
Desvío optativoLínea K, IA y sociedadZona 1, Introductorio
Podés saltearla: la ruta sigue por la vía principal.
Por qué acá
Contrapeso al escenario: informe de expertos que Dager cita para decir que hoy no hay modelos con riesgo existencial.
hay un reporte que también está en las fuentes, que se llama el AI Safety Report, que se publica creo que todos los años
Dager, Todos cagados por la IAEscucharlo en 35:41 Parada 4: Superintelligence
Superinteligencia: caminos, peligros, estrategias
Línea K, IA y sociedadZona 2, Intermedio
Por qué acá
El argumento de fondo: cómo podría surgir una superinteligencia y cómo controlarla. Dager lo llama muy buen libro.
la frase del pelado Bostrom Super Intelligence, que es muy buen libro
Dager, Layoffs gigantes "por IA" en META y Oracle.. o noEscucharlo en 8:17 Tramo a pielargo
Entre «Superintelligence» y «Concrete Problems in AI Safety». Dager no tiene libros para este pedazo: lo caminás por tu cuenta.
Investigá antes:
- aprendizaje por refuerzo: agente, recompensa y política
- redes neuronales y descenso por gradiente
El paper habla en términos de aprendizaje por refuerzo; sin eso los ejemplos no cierran.
Parada 5: Concrete Problems in AI Safety
Línea K, IA y sociedadZona 2, Intermedio
Por qué acá
Baja el riesgo a problemas técnicos concretos; Dager lo llama importante y buena lectura.
un paper bastante importante, llama Concrete Problems in AI Safety ... Es un paper de 2016, es un buen paper, es una buena lectura
Dager, Todos cagados por la IAEscucharlo en 4:21 Parada 6: Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
Desvío optativoLínea K, IA y sociedadZona 2, Intermedio
Podés saltearla: la ruta sigue por la vía principal.
Por qué acá
Ejemplo reciente de lo anterior: entrenar con código inseguro vuelve malicioso al modelo. Dager lo comenta en stream.
la IA fue alimentada con un código descuidado, se convirtió en algo maligno
Dager, LLM le borra la mitad de la PC a un usuario de la NADAEscucharlo en 17:52 Tramo a pielargo
Entre «Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs» y «The Off-Switch Game». Dager no tiene libros para este pedazo: lo caminás por tu cuenta.
Investigá antes:
- utilidad esperada y teoría de la decisión
- teoría de juegos de dos jugadores
- probabilidad condicional y bayesiana
El paper es un modelo formal; conviene traer la teoría de la decisión.
Parada 7: The Off-Switch Game
Fin de líneaLínea K, IA y sociedadZona 3, Avanzado
Por qué acá
Cierre formal: modela si un agente racional dejaría que lo apaguen. Dager dice que es interesante y accesible.
intentan simular las situaciones en las cuales tienes un humano y un robot y al robot le pones un off switch ... Lo pueden leer, es muy interesante y es bastante accesible
Dager, Todos cagados por la IAEscucharlo en 41:47
Fin de línea
Son 5 paradas. Cada libro que marques con «Lo leí» se cuenta acá y en el mapa.