¿Cuál es el enfoque de Khan Academy para el desarrollo responsable de la inteligencia artificial?
Como una organización educativa sin fines de lucro, consideramos que es nuestra responsabilidad explorar lo que la inteligencia artificial podría significar para el futuro de la educación. Creemos que la inteligencia artificial tiene el potencial de transformar el aprendizaje de manera positiva, pero también somos conscientes de los riesgos. Por esa razón, hemos desarrollado las siguientes pautas para nuestro desarrollo de inteligencia artificial.
Creemos que estas pautas nos ayudarán a adaptar la inteligencia artificial de manera responsable para un entorno educativo. Queremos asegurarnos de que nuestro trabajo siempre coloque las necesidades de los estudiantes y profesores en primer lugar, y estamos enfocados en garantizar que los beneficios de la inteligencia artificial se compartan equitativamente en la sociedad. A medida que aprendemos más sobre la inteligencia artificial, estas pautas pueden evolucionar.
1. Educamos a las personas sobre los riesgos y somos transparentes sobre problemas conocidos.
Estamos en un período de prueba y hemos invitado a un número limitado de personas a probar nuestra guía de aprendizaje con inteligencia artificial. Para el subconjunto de participantes que optan por utilizar nuestras herramientas experimentales de inteligencia artificial, proporcionamos una comunicación clara sobre los riesgos y limitaciones de la inteligencia artificial antes de proporcionar acceso. Los participantes deben leer y aceptar los riesgos y limitaciones conocidos y potenciales de la inteligencia artificial. Por ejemplo, la inteligencia artificial puede equivocarse y generar contenido inapropiado. La inteligencia artificial puede cometer errores en matemáticas. Proporcionamos una manera fácil para que los participantes informen cualquier problema que encuentren.
Más ampliamente, estamos lanzando un curso para el público en general titulado "IA para la Educación". En nuestro curso, los usuarios aprenderán:
- Qué son los grandes modelos de lenguaje.
- Cómo se aplican los grandes modelos de lenguaje a la educación.
- En qué es buena la inteligencia artificial.
- En qué no es buena la inteligencia artificial.
- Preguntas que todos deberíamos hacer sobre la inteligencia artificial.
2. Aprendemos de las mejores prácticas de las organizaciones líderes para evaluar y mitigar riesgos.
Hemos estudiado y adaptado marcos del Instituto Nacional de Estándares y Tecnología (NIST) y del Instituto de Inteligencia Artificial Ética en la Educación para evaluar y mitigar los riesgos específicos de la inteligencia artificial en Khan Academy.
La inteligencia artificial no siempre es precisa y no es completamente segura. Reconocemos que no es posible eliminar todo el riesgo en este momento.
Por lo tanto, trabajamos diligentemente para identificar riesgos y poner medidas de mitigación en su lugar. Mitigamos el riesgo mediante enfoques técnicos como:
- Ajustar la inteligencia artificial para aumentar la precisión.
- Ingeniería de indicaciones para guiar y enfocar la atención de la inteligencia artificial. Esto nos permite entrenar y adaptar la inteligencia artificial para un entorno de aprendizaje.
- Monitorear y moderar las interacciones de los participantes para que podamos responder de manera proactiva al contenido inapropiado y aplicar controles comunitarios adecuados (como eliminar el acceso).
- "Red teaming" para intentar deliberadamente "romper" o encontrar fallas en la inteligencia artificial con el fin de descubrir posibles vulnerabilidades.
Además:
- La comunicación expresa claramente que habrá errores (incluso en matemáticas) y la posibilidad de contenido inapropiado.
Creemos que estos esfuerzos harán que nuestra inteligencia artificial sea más fuerte y confiable a largo plazo.
3. En este momento, solo otorgamos acceso a nuestras aplicaciones de inteligencia artificial a través de khanmigo.ai.
Para registrarte y probar nuestra guía de aprendizaje con inteligencia artificial, los usuarios deben tener al menos 18 años y registrarse a través de khanmigo.ai. Una vez registrados, si los adultos tienen niños asociados con sus cuentas de Khan Academy, tienen la capacidad de otorgar acceso a sus hijos. Nuestros mensajes dentro del producto indican claramente las limitaciones y riesgos de la inteligencia artificial. Limitamos la cantidad de interacción que las personas pueden tener con la inteligencia artificial por día porque hemos observado que las interacciones prolongadas son más propensas a generar un comportamiento deficiente de la inteligencia artificial.
Cada niño que tenga el consentimiento de los padres para usar nuestra guía de aprendizaje con inteligencia artificial recibe una comunicación clara de que su historial de chat y actividades son visibles para los padres o tutores y, si corresponde, su profesor. Los profesores pueden ver los historiales de chat de sus estudiantes. Utilizamos tecnología de moderación para detectar interacciones que puedan ser inapropiadas, dañinas o inseguras. Cuando se activa el sistema de moderación, envía una alerta automática por correo electrónico a un adulto.
4. Aceptamos y fomentamos una cultura donde la ética y el desarrollo responsable están incorporados en nuestros flujos de trabajo y mentalidades.
Se pide a individuos y equipos que identifiquen consideraciones éticas y evalúen riesgos al comienzo de cada proyecto. Nuestra toma de decisiones está guiada por la evaluación de riesgos. Priorizamos la mitigación de riesgos, abrazamos la transparencia y reflexionamos continuamente sobre el impacto de nuestro trabajo.
Tenemos un plan detallado de monitoreo y evaluación durante este período de prueba. Aprenderemos, iteraremos y mejoraremos.
La inteligencia artificial es un campo incipiente que se está desarrollando rápidamente. Estamos entusiasmados con el potencial de la inteligencia artificial para beneficiar a la educación, y reconocemos que tenemos mucho que aprender. Nuestro objetivo final es aprovechar el poder de la inteligencia artificial para acelerar el aprendizaje. Evaluaremos cómo funciona la inteligencia artificial y compartiremos nuestros aprendizajes con el mundo. Esperamos adaptar nuestros planes en el camino.