Qual é a abordagem da Khan Academy para o desenvolvimento responsável de IA?

Como uma organização educacional sem fins lucrativos, vemos como nossa responsabilidade explorar o que a IA poderia significar para o futuro da educação. Acreditamos que a IA tem o potencial de transformar a aprendizagem de maneira positiva, mas também estamos cientes dos riscos. Por essa razão, desenvolvemos as seguintes diretrizes para o desenvolvimento de nossa IA.

Acreditamos que essas diretrizes nos ajudarão a adaptar a IA de maneira responsável para um ambiente educacional. Queremos garantir que nosso trabalho sempre coloque as necessidades dos alunos e professores em primeiro lugar, e estamos focados em garantir que os benefícios da IA sejam compartilhados igualmente em toda a sociedade. À medida que aprendemos mais sobre a IA, essas diretrizes podem evoluir.

1. Educamos as pessoas sobre os riscos e somos transparentes sobre problemas conhecidos.

Estamos em um período de teste e convidamos um número limitado de pessoas para experimentar nosso guia de aprendizado alimentado por IA. Para o subconjunto de participantes que optam por usar nossas ferramentas experimentais de IA, fornecemos comunicação clara sobre os riscos e limitações da IA antes de fornecer acesso. Os participantes devem ler e aceitar os riscos conhecidos e potenciais desconhecidos da IA. Por exemplo, a IA pode estar errada e gerar conteúdo inadequado. A IA pode cometer erros em matemática. Fornecemos uma maneira fácil para os participantes relatarem quaisquer problemas que encontrarem.

Mais amplamente, estamos lançando um curso para o público em geral intitulado "IA para Educação". Em nosso curso, os usuários aprenderão:

• O que são modelos de linguagem grandes.
• Como modelos de linguagem grandes se aplicam à educação.
• No que a IA é boa.
• No que a IA não é boa.
• Perguntas que todos deveríamos fazer sobre IA.

2. Aprendemos com as melhores práticas de organizações líderes para avaliar e mitigar riscos.

Estudamos e adaptamos frameworks do National Institute of Standards and Technology (NIST) e do Institute for Ethical AI in Education para avaliar e mitigar riscos específicos da IA na Khan Academy.

A IA nem sempre é precisa e não é completamente segura. Reconhecemos que não é possível eliminar todo o risco neste momento.

Portanto, trabalhamos diligentemente para identificar riscos e implementar medidas de mitigação. Mitigamos o risco usando abordagens técnicas, como:

• Ajuste fino da IA para aumentar a precisão.
• Engenharia de prompts para orientar e estreitar o foco da IA. Isso nos permite treinar e adaptar a IA para um ambiente de aprendizado.
• Monitoramento e moderação de interações dos participantes para que possamos responder proativamente a conteúdo inadequado e aplicar controles comunitários apropriados (como remover o acesso).
• "Red teaming" para deliberadamente tentar "quebrar" ou encontrar falhas na IA, a fim de descobrir possíveis vulnerabilidades.

Além disso:

• A comunicação transmite claramente que haverá erros (mesmo em matemática) e a possibilidade de conteúdo inadequado.

Acreditamos que esses esforços tornarão nossa IA mais forte e confiável a longo prazo.

3. Neste momento, concedemos acesso às nossas aplicações de IA apenas por meio do Khanmigo.ai.

Para se inscrever para testar nosso guia de aprendizado alimentado por IA, os usuários devem ter pelo menos 18 anos e se registrar por meio do Khanmigo.ai. Uma vez registrados, se os adultos tiverem crianças associadas às suas contas da Khan Academy, eles têm a capacidade de conceder acesso a seus filhos. Nossa mensagem no produto afirma claramente as limitações e riscos da IA. Limitamos a quantidade de interação que os indivíduos podem ter com a IA por dia, porque observamos que interações prolongadas são mais propensas a levar a comportamentos inadequados da IA.

Toda criança que tem o consentimento dos pais para usar nosso guia de aprendizado alimentado por IA recebe comunicação clara de que seu histórico de conversas e atividades é visível para os pais ou responsáveis e, se aplicável, seu professor. Os professores podem ver os históricos de conversas de seus alunos. Usamos tecnologia de moderação para detectar interações que possam ser inadequadas, prejudiciais ou inseguras. Quando o sistema de moderação é acionado, ele envia automaticamente um alerta por e-mail para um adulto.

4. Adotamos e incentivamos uma cultura em que ética e desenvolvimento responsável estão incorporados em nossos fluxos de trabalho e mentalidades.

Indivíduos e equipes são solicitados a identificar considerações éticas e avaliar riscos no início de cada projeto. Nossa tomada de decisão é guiada pela avaliação de riscos. Priorizamos a mitigação de riscos, abraçamos a transparência e refletimos continuamente sobre o impacto de nosso trabalho.

Temos um plano detalhado de monitoramento e avaliação durante este período de teste. Aprenderemos, iteraremos e melhoraremos.

A IA é um campo nascente que está se desenvolvendo rapidamente. Estamos entusiasmados com o potencial para a IA beneficiar a educação, e reconhecemos que temos muito a aprender. Nosso objetivo final é aproveitar o poder da IA para acelerar a aprendizagem. Avaliaremos como a IA funciona e compartilharemos nossas descobertas com o mundo. Esperamos adaptar nossos planos ao longo do caminho.