Qual é a abordagem da Khan Academy para o desenvolvimento responsável de IA?

Como uma organização educacional sem fins lucrativos, a Khan Academy está comprometida em explorar como a IA pode moldar o futuro da aprendizagem. Acreditamos que a IA tem o potencial de transformar a educação de maneiras significativas, mas também reconhecemos os riscos sérios que ela pode apresentar.

Por isso, desenvolvemos um conjunto de diretrizes e salvaguardas para garantir que o desenvolvimento de nossa IA priorize as necessidades de alunos e professores. Nosso objetivo é usar a IA de forma responsável em ambientes educacionais e garantir que seus benefícios sejam compartilhados de maneira equitativa pela sociedade. À medida que aprendemos mais sobre IA e a tecnologia evolui, nossas diretrizes também evoluirão.

1. Educamos as pessoas sobre os riscos e somos transparentes sobre problemas conhecidos.

Comunicamos de forma clara os riscos e limitações da IA antes e depois de os usuários acessarem nossas ferramentas. Também oferecemos maneiras simples para os usuários relatarem qualquer problema que encontrarem.

Os participantes devem ler e aceitar os riscos e limitações conhecidos e potenciais da IA, incluindo o fato de que:

• A IA pode estar incorreta ou ser enganosa
• Ela pode gerar conteúdo inadequado ou prejudicial
• Pode cometer erros factuais e matemáticos

Para ajudar o público a entender melhor a IA, também lançamos um curso gratuito chamado IA para a Educação, que aborda:

• Como funcionam os modelos de linguagem de grande porte (LLMs)
• Como os LLMs se aplicam à educação
• O que a IA consegue (e não consegue) fazer bem
• Perguntas-chave que educadores e alunos devem fazer sobre IA

2. Utilizamos práticas comprovadas de organizações respeitadas para orientar nossos esforços de avaliação e mitigação de riscos.

Estudamos e adaptamos estruturas do National Institute of Standards and Technology (NIST) e do Institute for Ethical AI in Education para avaliar e mitigar riscos de IA específicos da Khan Academy.

Reconhecemos que a IA nem sempre é precisa ou completamente segura, e que não é possível eliminar todos os riscos neste momento.
Por isso, trabalhamos de forma diligente para identificar riscos e implementar medidas de mitigação. Fazemos isso com abordagens técnicas como:

• Ajuste fino (fine-tuning) da IA para melhorar a precisão
• Engenharia de prompts para orientar e limitar o foco da IA — o que nos permite treiná-la e adaptá-la para ambientes educacionais
• Monitoramento e moderação das interações com os participantes para detectar e responder a conteúdos inadequados, além de aplicar os controles apropriados da comunidade (como remoção de acesso)
• Limitação do uso diário, pois sessões mais longas tendem a gerar comportamentos inadequados da IA
• Red teaming — testes intencionais da IA para identificar vulnerabilidades ou falhas
• Coleta e revisão contínua do feedback de usuários dentro do produto para entender melhor o que está funcionando e o que precisa de melhorias

Também deixamos claro que o conteúdo gerado por IA pode conter erros (inclusive em matérias como matemática) e que é possível haver conteúdo inadequado.

Esses esforços têm como objetivo desenvolver ferramentas de IA mais fortes, seguras e confiáveis com o tempo.

3. Quem tem acesso às nossas aplicações de IA

• Estudantes: só podem usar o Khanmigo se forem parte de uma parceria com o programa Khan Academy para Redes. 
• Professores:
  • Terão acesso ao Khanmigo se forem parte de uma parceria com o programa Khan Academy para Redes. 
  • Professores individuais têm acesso gratuito às ferramentas do Khanmigo para professores através de suas contas ou podem se cadastrar por meio do site khanmigo.ai.

Cada estudante que tem acesso às nossas ferramentas com IA recebe uma comunicação clara de que seu histórico de conversa e atividades estão visíveis para seu professor(a) e gestor(a) de escola. Também usamos tecnologia de moderação para detectar interações que possam ser inadequadas, prejudiciais ou inseguras. Quando o sistema de moderação é ativado, ele envia automaticamente um alerta por e-mail para um adulto conectado à conta do(a) aluno(a).

4. Promovemos e incentivamos uma cultura em que ética e desenvolvimento responsável estão integrados aos nossos processos e mentalidades.

Pessoas e equipes são orientadas a identificar considerações éticas e avaliar riscos desde o início de cada projeto. Nossas decisões são guiadas por avaliações de risco. Priorizamos a mitigação de riscos, valorizamos a transparência e refletimos continuamente sobre o impacto do nosso trabalho.

Temos um plano detalhado de monitoramento e avaliação em vigor. Vamos aprender, iterar e melhorar.

Olhando para o futuro:

A IA é um campo em rápido desenvolvimento, com um enorme potencial. Estamos entusiasmados com a capacidade da IA de beneficiar a educação e reconhecemos que ainda temos muito a aprender. Nosso objetivo final é aproveitar o poder da IA para acelerar a aprendizagem. Vamos avaliar como a IA funciona e compartilhar nossos aprendizados com o mundo. Esperamos adaptar nossos planos ao longo do caminho.