IA y aprendizaje
Gobierno y evaluación de funciones de IA
He diseñado una capa que conserva las versiones de las instrucciones, permite evaluar las funciones de IA usadas por extensiones de Moodle y registra su comportamiento.
El problema
Cuando cada extensión incrusta sus propias instrucciones, la organización no sabe qué versión está activa, qué cambio degradó una función ni qué datos se están enviando a cada proveedor.
El diseño prevé asignar cada función de IA a una persona responsable y validarla con una prueba concreta.
La generación, la clasificación, la recomendación y la predicción tienen consecuencias distintas. Para cada función, el producto deberá registrar el propósito, la población destinataria, las fuentes, los proveedores, las métricas, la supervisión, los cambios y la persona responsable.
Decisión principal
Vincular el control al riesgo del caso de uso.
Una ayuda editorial interna no requiere el mismo proceso que una recomendación dirigida a estudiantes. El plan de evaluación ajusta el grado de revisión, transparencia y seguimiento a la gravedad de las posibles consecuencias y a la facilidad de corregirlas.
Criterios de diseño
- 01
Estoy diseñando una API común para que las extensiones utilicen instrucciones sin gestionarlas por separado; antes de ampliar su alcance debo fijar el contrato compartido.
- 02
El diseño prevé revisar las versiones nuevas antes de aplicarlas y permitir su reversión; la retirada segura y la compatibilidad entre versiones siguen pendientes de definición.
- 03
El diseño vincula cada ejecución con la versión de las instrucciones y del modelo utilizados, registra el coste y la latencia, y conserva el resultado de la evaluación correspondiente.
Límites del producto
La fiabilidad exige pruebas además del cumplimiento documental.
El registro organiza decisiones y evidencias, pero no sustituye el análisis jurídico, pedagógico, de seguridad o de producto. Cada responsable debe validar el aspecto que le corresponde y declarar las incertidumbres abiertas.
Capacidades previstas en el diseño
- 01Plantillas y versiones
- 02API interna para extensiones
- 03Evaluación y entorno de pruebas
- 04Observabilidad y proveedores
Criterio de validación
La evidencia debe mantenerse durante toda la vida del sistema.
Antes de poner una función en producción, el equipo debe validar el comportamiento previsto; después debe observar los cambios de modelo, de datos y de uso, así como las incidencias. El historial debe permitir saber qué se aprobó, con qué pruebas y cuándo hay que repetir la evaluación.
Material desarrollado o documentado
- Proyecto de aplicación versionado
- Arquitectura técnica y plan de evolución documentados
Preguntas abiertas
Decisiones pendientes en el gobierno y la evaluación de funciones de IA.
La siguiente fase depende de definir un contrato común entre extensiones, aislar los datos, acordar la estrategia de evaluación y planificar la retirada segura de versiones.
- Contrato común entre extensiones
- Aislamiento de datos
- Estrategia de evaluación
- Retirada y compatibilidad de versiones
Decisiones de diseño documentadas
Cada función de IA con una versión, una prueba y una persona responsable
He diseñado un registro común para relacionar instrucciones, modelos, ejecuciones y evaluaciones y poder revisar qué se aprobó y por qué.
- 01Arquitectura de IA
- 02Evaluación y observabilidad
- 03Supervisión humana
- 04Integración con el aprendizaje
Contexto profesional