Acerca de

¿Por qué "incidentes de IA"?

Actualmente, los sistemas inteligentes son propensos a sufrir fallos imprevistos y, a menudo, peligrosos cuando se implementan en el mundo real. Al igual que el sector del transporte anterior (por ejemplo, FAA y FARS) y más recientemente sistemas informáticos, los sistemas inteligentes requieren un repositorio de problemas experimentados en el mundo real para que los futuros investigadores y desarrolladores puedan mitigar o evitar malos resultados repetidos.

¿Qué es un incidente?

El conjunto inicial de más de 1.000 informes de incidentes ha sido intencionalmente de naturaleza amplia. Los ejemplos actuales incluyen,

• Un coche autónomo mata a un peatón
• Un algoritmo comercial provoca una "caída repentina" en el mercado donde se transfieren miles de millones de dólares entre las partes.
• Un sistema de reconocimiento facial provoca que una persona inocente sea arrestada

Está invitado a explorar los incidentes recopilados hasta la fecha, ver la lista completa y enviar informes de incidentes adicionales. Se invita a los investigadores a revisar nuestra definición funcional de incidentes de IA.

Usuarios actuales y futuros

La base de datos es un producto de datos y una colección de aplicaciones en constante evolución.

• Los usuarios actuales incluyen arquitectos de sistemas, desarrolladores de productos industriales, gerentes de relaciones públicas, investigadores e investigadores de políticas públicas. Se invita a estos usuarios a utilizar la aplicación Discover para descubrir de forma proactiva cómo los sistemas inteligentes recientemente implementados han producido resultados inesperados en el mundo real. Al hacerlo, podrán evitar cometer errores similares en su desarrollo.
• Usos futuros evolucionarán a través de las contribuciones de código de la comunidad código abierto, incluidos resúmenes y taxonomías de bases de datos.

¿Cuándo debería informar un incidente?

Si tiene dudas sobre si un evento califica como incidente, envíelo. Este proyecto pretende converger en una definición compartida de "Incidente de IA" mediante la exploración de los incidentes candidatos presentados por la comunidad en general.

Junta Directiva

La base de datos de incidentes es administrada de manera participativa por personas y organizaciones que contribuyen con código, investigación e impactos más amplios. Si desea participar en la gobernanza del proyecto, póngase en contacto con nosotros e incluya su contribución prevista a la base de datos de incidentes de IA.

Miembros votantes

• Patrick Hall: Patrick fue recientemente científico principal en bnh.ai, una firma de abogados con sede en D.C. que se especializa en inteligencia artificial y análisis de datos. Patrick también es profesor asistente en la Escuela de Negocios de la Universidad George Washington. Antes de cofundar bnh.ai, Patrick dirigió esfuerzos responsables de IA en la empresa de software de aprendizaje automático H2O.ai, donde su trabajo dio como resultado una de las primeras soluciones comerciales del mundo para un aprendizaje automático explicable y justo. Entre otros escritos sobre medios académicos y tecnológicos, Patrick es el autor principal de libros electrónicos populares sobre aprendizaje automático explicable y responsable. Patrick estudió química computacional en la Universidad de Illinois antes de graduarse en el Instituto de Análisis Avanzado de la Universidad Estatal de Carolina del Norte. Contribuciones: Patrick es un colaborador principal de informes de incidentes para la base de datos de incidentes de IA y proporciona liderazgo estratégico para la junta.

• Heather Frase: Heather Frase, PhD es investigadora principal del Centro de Seguridad y Tecnología Emergente de Georgetown (CSET), donde trabaja en Evaluación de IA. También se desempeña como asesora no remunerada del proyecto Open Loop de Meta, brindando experiencia en la implementación del Marco de Gestión de Riesgos de IA del Instituto Nacional de Estándares y Tecnología. Antes de unirse a CSET, Heather pasó ocho años brindando soporte de análisis de datos, modelado computacional, aprendizaje automático (ML) e inteligencia artificial (AI) para contratos federales, de inteligencia y de defensa. Además, Heather pasó 14 años en el Instituto de Análisis de Defensa (IDA), como directora de apoyo de Pruebas y Evaluación Operativas (DOT&E). En IDA dirigió equipos de investigación analítica para aplicar experiencia científica, tecnológica y estadística para desarrollar métricas de datos y planes de recopilación para pruebas operativas de los principales sistemas de defensa, analizar datos de pruebas y producir evaluaciones de efectividad e idoneidad operativas. Tiene un doctorado. en Ciencias de Materiales del Instituto de Tecnología de California y una licenciatura en Física de la Universidad de Miami en Oxford Ohio. Contribuciones: Heather desarrolla investigaciones de incidentes de IA además de su supervisión de la taxonomía CSET.

• Kristian J. Hammond: Kris Hammond es el profesor de informática Bill y Cathy Osborn Science en la Universidad Northwestern y cofundador de la empresa de Inteligencia Artificial Narrative Science, recientemente adquirida por Salesforce. También es el líder docente de la iniciativa CS + X de Northwestern, que explora cómo se puede utilizar el pensamiento computacional para transformar campos como el derecho, la medicina, la educación y los negocios. Es director de la Maestría en Ciencias en Inteligencia Artificial (MSAI) de Northwestern. Más recientemente, el Dr. Hammond fundó el Centro para el avance de la seguridad en la inteligencia de las máquinas (CASMI), un centro de investigación financiado por Underwriter's Laboratories. CASMI se centra en hacer operativo el diseño y la evaluación de sistemas de IA desde la perspectiva de su impacto en la vida y la seguridad humana. Contribuciones: Kris está desarrollando un proyecto colaborativo centrado en estudios de casos de incidentes.

Junta Emérita

Los miembros eméritos de la junta directiva son aquellos que se han distinguido particularmente en su servicio a Responsible AI Collaborative. No ocupan ningún puesto de gobierno dentro de la organización.

• Sean McGregor: Sean McGregor fundó el proyecto AI Incident Database y recientemente se unió al Digital Safety Research Institute como director fundador. Antes de iniciar Responsible AI Collaborative, Sean dejó un puesto como arquitecto de aprendizaje automático en la startup de acelerador neuronal Syntiant para poder centrarse en la garantía de sistemas inteligentes a tiempo completo. El trabajo del Dr. McGregor abarca aceleradores neuronales para inferencias energéticamente eficientes, aprendizaje profundo para el habla y heliofísica, y aprendizaje reforzado para políticas de extinción de incendios forestales. Además de su trabajo remunerado, Sean organizó una serie de talleres en importantes conferencias académicas sobre IA sobre el tema "IA para el bien" y ahora busca aprovechar de forma segura los beneficios de la IA conectando los registros de incidentes de IA con los programas de prueba de IA.

• Helen Toner: Helen Toner es directora de estrategia en el Centro de Seguridad y Tecnología Emergente (CSET) de Georgetown. Anteriormente trabajó como analista de investigación senior en Open Philanthropy, donde asesoró a formuladores de políticas y donantes sobre políticas y estrategias de IA. Entre su trabajo en Open Philanthropy y su incorporación a CSET, Helen vivió en Beijing, estudiando el ecosistema chino de IA como investigadora afiliada del Centro para la Gobernanza de la IA de la Universidad de Oxford. Helen ha escrito para Asuntos Exteriores y otros medios sobre las implicaciones de seguridad nacional de la IA y el aprendizaje automático para China y Estados Unidos, además de testificar ante la Comisión de Revisión Económica y de Seguridad entre Estados Unidos y China. Es miembro de la junta directiva de OpenAI. Helen tiene una maestría en Estudios de Seguridad de Georgetown, así como una licenciatura en Ingeniería Química y un diploma en Idiomas de la Universidad de Melbourne.

Colaboradores

Colaboración responsable de IA: Personas que sirven a la organización detrás de la base de datos de incidentes de IA.

• Scott Allen Cambo
• Janet Boutilier Schwartz

Instituto de Investigación de Seguridad Digital (DSRI): Personas afiliadas a DSRI, que brinda apoyo sustancial al programa AIID.

• Kevin Paeth es líder de DSRI
• César Varela es Ingeniero Full Stack
• Luna McNulty es ingeniera de UX
• Pablo Costa es ingeniero Full Stack
• Clara Youdale Pinelli es ingeniera front-end
• Sean McGregor es director de DSRI

Editores de incidentes: Personas que resuelven los envíos de incidentes a la base de datos y los mantienen.

• Daniel Atherton
• Sean McGregor
• Khoa Lam
• Kate Perkins
• Janet Boutilier Schwartz

Además, Zachary Arnold hizo contribuciones significativas a los criterios del incidente.

Editores de taxonomías: Organizaciones o personas que han contribuido taxonomías a la base de datos.

• Centro de Seguridad y Tecnología Emergente (CSET)
• Nikiforos Pittaras (GMF)

Partnership on AI:

• Jingying Yang y Dr. Christine Custis contribuyó significativamente a las primeras etapas del AIID.

Colaboradores de código abierto: Personas que han contribuido con más de una solicitud de extracción, gráficos, copia del sitio o informe de error a la base de datos de incidentes de IA.

• Neama Dadkhahnikoo: Neama se desempeñó como directora ejecutiva voluntaria y observadora de la junta directiva de Responsible AI Collaborative.
• Kit Harris: Kit se desempeñó como observador de la junta y brindó asesoramiento estratégico desde su puesto como asesor de subvenciones.
• Alex Muscă
• Chloe Kam Desarrolló el logotipo de AIID
• JT McHorse
• Seth Reid

Contribuyentes de incidentes: Personas que han contribuido con una gran cantidad de incidentes a la base de datos.

• Roman Lutz (Instituto Max Planck de Sistemas Inteligentes, anteriormente Microsoft)
• Patrick Hall (Burt and Hall LLP)
• Catherine Olsson (Google)
• Roman Yampolskiy (Universidad de Louisville)
• Sam Yoon (como contratista de PAI, luego de Deloitte Consulting, luego de la Kennedy School of Government)

Las siguientes personas han recogido un gran número de incidencias que están pendientes de ingestión.

• Zachary Arnold, Helen Toner, Ingrid Dickinson, Thomas Giallella y Nicolina Demakos (Centro de Seguridad y Tecnología Emergente, Georgetown)
• Charlie Pownall a través del repositorio de controversias e incidentes algorítmicos y de automatización (AIAAIC)
• Lawrence Lee, Darlena Phuong Quyen Nguyen, Iftekhar Ahmed (UC Irvine)

Existe una comunidad cada vez mayor de personas preocupadas por la recopilación y caracterización de incidentes de IA, y animamos a todos a contribuir al desarrollo de este sistema.