Directrices de IA generativa de San Francisco

Las 3 principales pautas para explorar con IA generativa

• Revise siempre y verifique los hechos del contenido generado por IA antes de usarlo
• Revele siempre el uso de IA generativa en sus resultados
• Nunca introduzca información confidencial en herramientas públicas de inteligencia artificial generativa, como ChatGPT. La información que introduzca podrá ser vista por las empresas que fabrican las herramientas y, en algunos casos, por miembros del público.

Introducción

La inteligencia artificial (IA) tiene un gran potencial para brindar beneficios públicos, cuando se utiliza de manera responsable. Recientemente, la tecnología de IA generativa ha ganado atención generalizada y está disponible para su uso por parte del personal de la Ciudad y el Condado de San Francisco (Ciudad). La IA generativa genera nuevos datos basados en patrones aprendidos de datos existentes y puede producir contenido que imita la creatividad humana. Algunos ejemplos incluyen la generación de texto, la creación de imágenes y la composición musical. La IA generativa se diferencia de la tecnología de IA que utiliza actualmente la Ciudad, que respalda la toma de decisiones informadas basadas en datos de entrada, pero no crea contenido nuevo. La IA generativa ofrece nuevas oportunidades y también plantea desafíos únicos para garantizar un uso responsable y eficaz.

Alcance de las Directrices

Las siguientes pautas se aplican a todo el personal de los departamentos de la ciudad, incluidos empleados, contratistas, consultores, voluntarios y proveedores que trabajan en nombre de la ciudad. Las pautas evolucionarán en función de los avances legislativos y reglamentarios y de los cambios en la tecnología de inteligencia artificial generativa. La Oficina del Administrador de la Ciudad actualizará las pautas a medida que surjan avances, casos de uso y nueva información.

Definiciones

¿Qué es la IA generativa?

La IA generativa se refiere a nuevas herramientas de software que pueden producir texto, imágenes, audio, video y otros medios realistas en función de una indicación proporcionada por el usuario. Las aplicaciones comunes de IA generativa incluyen ChatGPT, Bard y Dall-E. Estas herramientas utilizan algoritmos de aprendizaje automático que se han entrenado en conjuntos muy grandes de datos de texto e imágenes extraídos de Internet. Estos modelos han extraído patrones comunes de lenguaje e imágenes de los datos de entrenamiento y pueden responder a las indicaciones rápidamente de manera realista.

Las aplicaciones de IA generativa se crean utilizando conjuntos de datos de entrenamiento de varias fuentes de Internet y, a menudo, incluyen sesgos de género, raciales, políticos y de otro tipo. Como resultado, los resultados de la IA generativa pueden propagar sesgos. Además, incluso las herramientas de IA generativa actuales más avanzadas pueden proporcionar respuestas inconsistentes a preguntas basadas en hechos. Los usuarios siempre deben verificar la precisión del contenido generado por IA, así como los sesgos que pueda presentar.

¿Qué pasa con la IA tradicional?

La IA generativa se diferencia de los modelos de aprendizaje automático discriminativo, que se han utilizado ampliamente desde principios de la década de 2000, incluso en la ciudad. Los modelos de aprendizaje automático discriminativo no generan contenido nuevo, sino que se limitan a generar valores conocidos y validados. Estos modelos se utilizan principalmente para predecir cantidades (por ejemplo, predecir los precios de las viviendas) o para asignar la pertenencia a un grupo (por ejemplo, clasificar imágenes en categorías).

¿Cuáles son los beneficios para el gobierno de la Ciudad?

Las herramientas de inteligencia artificial generativa, si se utilizan adecuadamente, tienen el potencial de ampliar el conjunto de herramientas de San Francisco para el servicio público. Las funciones de generación de texto, código e imágenes pueden acelerar o mejorar las tareas comunes si se utilizan con cuidado.

Por ejemplo, cuando se utilizan en el marco de unas directrices, las herramientas de IA generativa pueden ayudar a:

• Creación de primeros borradores de documentos, planes, memorandos y resúmenes.
• “Traducir” el texto a niveles de formalidad, niveles de lectura, etc.
  • Reescribir un correo electrónico informal y convertirlo en un borrador de memorando
  • Resumir documentación técnica o legal en un lenguaje sencillo y orientar los resúmenes a diferentes públicos.
  • Convertir pensamientos frustrados en una solicitud interdepartamental cortés
• Tareas repetitivas de codificación y prueba para desarrolladores de software, con revisiones de ingeniería apropiadas
• Generar diagramas u otras imágenes explicativas
• Desarrollar interfaces de servicio como chatbots con la debida atención al acceso y precisión del lenguaje.

Todos estos beneficios tienen su mejor efecto cuando los comprueba un ser humano que:

1. Conocedor del contenido y del servicio que se brinda.
2. Consciente de los errores y limitaciones comunes de la IA generativa

¿Cuáles son los riesgos de la IA generativa?

La IA generativa se destaca por crear contenido que parece confiable y pulido, lo que hace que sea fácil aceptar el contenido generado por IA sin más. Sin una persona con conocimientos o un sistema experto que revise el contenido para comprobar su precisión, la IA generativa tiene el potencial de engañar a los usuarios y al público. Estos riesgos se magnifican si el resultado no está etiquetado como creado, redactado o informado por IA. Los riesgos también pueden aplicarse cuando la tecnología de IA generativa es un componente de otro software, como una aplicación empresarial en la nube o herramientas de productividad, que pueden no ser evidentes para los usuarios.

El personal debe utilizar las herramientas de IA generativa con cuidado para evitar posibles resultados negativos:

• Tomar una decisión inapropiada que afecta a los residentes basándose en contenido generado por IA
• Producir información, ya sea pública o internamente, que sea inexacta
• Incorporación de sesgos encontrados en los datos de entrenamiento de la IA, lo que genera inequidades
• Problemas de ciberseguridad u otros errores debido al uso de código generado por IA
• Exponer datos no públicos como parte de los conjuntos de datos de entrenamiento. (El personal debe asumir que todos los datos ingresados en una herramienta de IA generativa pasan a formar parte del conjunto de entrenamiento).
• Atribución incorrecta de contenido generado por IA a fuentes oficiales de ciencia ficción

Pautas de la ciudad para el uso de la IA generativa

Para respaldar la seguridad de los sistemas y datos de la Ciudad y servir mejor al público, al mismo tiempo que se defiende la confianza pública, siga estos consejos sobre qué hacer y no hacer en el uso de la IA generativa.

Hacer

• ¡Pruébelo! Experimente con herramientas de IA generativa para redactar, nivelar y dar formato a textos e imágenes explicativas utilizando información pública
• Trabaje con el equipo de TI de su departamento y experimente exhaustivamente con varios casos de uso antes de utilizar IA generativa en la entrega de programas o servicios.
• Revise y verifique minuciosamente todo el contenido generado por IA (por ejemplo, texto, código, imágenes, etc.). Usted es responsable de lo que crea con la ayuda de IA generativa.
• Divulgue cuándo y cómo se utilizó la IA generativa en su resultado. Por ejemplo:
  • “La imagen del encabezado se creó utilizando la herramienta de inteligencia artificial MidJourney”
  • “Este resumen fue creado utilizando Bard, una herramienta de inteligencia artificial generativa”
  • “Para su información, utilicé ChatGPT para revisar este correo electrónico”

No

• Introduzca en las herramientas públicas de inteligencia artificial generativa (por ejemplo, ChatGPT) cualquier información que no pueda divulgarse por completo al público. Esta información puede ser vista por las empresas que fabrican las herramientas y, en algunos casos, por otros miembros del público. Una vez ingresada, esta información pasa a formar parte del registro público. El manejo y la divulgación de información confidencial ya están regidos por varias políticas de la ciudad, que incluyen, entre otras:
  • Sección 16.130 de la Carta, Política de privacidad primero
  • Código Administrativo, Sección 12M.2(a), No divulgación de información privada
  • Código de conducta gubernamental y de campañas, sección 3.228, Divulgación o uso de información confidencial de la ciudad
  • Sección “Computadoras y sistemas de información de datos” del Manual del empleado del Departamento de Recursos Humanos (enero de 2012, página 48)
  • Consulte el Estándar de clasificación de datos de toda la ciudad para obtener más detalles sobre la clasificación de datos y los roles responsables del departamento.
• Publicar resultados de IA generativa (ya sea texto, imagen o código) sin una revisión y divulgación completas por parte de un experto
• Solicite a las herramientas de IA generativa que encuentren datos o tomen decisiones sin la revisión humana de un experto
• Generar imágenes, audio o vídeos que podrían confundirse con personas reales, por ejemplo:
  • Hacer una fotografía o grabación falsa de un funcionario o miembro del público específico de San Francisco (“deepfake”), incluso con divulgación
  • Generar una imagen o grabación falsa que pretende ser de un ciudadano de San Francisco o de un funcionario público, incluso si no es uno específico.
  • Generar “encuestados” falsos o perfiles inventados para encuestas u otras investigaciones
• Ocultar el uso de IA generativa durante la interacción con colegas o el público, como herramientas que puedan estar escuchando y transcribiendo la conversación o herramientas que proporcionen traducción simultánea

Orientación adicional para líderes de TI departamentales

Los líderes de TI departamentales tienen la responsabilidad de respaldar usos adecuados de la IA generativa que generen el mayor beneficio público. Los líderes de TI deben considerar la siguiente orientación adicional mientras trabajan con el personal para determinar los casos de uso adecuados para la IA generativa.

Es de esperar que estas herramientas y la orientación al respecto evolucionen con el tiempo. Este es el comienzo. Es importante conocer y hacer un seguimiento de su uso para permitir la transparencia con el público y garantizar un uso responsable.

Comience a recopilar casos de uso y prepárese para informar sus usos en un foro público para garantizar la transparencia y la responsabilidad.

Sepa si el software que administra (y sus componentes) incluyen IA generativa; informe a su equipo cómo se utiliza y cuáles son los riesgos específicos.

Haga preguntas sobre IA generativa en sus solicitudes de adquisiciones.

Trabajar con los proveedores para garantizar que la IA incorporada en las herramientas adquiridas sea explicable y auditable. Los proveedores deben poder proporcionar información y documentación sobre las fuentes de datos, los métodos y la validación.

Experimente con el entrenamiento de modelos internos en datos internos.

Al considerar implementar chatbots para el servicio al público, pruebe exhaustivamente y desarrolle un plan de acceso al idioma.

Consulte con la Oficina de Ciberseguridad al comienzo del proceso de prueba al crear o adquirir aplicaciones que utilicen tecnología de IA generativa.

Fondo

Panorama legislativo y regulatorio actual

Los gobiernos, los investigadores y los expertos en políticas tecnológicas están observando de cerca la evolución de las herramientas de IA generativa para comprender los posibles riesgos y beneficios para el servicio público. En octubre de 2023, el presidente Biden emitió una orden ejecutiva destinada a mejorar la seguridad de la IA en los sectores público y privado. A nivel estatal, el gobernador Newsom emitió una orden ejecutiva en septiembre de 2023 que ordena a las agencias estatales que estudien el desarrollo, el uso y los riesgos de la IA y desarrollen un proceso para su implementación dentro del gobierno de California. Tanto las legislaturas federales como las estatales también han debatido numerosos proyectos de ley relacionados con la regulación del uso de la IA. En vista del estado inicial de la IA generativa, los esfuerzos en curso a nivel federal y estatal y la complejidad de las operaciones de la ciudad y los posibles casos de uso de la IA, la ciudad continuará evaluando el campo antes de emitir políticas más proscriptivas que regulen la IA.

Desarrollo inicial de las directrices

La Oficina del Administrador de la Ciudad (dirigida por Servicios Digitales y de Datos, el Departamento de Tecnología y el Comité de Tecnología de la Información) desarrolló estas pautas centradas en la IA generativa después de revisar las recientes pautas de IA generativa emitidas por Boston, San José, el Reino Unido, la Oficina de Política Científica y Tecnológica de la Casa Blanca y la Oficina del Gobernador Newsom.

La ciudad y el condado de San Francisco adoptan la innovación con un uso responsable y equitativo. Varios departamentos de la ciudad utilizan actualmente distintos tipos de IA para respaldar la prestación de servicios. Por ejemplo, SF311 utiliza IA para categorizar las descripciones y fotografías enviadas por el público para acelerar las respuestas a las solicitudes de servicio. La Oficina del Tasador-Registrador utiliza IA para predecir los precios de las propiedades e identificar las propiedades que requieren una tasación completa.

Evolución de las directrices

A medida que los marcos legislativos y regulatorios federales y estatales continúan evolucionando, San Francisco ofrece estas pautas preliminares para el personal que utiliza IA generativa en las operaciones de la ciudad. Los empleados de la ciudad deben comprender y estar al tanto de los posibles riesgos y beneficios a medida que la tecnología y las políticas que la rigen cambian.

Estas pautas están diseñadas para brindar orientación suficiente a los empleados para que utilicen las herramientas de manera responsable, mejorando el servicio público sin sofocar la innovación. Este documento representa un primer paso en un proceso extenso para comprender, probar y evaluar el uso de la IA en general dentro del gobierno de la ciudad de San Francisco. Los próximos pasos incluyen una encuesta integral sobre el uso actual y propuesto de la IA en los departamentos de la ciudad, reuniones con expertos en el campo de la IA y la creación de una comunidad de usuarios, entre otras tareas, para maximizar los beneficios y minimizar los riesgos de la inteligencia artificial en la prestación de servicios a los residentes y visitantes de San Francisco.

Conclusión

La IA generativa se está desarrollando rápidamente y los marcos legislativos y regulatorios a nivel estatal y federal continúan evolucionando. Para servir mejor al público, mantener la confianza pública y proteger la seguridad de los sistemas y datos de la ciudad, el personal de la ciudad debe ser consciente de los posibles riesgos y limitaciones de la tecnología, al mismo tiempo que explora los posibles beneficios de la IA generativa en la prestación de servicios públicos.

Si bien estas pautas tienen como objetivo educar al personal de la ciudad sobre el uso responsable de la IA generativa, son solo el comienzo. La Oficina del Administrador de la Ciudad seguirá trabajando con el alcalde, los departamentos de la ciudad, los proveedores de tecnología de la ciudad y los expertos externos para respaldar el uso de las tecnologías de IA por parte de los departamentos, gestionar los riesgos y proteger los datos de los residentes y de la ciudad. Las acciones futuras incluyen:

• Desarrollar directrices más detalladas y capacitar al personal sobre usos específicos de la IA. Desarrollar principios de uso de la IA éticos, transparentes y confiables.
• Definición de los procesos de gobernanza y monitoreo del impacto de la IA
• Adaptación de los procesos de adquisición a las herramientas de IA
• Recopilar y documentar los casos de uso del departamento y ayudarlos a gestionar el riesgo.
• Seguimos protegiendo los datos de la ciudad y de los residentes mientras trabajamos con proveedores de tecnología
• Búsqueda de experiencia externa de otros adoptantes de IA del sector público y académicos
• Intercambio de aprendizajes con otros socios gubernamentales

La Oficina del Administrador de la Ciudad revisará y modificará estas pautas. Si tiene preguntas, comuníquese con el Comité de Tecnología de la Información a COIT.staff@sfgov.org.

Glosario

Algoritmos: son un conjunto de reglas que sigue una máquina para generar un resultado o una decisión.

Inteligencia artificial (IA) : se refiere a un grupo de tecnologías que pueden realizar tareas cognitivas complejas, como reconocer y clasificar imágenes o impulsar vehículos autónomos. Muchos sistemas de IA se construyen utilizando modelos de aprendizaje automático. Para una tarea como el reconocimiento de imágenes, el modelo aprende patrones de píxeles de un gran conjunto de datos de imágenes existentes y utiliza estos patrones para reconocer y clasificar nuevas imágenes.

Auditabilidad para IA: IA donde los resultados son explicables, monitoreados y validados regularmente.

Bard: es un chatbot conversacional Gen AI creado por Google

Modelos de caja negra : son aquellos en los que no se puede determinar eficazmente cómo o por qué un modelo produjo un resultado específico.

Chatbots: son programas informáticos que simulan conversaciones. Los chatbots existen desde hace algunas décadas. Los chatbots básicos (sin Gen AI) utilizan ML para comprender las indicaciones humanas y brindar respuestas más o menos predefinidas que pueden guiar a los usuarios a través de un proceso. Los chatbots Gen AI pueden brindar respuestas conversacionales más parecidas a las humanas.

chatGPT: es un chatbot conversacional Gen AI creado por OpenAI

Dall-e : es una aplicación Gen AI que puede generar imágenes basadas en indicaciones de texto.

IA discriminativa: a diferencia de la IA general, los modelos de IA discriminativa no generan contenido nuevo, pero pueden usarse para predecir cantidades (por ejemplo, predecir precios de viviendas) o para asignar membresía de grupo (por ejemplo, clasificar imágenes).

IA generativa (Gen AI): se refiere a un grupo de tecnologías que pueden generar contenido nuevo en función de una indicación proporcionada por el usuario. Muchas de ellas funcionan con LLM.

Modelos de lenguaje grandes (LLM) : son un tipo de modelo de aprendizaje automático entrenado con grandes cantidades de datos de texto. Estos modelos aprenden patrones matizados y la estructura del lenguaje. Esto permite que el modelo comprenda una indicación generada por el usuario y proporcione una respuesta de texto coherente. Las respuestas se basan en la predicción de la palabra más probable en una secuencia de palabras y, como resultado, las respuestas no siempre son contextualmente correctas. Los conjuntos de datos de entrenamiento utilizados para construir estos modelos pueden contener sesgos de género, raciales, políticos y de otro tipo. Dado que los modelos han aprendido de datos sesgados, sus resultados pueden reflejar estos sesgos. Las aplicaciones de IA generativa se construyen utilizando estos LLM.

Aprendizaje automático (ML): es un método para aprender las reglas de un algoritmo basado en datos existentes.

7Modelo de aprendizaje automático : es un algoritmo que se construye a partir de patrones de aprendizaje en datos existentes. Por ejemplo, un modelo de aprendizaje automático para predecir los precios de las viviendas se construye a partir de datos históricos sobre precios de viviendas. El modelo puede aprender que el precio aumenta con los metros cuadrados, cambia según el vecindario y depende del año de construcción.

Validación de modelos: métodos para determinar si los resultados generados por un modelo de aprendizaje automático son imparciales y precisos.

Datos de entrenamiento: el conjunto de datos que utiliza un modelo de aprendizaje automático para aprender las reglas.