舊金山生成式人工智慧指南

探索生成式 AI 的 3 大指南

• 在使用人工智慧生成的內容之前，請務必對其進行審查和事實核查
• 始終在輸出中揭露生成式人工智慧的使用情況
• 切勿將敏感資訊輸入公共生成式 AI 工具，例如 ChatGPT。您輸入的資訊可以由製造工具的公司查看，在某些情況下，公眾也可以查看

介紹

如果負責任地使用，人工智慧 (AI) 具有提供公共利益的巨大潛力。最近，生成式人工智慧技術獲得了主流關注，並可供舊金山市和縣的工作人員使用。生成式人工智慧根據從現有數據中學習到的模式產生新數據，並可以產生模仿人類創造力的內容。例如文字生成、圖像創建和音樂創作。生成式人工智慧與市政府目前使用的人工智慧技術不同，後者支援基於輸入資料的明智決策，但不會創建新內容。生成式人工智慧提供了新的機遇，也帶來了獨特的挑戰，以確保負責任和有效的使用。

指南的範圍

以下準則適用於所有代表城市工作的城市部門人員，包括員工、承包商、顧問、志工和供應商。該指南將根據立法和監管的發展以及產生人工智慧技術的變化而不斷發展。城市行政辦公室將隨著進展、用例和新資訊的出現更新指南。

定義

什麼是生成式人工智慧？

生成式人工智慧是指能夠根據使用者提供的提示產生逼真的文字、圖像、音訊、視訊和其他媒體的新軟體工具。常見的生成式 AI 應用包括 ChatGPT、Bard 和 Dall-E。這些工具使用機器學習演算法，這些演算法已經過大量從網路上挑選的文字和圖像資料的訓練。這些模型從訓練資料中提取了通用語言和圖像模式，並且能夠以真實的方式快速回應提示。

生成式人工智慧應用程式是使用網路上各種來源的訓練資料集建構的，通常包含性別、種族、政治和其他偏見。因此，生成式人工智慧的輸出可能會傳播偏見。此外，即使是目前最先進的生成式人工智慧工具也可能對基於事實的問題提供不一致的答案。用戶應始終檢查人工智慧生成的內容的準確性以及它們可能表現出的偏見。

傳統人工智慧呢？

生成式人工智慧與判別式機器學習模型不同，判別式機器學習模型自 2000 年代初期以來就被廣泛使用，包括市政府。判別性機器學習模型不會產生新內容。它們僅限於產生已知且經過驗證的值。這些模型主要用於預測數量（例如，預測房價）或分配組成員身份（例如，將圖像分類）。

為市府帶來什麼好處？

如果使用得當，生成式人工智慧工具有可能擴展舊金山的公共服務工具包。如果仔細使用，文字、程式碼和圖像生成功能可以加速或改進常見任務。

例如，在指南範圍內使用生成式人工智慧工具可以幫助：

• 建立文件、計劃、備忘錄和簡報的初稿
• 將文本「翻譯」成正式程度、閱讀程度等。
  • 將非正式電子郵件重寫為備忘錄草稿
  • 以簡單易懂的語言總結技術或法律文檔，並針對不同受眾進行針對性總結
  • 將沮喪的想法轉化為禮貌的跨部門請求
• 軟體開發人員的重複編碼和測試任務，並進行適當的工程審查
• 產生圖表或其他解釋性圖像
• 開發聊天機器人等服務接口，適當關注語言存取和準確性

當由以下人員檢查時，這些好處都會發揮最佳效果：

1. 了解所提供的內容和服務
2. 意識到生成式人工智慧的常見錯誤和局限性

生成式人工智慧有哪些風險？

生成式人工智慧擅長創造看起來權威且精美的內容，使人們很容易從表面上接受人工智慧生成的內容。如果沒有知識淵博的人或專家系統來審查內容的準確性，生成式人工智慧就有可能誤導使用者和公眾。如果輸出沒有被標記為由人工智慧創建、起草或告知，這些風險就會被放大。當生成式人工智慧技術是其他軟體（例如雲端業務應用程式或生產力工具）的元件時，這些風險也可能存在，而這對使用者來說可能並不明顯。

員工必須謹慎使用生成式人工智慧工具，以避免可能的負面結果：

• 根據人工智慧生成的內容做出影響居民的不當決定
• 向公眾或內部提供不正確的訊息
• 納入人工智慧訓練資料中發現的偏見，導致不平等
• 由於使用人工智慧產生的程式碼而導致的網路安全問題或其他錯誤
• 將非公開資料作為訓練資料集的一部分公開。 （工作人員應假設生成人工智慧工具中輸入的所有資料都成為訓練集的一部分。）
• 不準確地將人工智慧生成的內容歸因於官方科幻來源

生成式人工智慧使用的城市指南

為了支援城市系統和資料的安全性並最好地為公眾服務，同時維護公眾信任，請遵循這些生成式人工智慧使用的注意事項。

做

• 嘗試一下！嘗試使用生成式 AI 工具使用公開資訊來起草、校平和格式化文字和解釋性影像
• 在交付程式或服務之前使用生成式 AI 與您部門的 IT 團隊合作並徹底試驗各種用例
• 徹底審查並事實查核所有人工智慧產生的內容（例如文字、程式碼、圖像等）。您對透過生成式 AI 協助所創造的內容負責
• 揭露在您的輸出中何時以及如何使用生成式人工智慧。例如：
  • “標題圖像是使用 AI 工具 MidJourney 創建的”
  • “此摘要是使用生成式人工智慧工具 Bard 創建的”
  • “僅供參考，我使用 ChatGPT 修改了這封電子郵件”

不

• 將任何無法完全向公眾發布的信息輸入公共生成式人工智慧工具（例如ChatGPT）。這些資訊可以被製造工具的公司查看，在某些情況下，其他公眾也可以查看。輸入後，該資訊將成為公共記錄的一部分。敏感資訊的處理和揭露已受到多項城市政策的約束，包括但不限於：
  • 憲章第 16.130 條，隱私權第一政策
  • 行政法第 12M.2(a) 條，不揭露私人資訊
  • 競選和政府行為守則第 3.228 節“城市機密資訊的揭露或使用”
  • 人力資源部員工手冊的「電腦與資料資訊系統」部分（2012 年 1 月，第 48 頁）
  • 有關數據分類和部門職責的更多具體信息，請參閱全市數據分類標準
• 未經充分的知識審查和披露就發布生成式人工智慧輸出（無論是文字、圖像還是程式碼）
• 要求生成式人工智慧工具在沒有專家人工審核的情況下查找事實或做出決策
• 產生可能被誤認為真人的圖像、音頻或視頻，例如：
  • 製作舊金山特定官員或公眾的虛假照片或錄音（“深度偽造”）——即使有披露
  • 產生假冒舊金山人或公職人員的影像或錄音，即使不是特定的人
  • 為調查或其他研究產生虛假的「受訪者」或虛構的個人資料
• 在與同事或公眾互動時隱藏生成式人工智慧的使用，例如可能監聽和轉錄對話的工具或提供同聲翻譯的工具

給部門 IT 領導者的額外指導

部門 IT 領導者有責任支援適當規模的生成式人工智慧應用，以實現最大的公共利益。 IT 領導者在與員工合作確定生成式 AI 的適當用例時應考慮以下附加指南。

預計這些工具以及有關這些工具的指南會隨著時間的推移而不斷發展。這就是開始。重要的是要了解並追蹤使用情況，以向公眾提供透明度並確保負責任的使用。

開始收集用例並準備在公共論壇上報告您的使用情況，以確保透明度和問責制。

了解您管理的軟體及其元件是否包含生成式人工智慧；告知您的團隊如何使用它以及具體的風險是什麼。

在採購招標中詢問有關生成式人工智慧的問題。

與供應商合作，確保採購工具中內建的人工智慧是可解釋且可審計的。供應商應該能夠提供有關資料來源、方法和驗證的資訊和文件。

嘗試根據內部資料訓練內部模型。

在考慮實施聊天機器人來為公眾提供服務時，請徹底測試並制定語言存取計劃。

使用生成式人工智慧技術建置或購買應用程式時，請在測試過程的早期諮詢網路安全辦公室。

背景

當前的立法和監管環境

政府、研究人員和技術政策專家正在密切關註生成式人工智慧工具的發展，以了解公共服務的潛在風險和利益。 2023 年 10 月，拜登總統發布了一項行政命令，旨在改善公共和私營部門人工智慧的安全保障。在州一級，紐瑟姆州長於 2023 年 9 月發布了一項行政命令，指示各州機構研究人工智慧的開發、使用和風險，並制定在加州政府內部部署的流程。聯邦和州立法機構也就許多與監管人工智慧使用相關的法案進行了辯論。鑑於生成式人工智慧的早期狀態、聯邦和州層面的持續努力以及城市營運和潛在人工智慧用例的複雜性，紐約市將在發布更多管理人工智慧的禁止性政策之前繼續評估該領域。

指南的初步製定

城市行政辦公室（由數位和數據服務部、技術部和資訊技術委員會領導）在審查了波士頓、聖何塞、英國、懷特郡最近發布的生成式人工智慧指南後，制定了這些以生成式人工智慧為重點的指南。

舊金山市和縣以負責任和公平的方式擁抱創新。目前，多個城市部門正在使用各種類型的人工智慧來支援服務提供。例如，SF311利用人工智慧對公眾提交的描述和照片進行分類，以加快對服務請求的回應。評估記錄員辦公室使用人工智慧來預測房產價格並識別需要全面評估的房產。

指南的演變

隨著聯邦和州立法和監管框架的不斷發展，舊金山為在城市運營中使用生成式人工智慧的工作人員提供了這些初步指南。隨著技術和管理技術的政策發生變化，城市員工必須了解並始終意識到潛在的風險和利益。

這些準則旨在為員工提供充分的指導，以負責任的方式使用這些工具，在不扼殺創新的情況下加強公共服務。本文件代表了理解、測試和評估舊金山市政府廣泛使用人工智慧的擴展過程的第一步。下一步包括對目前和擬議的城市部門對人工智慧的使用進行全面調查、與人工智慧領域的專家會面以及創建用戶社群等任務，以最大限度地提高人工智慧在提供服務方面的效益並最大限度地降低風險舊金山的居民和遊客。

結論

生成式人工智慧正在迅速發展，州和聯邦層級的立法和監管框架也在不斷發展。為了更好地服務公眾、維護公眾信任並保護城市系統和資料的安全，城市工作人員必須意識到該技術的潛在風險和局限性，同時探索生成式人工智慧在公共服務提供中的潛在好處。

雖然這些指南旨在教育城市工作人員負責任地使用生成式人工智慧，但這只是一個開始。市行政辦公室將繼續與市長、城市部門、城市技術供應商和外部專家合作，支援部門使用人工智慧技術、管理風險並保護居民和城市數據。未來的行動包括：

• 制定更詳細的指導方針，並對員工進行有關人工智慧具體用途的培訓 制定道德、透明和可信的人工智慧使用原則
• 定義人工智慧治理和影響監控流程
• 調整人工智慧工具的採購流程
• 收集和記錄部門用例並支援他們管理風險
• 與技術供應商合作，繼續保護城市和居民數據
• 向其他公共部門人工智慧採用者和學者尋求外部專業知識
• 與其他政府夥伴分享經驗教訓

市行政辦公室將重新審視並修訂這些指南。如有任何疑問，請聯絡資訊科技委員會：COIT.staff@sfgov.org。

詞彙表

演算法：是機器產生結果或決策所遵循的一組規則。

人工智慧 (AI) ：是指一組可以執行複雜認知任務的技術，例如識別和分類影像或為自動駕駛車輛提供動力。許多人工智慧系統都是使用機器學習模型建構的。對於影像辨識等任務，該模型從現有影像的大型資料集中學習像素模式，並使用這些模式來識別和分類新影像。

人工智慧的可審計性：人工智慧的輸出可以定期解釋、監控和驗證。

Bard：是 Google 建構的對話式 Gen AI 聊天機器人

黑盒模型：是指您無法有效確定模型如何或為何產生特定結果的模型。

聊天機器人：是模擬對話的電腦程式。聊天機器人已經存在了幾十年。基本聊天機器人（沒有 Gen AI）使用機器學習來理解人類提示，並提供更多或更少的腳本化答案，可以引導使用者完成整個流程。 Gen AI 聊天機器人可以提供更人性化的對話式答案。

chatGPT：是由 OpenAI 建構的對話式 Gen AI 聊天機器人

Dall-e ：是Gen AI應用程序，可根據文字提示產生圖像

判別式 AI：與 Gen AI 相比，判別式 AI 模型不會產生新內容，但可用於預測數量（例如，預測房價）或分配組成員身份（例如，對圖像進行分類）。

生成式人工智慧（Gen AI）：是指能夠根據使用者提供的提示產生新內容的一組技術。許多都是由法學碩士提供支援。

大型語言模型（LLM） ：是一種使用大量文字資料訓練的機器學習模型。這些模型學習語言的微妙模式和結構。這使得模型能夠理解使用者產生的提示並提供連貫的文字回應。反應基於預測單字序列中最可能的單詞，因此，答案並不總是上下文正確的。用於建構這些模型的訓練資料集可能包含性別、種族、政治和其他偏見。由於模型是從有偏差的數據中學習的，因此它們的輸出可以反映這些偏差。生成式人工智慧應用程式是使用這些法學碩士建構的。

機器學習（ML）：是一種基於現有資料學習演算法規則的方法。

7機器學習模型：是透過學習現有資料中的模式所建構的演算法。例如，透過學習房價的歷史資料來建立預測房價的機器學習模型。該模型可以了解到價格隨著平方英尺的增加而增加，隨社區的變化而變化，並且取決於建造年份。

模型驗證：確定機器學習模型產生的輸出是否無偏且準確的方法。

訓練資料：機器學習模型用來學習規則的資料集。