上海AI大模型落地提速：34款已备案，17款正在备案_实盘配资

大模型时代的安全挑战：上海徐汇区聚焦大模型安全治理

元描述: 上海徐汇区举办大模型主题分论坛，探讨大模型发展带来的安全挑战，聚焦内容安全、密码技术与大模型融合等议题，专家学者共话大模型安全治理之道。

人工智能技术正以前所未有的速度改变着世界，大模型作为人工智能领域最具代表性的技术之一，正在迅速崛起，为各行各业带来颠覆性的变革。然而，大模型的快速发展也带来了前所未有的安全挑战，如何平衡发展与安全，成为当前社会关注的焦点。

8月30日下午，2024年国家网络安全宣传周上海地区活动徐汇区大模型主题分论坛在上海“模速空间”创新生态社区举行。这场论坛，汇聚了来自学术界、产业界和监管部门的重量级嘉宾，共同探讨大模型浪潮下的安全挑战，为构建安全可控的大模型生态贡献智慧。

大模型安全：机遇与挑战并存

人工智能领域的快速发展，尤其是大模型技术的突破，为社会进步带来了巨大的机遇。大模型能够处理海量信息，学习复杂的知识体系，在自然语言处理、图像识别、代码生成等领域展现出强大的能力，为各行各业带来了前所未有的可能性。

然而，大模型的快速发展也带来了严峻的安全挑战。生成式人工智能技术在带来便利的同时，也可能被用于制造虚假信息、传播有害内容，甚至被恶意利用进行攻击。例如，大模型生成的虚假新闻和图像，可能会对社会造成不良影响；大模型的代码生成能力，可能会被黑客用来编写恶意软件；大模型的强大计算能力，可能被用于破解密码，造成信息泄露。

上海徐汇区：大模型安全治理的探索者

作为上海人工智能产业的“高地”，徐汇区积极拥抱大模型技术，并高度重视大模型安全的治理。截至目前，全国已有188款大模型完成备案，上海市共34款，其中徐汇区21款。目前，上海还有两批次17款大模型正在备案流程中。

徐汇区不仅积极推动大模型产业发展，也高度重视大模型安全治理。2023年8月15日，国家网信办等七部委联合出台的《生成式人工智能服务管理暂行办法》正式施行，成为全球生成式人工智能服务监管立法的先行者。上海市也积极响应国家政策，出台了一系列相关法规政策，引导大模型安全合规发展。

大模型安全治理：多方力量协同发力

大模型安全治理是一个复杂的系统工程，需要多方力量共同参与，才能构建起安全可控的大模型生态。

政府监管: 加强顶层设计，制定完善的法律法规和标准规范，为大模型发展提供安全保障。

企业自律: 增强安全意识，积极承担社会责任，将安全因素融入产品研发和服务运营的各个环节。

技术创新: 积极研发安全技术，例如数据安全、模型安全、隐私保护等，提升大模型的安全性。

社会参与: 提高公众安全意识，引导公众理性使用大模型，共同维护网络安全环境。

大模型安全治理：聚焦重点方向

大模型安全治理涉及多个方面，以下几个重点方向值得关注：

1. 内容安全

大模型生成的文本、图像、音频等内容，可能会存在虚假信息、有害内容、侵犯隐私等问题。因此，需要加强内容安全管理，建立健全内容审核机制，防止大模型被用于传播有害信息。

2. 模型安全

大模型的训练数据、模型结构、参数等都可能存在安全风险。例如，训练数据中可能包含敏感信息，模型结构可能存在漏洞，参数可能被恶意篡改。因此，需要加强模型安全管理，防止模型被攻击、被篡改或被滥用。

3. 隐私保护

大模型在训练和使用过程中，可能会涉及用户隐私信息。因此，需要加强隐私保护，例如数据脱敏、隐私计算等技术，防止用户隐私泄露。

4. 密码技术

密码技术是大模型安全的重要保障。例如，使用密码技术保护模型训练数据、模型参数、用户数据等，防止信息泄露和恶意攻击。

专家观点：大模型安全治理的思考

在徐汇区大模型主题分论坛上，来自学术界、产业界和监管部门的专家学者围绕大模型安全治理展开了深入的讨论。

上海市信息安全测评认证中心总工程师李宏达以《生成式人工智能内容安全指引及备案》为题作交流分享，他指出，内容安全是大模型安全治理的重要一环，需要加强内容审核机制，建立健全内容安全标准，提升大模型内容安全管理水平。

智巡密码（上海）检测技术有限公司副总经理、高级工程师刘军荣带来《密码技术守护大模型安全》的主题分享，他深入探讨了密码技术与大模型的融合应用与创新发展，并强调密码技术在大模型安全中的重要作用。

上海商汤智能科技有限公司、上海数字安全科技有限公司、观源（上海）科技有限公司、深圳奥联信息安全技术有限公司等单位的行业专家围绕《大模型浪潮下的安全挑战》主题展开圆桌讨论，他们从各自的专业领域出发，分享了对大模型安全治理的见解，并探讨了未来大模型安全的发展方向。

大模型安全治理：展望未来

大模型技术正在快速发展，大模型安全治理也面临着新的挑战。未来，需要继续加强大模型安全研究，提升大模型安全技术水平，完善大模型安全治理体系，构建安全可控的大模型生态。

以下几个方面值得关注：

加强国际合作: 汇聚全球智慧，共同制定大模型安全标准和规范，促进大模型安全发展。

推动技术创新: 积极研发安全技术，例如可信计算、数据安全、模型安全等，提升大模型的安全性。

培养人才队伍: 加强安全人才培养，为大模型安全治理提供人才支撑。

提高公众安全意识: 增强公众对大模型安全的理解，引导公众理性使用大模型，共同维护网络安全环境。

常见问题解答

1. 大模型安全治理面临哪些挑战？

大模型安全治理面临着多方面的挑战，例如技术复杂性、数据安全、隐私保护、伦理道德等。技术方面，大模型的训练数据、模型结构、参数等都可能存在安全风险；数据安全方面，需要保护用户数据隐私，防止数据泄露和滥用；隐私保护方面，需要制定完善的隐私保护机制，保障用户隐私安全；伦理道德方面，需要制定伦理规范，防止大模型被用于制造虚假信息、传播有害内容等。

2. 密码技术如何应用于大模型安全？

密码技术可以应用于大模型安全的各个环节，例如数据加密、模型加密、身份认证、访问控制等。例如，使用密码技术保护模型训练数据、模型参数、用户数据等，防止信息泄露和恶意攻击。

3. 如何平衡大模型发展与安全？

平衡大模型发展与安全需要多方努力，例如政府加强监管，企业增强自律，技术创新，社会参与等。政府应制定完善的法律法规和标准规范，为大模型发展提供安全保障；企业应积极承担社会责任，将安全因素融入产品研发和服务运营的各个环节；技术创新可以提升大模型的安全性；社会参与可以提高公众安全意识，引导公众理性使用大模型，共同维护网络安全环境。

4. 未来大模型安全发展方向是什么？

未来大模型安全发展方向主要包括加强国际合作，推动技术创新，培养人才队伍，提高公众安全意识等。加强国际合作可以汇聚全球智慧，共同制定大模型安全标准和规范；推动技术创新可以提升大模型的安全性；培养人才队伍可以为大模型安全治理提供人才支撑；提高公众安全意识可以引导公众理性使用大模型，共同维护网络安全环境。

5. 大模型安全治理对个人有什么影响？

大模型安全治理对个人有重要影响。例如，信息安全方面，个人信息安全需要得到保障，防止信息泄露和滥用；内容安全方面，个人需要辨别虚假信息和有害内容，避免被误导和伤害；隐私保护方面，个人隐私需要得到尊重，防止个人信息被非法收集和使用。

6. 如何更好地保护个人信息安全？

保护个人信息安全需要多方面努力，例如增强安全意识，提高安全防范能力，选择安全可靠的服务，维护个人隐私等。增强安全意识可以帮助个人更好地识别网络安全风险；提高安全防范能力可以帮助个人更好地抵御网络攻击；选择安全可靠的服务可以帮助个人保护个人信息安全；维护个人隐私可以帮助个人防止个人信息被非法收集和使用。