分论坛一：大模型安全
《大模型真的理解含义吗？》
人工智能三大流派：符号主义、连接主义、行为主义
- 符号主义
符号主义经典问题：符号接地问题（中文屋）
分布语义学说：词的语义由上下文确定、人是一切社会关系的总和- 连接主义
BP神经网络模型（1986）
学习概念的分布式表示（1986）
神经概率语言模型（2003）
词向量（word2vec）：单词语义的向量表示（2013）——openai首席负责人（未使用深度神经网络）
Transformer架构及其注意力模型（2017）——Google
GPT：生成式预训练语言模型（2018）——用前K个单词预测第K+1个单词，自监督地训练神经网络
大模型特点：规模大、涌现性、通用性
多模态大模型：视觉、语音等
《大模型安全可信应用探索与实践》
- 大模型内容安全研究背景
当前正在经历从文本大模型到多模态大模型的技术跃迁
- 大模型内容安全风险剖析
事实不可信的主要原因：输出概率采样固有的非确定性
价值不可信的主要原因：数据无差别训练固有的价值冲突
逻辑不可信的主要愿意：模型次生对齐引发的语义失配
- 大模型内容安全风险应对
应对事实不可信：采用基于事实知识的实时推理校准
应对价值不可信：价值取向的量化解析与修正
应对逻辑不可信：原生对齐的语义匹配与纠偏
- 大模型内容安全研究展望
《大模型安全现状与技术规划》
大模型安全问题：恶意数据、系统安全、信息泄露
对抗攻击发展史
视觉模型对抗安全：基于分布信息的迁移攻击方法
视觉模型对抗安全：注入索引信息对抗样本的人脸保护
视觉模型对抗安全：异常样本检测性能评估基准针对大模型的攻击展示
研究进展
提问：在能够控制输入源进行对抗样本攻击的情况下，实际上能做的东西很多，切断对抗样本的传播途径是否比提高大模型本身的鲁棒性更重要呢？
《戴浩院士点评》
自然语言声音、手势等最后都可归结到文本形式，自然语言的语法、语义（更难解决）是两个重大问题。非自然语言语义与自然语言的语义差别在什么地方。多模态语言语义与自然语言语义的统一。语言大模型不能只是做到通过上文预测下文这种完型填空式的生成（词与词的连接），还要符合段落与段落之间的逻辑连接（段与段的连接）。
应对价值不可信问题，建立主流价值语料库对于弘扬主流价值观与主流文化起着重要作用。涉及到不同族群舆论问题仅仅在国内纠正还不够，想想如何将其影响扩大到国外去。
《中国电信星辰大模型安全治理实践》
- 中国电信人工智能总体布局（云、网、算力资源优势）
- 星辰大模型安全能级研发及应用
- 大模型安全的下一步思考
提问：在最后视频案例中，多智能体协同的应用场景下，大模型起到了一个什么样的作用？解决了什么问题？
答：起到一个中枢大脑的作用，用于分配任务。
《大模型系统安全威胁与防御》（111111）
从系统视角来看大模型安全（1111）
大模型安全研究范畴
- 大模型系统内生安全威胁
- 大模型的系统安全
比特翻转攻击、能耗攻击风险、深度学习框架的问题、依赖库安全、基于流量的大模型攻击 - 大模型的模型安全
模型越狱、模型幻觉、对抗样本、模型窃取
- 大模型系统衍生安全威胁
- 隐私泄露问题——三星引入ChatGPT导致机密信息泄露
- 数据引发公平性问题——Gemini“反白人偏见”
- AIGC检测问题——AI生成内容的傀儡账号
- 生成内容滥用
- 大模型系统安全防御手段
比较TrafficFormer与TrafficLLM
提问：从大模型系统层面，从未来角度看需要解决的两个问题？
答：从安全角度来看的话，系统任何一个地方出现了问题，就会导致其他所有地方的安全防御失效。从安全系统角度来看，这些系统是一个全链条的、完整的整体，从开发到应用到训练反馈的整个全过程，中间每一个环节。特别是可能面对安全挑战的关键环节都值得去关注。