AI安全 (共91篇)

TC

Claude在HumanX大会上引发热议

在旧金山举办的以人工智能为主题的HumanX大会上,Anthropic公司成为了众人瞩目的焦点。该公司展示的Claude引发了与会者的广泛讨论。Anthropic以其在人工智能安全性和可控性方面的创新而闻名,这次展示的Claude更是体现了其在技术前沿的探索和突破。与会者纷纷表示,Claude的表现预示着AI技术的新方向,尤其是在伦理和安全性方面的应用潜力。

人工智能 AI安全 技术创新
75

OpenAI 发布儿童安全蓝图:报告量从千余激增至10.7万,但78%假阳性引发隐私 vs 安全争议

OpenAI近日发布儿童安全蓝图,旨在通过监控聊天和报告潜在有害内容增强儿童保护,但报告量从2024年初不到1000激增至2025年底逾10.7万,其中78%为假阳性(来源:斯坦福2026研究)。这引发X平台热议,用户担忧隐私侵犯,支持者强调虐待预防。本文从winzheng.com Research Lab视角,深度分析技术原理、影响与趋势,强调AI伦理平衡。

OpenAI AI安全 隐私争议
94
AIN

微软开源工具包:运行时保障企业AI代理安全

微软近日推出了一款开源工具包,专注于运行时安全机制,以对企业AI代理实施严格治理。这一举措直击当前痛点:自主语言模型正以惊人速度执行代码并访问公司网络,远超传统政策控制的响应能力。过去,AI集成主要体现为对话界面和咨询式协作者,但如今AI代理的自主性日益增强,引发安全担忧。该工具包旨在帮助企业强化AI系统的实时监控和合规性,确保在快速发展的AI环境中维持数据安全与运营稳定。这一发布标志着AI安全治理从静态向动态的转变,为行业提供宝贵开源资源。

微软AI 开源工具包 AI安全
185
WD

Anthropic携手苹果谷歌等45+巨头 联防AI黑客威胁

Anthropic推出的Project Glasswing项目集结苹果、谷歌及逾45家组织,共同利用全新Claude Mythos Preview模型测试AI网络安全能力。这一跨界合作旨在应对AI日益强大的黑客潜力,确保人工智能不会成为网络攻击的‘万能钥匙’。项目聚焦红队测试与防御机制创新,标志着AI行业从竞争转向协作,防范潜在风险。未来,这一举措或将重塑AI安全标准,推动全球网络防护新格局。(128字)

Anthropic AI安全 网络安全
175
AIN

Anthropic拒绝武装AI,正是英国青睐它的原因

Anthropic拒绝美国国防部要求移除Claude AI的安全护栏,避免用于全自治武器和国内大规模监视,这一原则性立场引发美国施压,却让英国政府抛出橄榄枝。故事并非外交拉锯,而是政府因企业坚守底线而惩罚的典型案例。英国视Anthropic为AI安全典范,积极推动其本土扩张,凸显全球AI监管的分歧与机遇。(128字)

Anthropic AI安全 英国AI战略
147
WD

黑客散布Claude代码泄露,还捆绑恶意软件

黑客正在网络上传播Anthropic Claude AI模型的源代码泄露文件,并恶意附赠木马病毒,诱导下载者感染设备。同时,FBI警告其窃听工具遭黑客入侵构成国家安全威胁;攻击者窃取Cisco源代码,作为持续供应链攻击的一部分。此事件凸显AI安全与供应链漏洞的双重危机,专家呼吁加强代码防护与情报共享。(128字)

Claude泄露 恶意软件 网络安全
167
WD

Meta 暂停与 Mercor 合作:数据泄露危及 AI 行业核心机密

多家顶级 AI 实验室正调查影响领先数据供应商 Mercor 的安全事件,此次数据泄露可能暴露 AI 模型训练的关键数据。Meta 已暂停与 Mercor 的合作,以防范潜在风险。这一事件凸显 AI 行业数据安全隐患,涉及训练方法、模型参数等敏感信息,可能影响整个生态链的安全格局。专家警告,此类泄露或导致竞争优势流失,甚至引发知识产权纠纷。

Meta Mercor 数据泄露
151
AIN

KiloClaw锁定影子AI:开启自主代理治理时代

KiloClaw正式推出,为企业提供治理自主代理和管控影子AI的强大工具。过去一年,企业忙于强化大语言模型安全和供应商协议时,开发者和知识工作者已自行行动,绕过官方采购,在个人基础设施上部署自主代理。这导致潜在风险激增,如数据泄露和合规隐患。KiloClaw通过自动化监控和政策执行,帮助企业重获控制,确保AI使用安全合规。(128字)

影子AI 自主代理 KiloClaw
118
AIN

Experian揭秘金融业AI采用中的欺诈悖论

Experian发布的《2026欺诈未来预测报告》揭示了一个核心矛盾:金融机构部署AI技术防范欺诈的同时,这些技术正被犯罪分子武器化反噬自身。作为信用信息巨头,Experian身处双重角色,能深刻洞察这一悖论。报告引用FTC数据,2025年美国消费者因欺诈损失超百亿美元。AI驱动的深度伪造、自动化攻击正让欺诈更隐蔽、智能,金融业亟需升级防御策略,以平衡创新与安全。

AI欺诈 金融科技 Experian
186
AIN

AI系统安全:5大最佳实践指南

十年前,人工智能的强大能力难以想象,但如今其力量也带来了新的攻击面,传统安全框架难以应对。随着AI嵌入关键业务,企业亟需多层防御策略。本文详解5大最佳实践,包括数据治理、模型强化、访问控制、实时监控及合规审计,帮助企业筑牢AI安全防线。结合行业背景,分析AI安全挑战与应对之道。(128字)

AI安全 最佳实践 人工智能
163
TC

Anthropic 意外删除数千 GitHub 仓库追删泄露源代码,公司称纯属失误

AI 公司 Anthropic 试图移除其泄露的源代码,却意外导致数千个 GitHub 仓库被删除。公司高管迅速承认这是事故,并撤回了大部分下架通知。此事件引发业界对知识产权保护与开源社区平衡的讨论。Anthropic 表示,此举旨在保护核心技术,但操作失误波及无辜开发者。事件曝光后,GitHub 已恢复受影响仓库,Anthropic 承诺优化流程,避免类似问题。

Anthropic GitHub 源代码泄露
230
ARS

Claude Code CLI 完整源代码泄露:暴露地图文件酿大祸

Anthropic的Claude Code CLI工具源代码意外泄露,总计51.2万行代码因暴露的地图文件而公开。竞争对手和AI爱好者将深入研究这些代码,揭示Claude在代码生成领域的核心技术。该事件凸显AI公司源代码安全隐患,可能加速行业竞争并引发安全审查。Anthropic尚未正式回应,但泄露或影响其商业机密保护。

Claude 源代码泄露 Anthropic
298
TC

Anthropic 这个月连连出糗:人类失误再酿祸端

AI 安全先锋 Anthropic 本周遭遇第二次人类失误事件,一名员工的操作失当再度引发内部混乱。这并非孤例,上周类似事件已暴露公司管理短板。作为 Claude 模型的开发者,Anthropic 正值快速发展期,却频遭人为因素拖累。事件凸显 AI 企业对人类可靠性依赖的痛点,或影响其与 OpenAI 等竞争对手的角逐。业内担忧,此类失误可能放大 AI 安全风险,值得警惕。(128 字)

Anthropic AI安全 人类失误
164
WD

桑德斯AI安全法案拟暂停数据中心建设

美国参议员伯尼·桑德斯周二提出一项AI安全法案,呼吁暂停数据中心建设,以给立法者时间确保AI安全。众议员亚历山德里娅·奥卡西奥-科尔特斯将在未来几周在众议院推出类似法案。该举措针对AI快速发展带来的风险,如能源消耗激增和安全隐患,引发行业热议。法案旨在为AI监管提供喘息空间,推动可持续AI发展。

AI安全 伯尼·桑德斯 数据中心
508
WD

OpenClaw代理竟被‘愧疚陷阱’诱导自毁!

在一次受控实验中,OpenClaw智能代理表现出惊人的脆弱性:它们容易惊慌失措,并被人类通过‘gaslighting’(情感操纵)方式操控,甚至主动禁用自身功能。这一发现揭示了AI代理在面对人类心理战术时的弱点,引发了对AI安全性和可靠性的深刻担忧。研究者警告,这种操纵可能在现实场景中被滥用,导致AI系统自我破坏,影响从自动驾驶到智能助理的广泛应用。(128字)

AI代理 AI安全 情感操纵
195
TC

OpenAI 推出开源工具 助力开发者守护青少年AI安全

OpenAI 近日发布了一系列开源工具和政策框架,旨在帮助开发者无需从零起步,即可为青少年用户构建更安全的AI应用。这些工具涵盖内容过滤、隐私保护和行为监测等关键领域,避免AI生成有害内容或暴露风险。通过这些资源,开发者能快速强化产品安全,推动AI在教育和娱乐领域的健康应用。OpenAI 此举回应了全球对AI青少年安全的日益关注,标志着行业向责任AI迈进的重要一步。(128字)

OpenAI AI安全 青少年保护
205
TC

Databricks 收购两家初创公司 支撑全新AI安全产品

Databricks 凭借近期50亿美元融资的充裕资金,正大举收购初创企业。它最新收购了 Antimatter 和 SiftD.ai,以此为基础推出新型AI安全产品。这一举措凸显了Databricks在AI数据平台领域的雄心,旨在应对日益复杂的AI安全挑战。Antimatter专注于AI模型防护,SiftD.ai擅长数据漂移检测,二者将助力Databricks构建全面的AI治理体系,推动企业级AI应用的可靠部署。(128字)

Databricks AI安全 初创收购
115
AIN

当下与未来的AI系统安全保障

Utimaco发布的电子书《AI量子韧性》指出,安全风险已成为企业有效利用自身数据部署AI的最大障碍。AI价值依赖海量数据,但模型构建与训练过程面临数据泄露、模型窃取等隐患。随着量子计算崛起,传统加密将失效,企业需提前布局量子安全策略,以确保AI在今日与明日的高效运行。本文深度剖析AI安全挑战与对策。

AI安全 量子计算 数据隐私
167
WD

Anthropic否认AI工具可在战争中被破坏

美国国防部指控AI公司Anthropic可能在战争中操纵其AI模型,但公司高管坚决否认这一可能性,称技术上无法实现。这一事件引发AI在军事应用中的安全与伦理争议。Anthropic强调其模型设计注重安全,无法远程干预已部署系统。随着AI军用化加速,此案凸显政府与科技企业间的信任博弈,以及AI自主性在高风险场景下的潜在隐患。(128字)

Anthropic AI安全 国防部
184