AI使用报告背后：我们仍不知道真实用户行为

在人工智能热潮中，Anthropic和OpenAI等领先公司经常发布报告，宣称让我们看到用户如何使用Claude和ChatGPT。这些报告似乎提供了宝贵的一手信息，帮助研究者、监管者甚至公众理解AI的真实影响。然而，越来越多的AI研究人员开始质疑：这些数据真的可靠吗？

斯坦福大学可信AI研究中心的计算机科学博士生Anka Reuel直言不讳：“没有独立的来源能够证实这些数据。”她表示，这种状况在行业中并不罕见，因为公司往往只披露自己希望公众看到的数据，对负面案例或敏感使用场景则轻描淡写。

光鲜报告背后的数据盲区

事实上，过去几年中，OpenAI曾多次发布ChatGPT使用情况的报告，而Anthropic也发布了Claude在商业场景中的应用案例。这些报告通常强调AI如何提升生产效率、帮助编程或辅助创作。但在分析人士看来，这些数据来自公司内部的观测，而非中立的第三方审计。

更令人担忧的是，这类报告往往缺乏方法论细节。例如，它们可能基于部分用户的匿名数据，但由于公司没有公开样本选择方式、数据清洗过程和分析代码，外部研究者根本无法复现结果。这意味着，即便报告中的数据完全真实，我们也无法判断它是否具有代表性。

这种不透明度并非偶然。AI公司处于激烈的市场竞争中，用户使用数据是其核心竞争力的一部分。公开底层的详细数据，可能会暴露产品弱点或助长竞争对手。同时，过于详细的数据也可能引发隐私争议，尤其是当数据涉及敏感场景时。

“没有独立的来源能够证实这些数据，”Anka Reuel说。

独立验证为何如此困难？

构建系统性的独立验证渠道面临多重障碍。首先，技术层面，API访问受到严格控制，研究者通常只能通过官方接口获取有限的聚合数据，无法追踪用户行为的全貌。其次，商业层面，AI公司几乎没有动力分享可能带来负面影响的数据。最后，法律层面，隐私法规对用户数据的处理提出了严格的要求，这进一步增加了开放数据的难度。

在这种背景下，一些学术团队尝试通过长期跟踪用户自报的使用体验，来补充官方报告的不足。例如，皮尤研究中心曾调查过ChatGPT的使用情况，但这样的调查只能依赖用户的主观记忆，与公司后台的客观数据仍有差异。

也有研究者利用模型的行为分析来推断使用场景，但这种方法误差较大。因此，目前我们对于“AI如何被真正使用”这个问题的理解，仍然像是隔着毛玻璃观察——只能看到模糊的轮廓。

编者按：透明度是信任的基石

之所以强调独立验证的重要性，是因为AI公司的数据报告不仅仅是一种营销工具，更是公众认知和政策制定的基础。如果这些数据长期缺乏监督，可能误导监管机构，导致错误的风险评估和资源分配。

事实上，透明度已经成为AI治理的核心议题。欧盟《人工智能法案》要求高风险AI系统保持可追溯性和透明度；美国联邦贸易委员会也多次警告企业不要滥用数据。但这一切的前提是，原始数据能够被独立审查。

我们认为，AI公司应当主动迎接这一挑战，例如与学术机构合作，建立匿名的“数据保管”机制，让经过授权的第三方研究者在不泄露商业机密的前提下，对关键统计指标进行交叉验证。这不仅有助于建立公众信任，也能帮助公司自身发现潜在问题。

当然，这是一个漫长的过程。在此之前，对于AI公司自己发布的使用报告，我们都应该保持审慎态度——毕竟，我们仍然不知道人们究竟如何在使用AI。

本文编译自MIT Technology Review