大数据和我们

　　社交数据革命

　　如何确保数据会为我们服务？

　　每一场革命最初都是一个人头脑中的一种思想，一旦同一种思想在另一个人的头脑中出现，它对于这个时代就变得至关重要了。

　　——拉尔夫·沃尔多·爱默生（Ralph Waldo Emerson）

　　早晨6点45分，手机闹钟将我叫醒。于是，我拿起手机，一边浏览电子邮件与脸谱网信息，一边走进厨房，我美好的一天就此开始。手机上的全球定位系统应用软件会记录我的位置变化，并显示出我向东、向北移动了几米。我给自己倒了一杯咖啡，然后走出厨房。这时，手机上的加速计会给出我的行走速度，气压计会记录我何时上楼。由于我在手机上安装了谷歌的应用程序，因此谷歌公司拥有我的这些数据的记录。

　　吃完早饭后，我要去斯坦福大学上班。在我关灯并拔下移动设备的电源插头后，电力公司安装的“智能”电表就会知道我的用电量开始下降了。当我打开车库门时，电表会探测到与之相匹配的使用签名。当我开车上路时，电力公司已拥有足够的数据断定我已不在家中。当我的手机从另一个基站接收信号时，通信公司也知道我出门了。

　　驾车行驶在路上时，如果我闯了红灯，安装在街道拐角处的摄像头就会拍下我的车牌号。谢天谢地，我今天遵纪守法，不会收到交通罚单。但在行驶过程中，我的车牌会多次被拍摄。有些摄像头属于当地政府，有些则属于私营公司，它们通过分析数据了解人们的驾驶习惯，并将此作为产品出售给警方、开发商及其他利益群体。

　　我到达斯坦福大学时，会使用手机上的“无忧停车”应用支付停车费。停车费自动记入我的银行账户，同时学校的停车管理小组会收到我的付款通知，这样一来，校方与我的开户银行都知道我在上午9点03分到达校园。由于我的手机不再以汽车的行驶速度移动，谷歌公司会推断出我已停车并记录下我的位置，以便我日后查询当时的位置记录。我也可以通过美国车险服务商Metromile公司的保险应用查询我当时所在的位置，这款应用通过我的车载诊断系统实时记录我的驾驶数据。这让我可以立刻发现今天的汽车燃油效率较低——每加仑汽油行驶了19英里，我此次通勤花了2.05美元。

　　上完课后，我打算和旧金山的新朋友见个面。我们在“虚拟世界”中见过面，当时我们共同的朋友在脸谱网上发了帖子，我们都对它进行了评论，也很赞赏对方的看法。之后，又发现我们在脸谱网上有30多个共同好友，所以我们确实应该见一面。

　　谷歌地图预计我将在晚上7点12分到达目的地。与往常一样，它的预测误差只有几分钟。这位朋友居住公寓的一层是一家销售烟草产品和吸食大麻器具的商店，而我的智能手机上的全球定位系统应用软件无法区分公寓和商铺。我的车载导航与谷歌导航都告诉我，我今天晚上去了一趟毒品商店——这是我上床前查阅第二天的天气预报时，谷歌广告推送告诉我的。

　　这不只是一场社交数据革命。

　　将欲取之，必先予之

　　每天都有10多亿人像我这样产生和分享社交数据。社交数据是有关你本人的信息，例如你的运动、行为、兴趣，以及你和其他人、地点、产品，甚至意识形态之间的关系。其中有些数据是在你本人知情的前提下自愿分享的，例如在使用谷歌地图时登录并键入目的地；其他数据则并非如此，你经常会在不经意间就分享了自己的数据，这是享受互联网与移动设备所带来的便捷性过程的重要部分。显然，在某些情况下，分享数据是你获取服务的必要条件：如果你不向应用软件提供你当前所在的位置和目的地，谷歌公司就无法为你找出最佳的行车路线。在某些情况下，你可能很乐意提供信息，例如你给某个朋友在脸谱网上的发帖点赞或在领英网上对同事的工作表示肯定，以表明你愿意以某种方式鼓励和支持他。

　　社交数据有时可以做到比较精准，能将你的位置精确到1米之内。但是，在通常情况下，社交数据都很粗略，有时也不够完整。例如，除非我登录可以显示家中智能电表读数的某个应用（比如，为了查看我在去机场之前是否将家中所有的灯都关上了），电力公司才能知道我何时离家，但也仅限于此。这种数据过于粗略，也许对我没有太大的帮助。与此相似，我在拜访旧金山的那位新朋友时，虽然社交数据可以准确地显示出我所在位置的经度和纬度，但对我当晚活动的推测却是完全错误的。有时候，虽然数据看似十分精确，但在很大程度上这是数据解读的结果。实际上，社交数据本身是非常粗略的。粗略的数据很可能不完整、易出错，有时其中还会掺杂欺诈数据。

　　无论是被动还是主动分享的数据、强制还是自愿分享的数据、精确还是粗略的数据，社交数据的总量呈指数增长趋势。如今，社交数据总量翻一番所需的时间只有18个月。在未来5年内，社交数据总量将增长约10倍，或者说增长一个数量级；在未来10年内，社交数据总量将增长约100倍。换言之，2000年全年产生的数据总量目前只需要1天即可完成。以这样的增长速度计算，预计到2020年，不到1个小时就能产生等量的数据。

　　要知道，“社交数据”并非仅适用于社交媒体的流行词汇，这一点很关键。许多社交媒体平台的设计旨在进行播报，以推特为例，沟通几乎总是单向进行的，由名人、权威人士或营销人士向公众传播信息。社交数据更加民主化，你可以通过推特或脸谱网分享你的信息、所在公司的信息、你的成果、你的看法，但你的电子踪迹比这些更深远。根据你在谷歌网站上的搜索记录、你在亚马逊网站上的购买记录、你在讯佳普（Skype）上的通话记录、你手机的实时定位，再将这些信息与其他多种渠道相结合，就能得出有关某个人的一幅独特的“肖像画”。

　　此外，社交数据不会止于你本人。在你展示自己通过与亲朋好友、工作同事的沟通建立起的亲密关系时，你便创建并分享了数据。你所创建的社交数据不仅涉及友人，也会涉及陌生人，例如你在评价某件商品或在照片墙（Instagram）上传照片时。空中食宿（Airbnb）是一个租用房间或套房的应用平台，你若要注册账户就需要验证身份——不仅要使用政府核发的身份证，还要使用你的脸谱网账户。社交数据正在嵌入你家中的智能温度计、汽车的导航系统以及职场的办公软件，并开始成为教室与医院诊疗室中的亮点。随着手机配备了越来越多的传感器和应用，它们可在我们的家中、商场或单位里跟踪我们的一举一动。你将越来越难以掌控有关你日常活动的数据，甚至包括你内心中最隐秘的愿望。数据科学家将化身为侦探与艺术家，通过人们留下的电子踪迹为他们绘制出越发清晰的行为素描画。

　　通过检查并提炼这些电子踪迹，可以发现人们的偏好或倾向，还能做出预测，例如人们可能会购买何种商品。在我担任亚马逊公司首席科学家期间，我与杰夫·贝索斯共同制定了该公司的数据战略和以客户为中心的文化。我们开展了一系列实验，比较网站编辑或消费者所写的商品评论中哪一种会让客户更开心，并观察依据传统的人口统计信息或个人点击情况为客户做推荐是否成功率更高。在举办厂商赞助的促销活动时，我们发现真正的沟通可以爆发出巨大的力量。我们为亚马逊开发个性化工具，使人们做出购买决定的过程及所购买的商品都产生了根本性改变，并且成为电子商务的标准。

　　离开亚马逊之后，我在斯坦福大学和加利福尼亚大学伯克利分校为成千上万的本科生和研究生开设了社交数据革命课程，还在中国上海的复旦大学与中欧国际商学院、北京的清华大学教授这门课程。我同时继续经营社交数据实验室，成员是我在2011年结识的一群数据科研人员与思想领袖。在过去10年里，与我合作的公司包括阿里巴巴、美国电话电报公司、沃尔玛、美国联合健康保险集团，以及一些大型航空公司、金融服务公司、交友网站。我积极倡导把数据的决策权与客户或用户分享，他们是与你我一样的普通人。

　　没有人能够独自处理当下的所有数据并做出明智的决定。但在让数据服务于我们的需要和解决问题的过程中，谁能够获得必要的工具呢？从这些数据中分析得出人们的偏好、倾向和做出预测后，是将其提供给少数强大的组织，还是提供给所有人使用呢？使用社交数据所需支付的费用是多少呢？

　　随着我们逐渐认识到社交数据的价值，我相信我们的重点不仅是获取数据，还必须采取某些行动。我们每天都会做出很多决定，而有些决定一生中只会做一次。但是，这并不意味着今天产生的社交数据的寿命很短。我们今天的行为方式可能会影响我们今后几十年的选择，很少有人能在短期或长期内观察到自己的所有行为或分析出这些行为将如何影响自己。社交数据分析有助于我们找出各种可能性，但必须经过深思熟虑方可做出最终选择。

　　毕竟，这些科技无法了解我们每个人乃至整个社会对未来生活的憧憬。许多国家都出台了法律，保护个人在就业或医疗方面不受歧视。未来某一天，这些法律或许将不复存在（在某些国家，直到现在也没有这样的法律）。假设你希望获得有关减肥和锻炼的建议，于是你决定在医疗应用或网站上表达自己对胆固醇过高的担心。这样做会不会对你不利呢？如果法律规定，在医生向你告知健康风险并推荐健康的生活方式之后，你仍然不愿意放弃吃油炸食品，依旧喜欢瘫坐在沙发上，就可以依法对你收取更高的医疗费用，你怎么办？如果你的主管利用某种服务软件在网上查找有关你的信息，他可能认定你的生活方式不适合在他的公司任职，从而拒绝考虑你的求职申请，你怎么办？这些都是实实在在的风险。

　　如果这些数据是你独立创建并透露出去的，那么，一旦察觉到风险，你或许可以停止这种行为。这会给你带来许多不便，却是可行的。但是，人们对有关自己的许多数据并没有掌控力。由于社交数据被公司和政府用于改善结果、提高效率，因此我们更不可能掌控这些数据。

　　社交数据关乎社会大众，我们每个人都需要考虑怎样做才是最好的数据利用方式。科技正在飞速发展，收集和分析数据的公司主要从事信息的产出与编码，并不负责制定原则。即使它们考虑那些原则性问题，也仅仅是因为业务需要而临时为之。对人类未来会产生重大影响的原则性问题的决定权，绝不应该交到数据公司手中。

　　我们可以允许对所有这些数据进行收集、合并、汇聚、分析，以便能在决策过程中更好地做出取舍。取舍是任何重要决策的必要组成部分，在做取舍时，人的判断十分关键。我们的生活不应由数据来驱动，而应让数据为我们的生活服务。

　　后隐私时代的原则

　　我们已经认识到数据在生活中发挥着越来越重要的作用，也已经采取了许多措施保护自身的利益。20世纪70年代，美国与欧洲针对信息的公平使用采取了大体相似的原则。人们有权知道谁在收集自己的数据以及这些数据的使用情况，当发现数据不准确时，还可以要求修正数据。然而，对于今天的新型数据来源与分析方法，这些保护措施要么过于严厉，要么过于无力。

　　之所以说它们过于严厉，是因为这些措施都想当然地认为可以对收集到的所有数据添加标签。亚马逊公司可能会以浅显易懂的术语，准确地解释它是如何使用收集到的个人信息的，它甚至能用这些信息帮助人们做出更明智的决定。但是，对这些信息进行审查需要大量的时间。我们中有多少人会花时间对所有的相关数据进行核查呢？查阅亚马逊公司怎样对每个数据点分配权重，会给你带来什么好处，还是说你宁愿亚马逊交给你一份数据使用简报呢？

　　之所以说这些保护措施过于无力，是因为即便你能够核查你创建和分享的所有数据，你也无法全盘掌握你的所有相关数据，因为这其中包括其他人创建和分享的关于你的数据，包括你的亲朋好友、同事、老板。你在网上访问的公司和你在实体世界中访问的大部分公司也会产生（有时也会分享）关于你的数据。你在街上遇到的陌生人以及和你打交道的其他许多公共组织和私营组织，同样如此。谁来判定这些数据的准确性呢？今天的数据来自诸多层面，人们无法拥有充分的权利来修正关于自己的数据。此外，即便是准确的数据也可能对你不利。

　　数据的产生、沟通、处理过程中会发生巨大的定量变化和定性变化，仅有知情权与修正数据权显然是不够的。迄今为止，试图修改这些指导原则的努力几乎全都集中于个人掌控权与隐私权这两个方面。不幸的是，其理念与实践从技术上看已经落后达一个世纪之久。而且，控制与隐私权的标准迫使人们与数据公司签下不平等合约。如果你希望用数据改善你的决策过程，你就必须同意按照数据采集者的条款收集自己的数据。一旦你这样做，就说明数据公司已经按照法律规定为你赋予了个人数据的“控制权”，而无须考虑你是否真正拥有选择权或你的个人隐私权是否会受到影响。如果你希望保护个人隐私，就不应该同意数据公司收集你的数据，但这会牺牲你对相关数据产品与服务的使用权，降低你从自己的数据中所能获得的价值。只有这样，你才能对你的数据保持掌控权。

　　如今，我们需要做的是制定一套标准，帮助我们评估因分享和收集数据所产生的风险与回报，同时拥有对数据公司进行问责的权利。基于20年来与数据公司的合作经验，我认为透明性与主动性原则最有可能保护我们免遭社交数据滥用的伤害，并能提高我们从中得到的价值。

　　透明性涵盖了个人对自己数据的知情权：内容是什么？用途是什么？对用户的好处是什么？数据公司是躲在单向镜的另一面暗中窥探你的隐私，还是也给你打开一扇窗户，让你看到它们如何使用你的数据，从而判断该公司的利益是否（以及何时）与你的自身利益一致？你需要分享多少数据，方能获得你想要的数据产品或数据服务呢？从历史上看，机构与个人之间存在巨大的信息不对称的情况，这使机构占据巨大的优势。机构不仅有强大的能力收集个人数据，还能将你的数据与他人的数据做比较。你需要了解你提供的数据与你得到的数据产品与服务是否对等。

　　相对于客户与零售商之间的传统关系，亚马逊是如何让购物体验具备透明性的呢？当你打算购买一件商品时，零售商会提醒你之前购买过这件商品吗？这样做会让他损失一单生意。在亚马逊网站上，如果你点击购买已在这家网站上买过的书籍，就会看到网站的提示：“你确定要买这本书吗？你在2013年12月17日买过这本书。”如果你买过某张音乐专辑中的一首歌曲，之后决定购买该专辑的其他所有歌曲时，亚马逊在“完成购买”环节会自动从这张专辑的价格中减去你之前所购歌曲的金额。亚马逊对人们的购买数据采取这种使用方式，是为了最大限度地减少客户的不满。与此相似，大多数航空公司的常飞旅客计划都会给客户发送信息，提醒其即将过期的里程数，而不是放任其作废。

　　不幸的是，透明性远未成为通行的标准。以给客户服务中心打电话这种典型的体验为例，拨通电话后，你肯定会听到一番警告：“为保证服务质量，本次通话可能会被录音。”你别无选择，如果你想与客服代表通话，就必须接受这样的条款。就算要录音，为什么只有公司有权获得此次通话的录音呢？如果只有通话的一方拥有获取此次通话录音的权利，那么“为保证服务质量”又意味着什么呢？数据对等原则意味着付款的客户同样可以获得录音。

　　无论何时，只要我听到客户服务代表说通话可能会被录音时，我就会对他说，我也可能会对此次通话录音，以保证我所获得的服务质量。在大多数情况下，客服代表都会选择与我合作，但偶尔也会直接挂断电话。当然，我也会在不征求客服代表同意的情况下自行对通话进行录音，但我要说明一点，这种做法在某些地方是违法的。如果我没有获得客服代表对我承诺的服务时，我就会利用手头的证据向他的主管投诉。如果这样做仍然无效，我就会将音频文件上传到网上，希望通过音频文件的传播催促该公司迅速解决我的问题。就像康卡斯特公司曾经遇到的情况一样，当时客户想取消服务，但是反复遭到该公司的拒绝，最终客户将通话录音发布在推特上才如愿以偿。

　　通过这种方式，你不必违反法律就可以摆脱不平等的对待。为了让透明性成为新的默认原则，数据公司需要向公众提供更多的信息而不是更少的信息。

　　但仅有透明性是不够的，你还需要主动性，主动性包含个人根据自己的数据采取行动的权利。数据公司的“默认”设置一目了然吗？你能够出于种种原因修改你的数据吗？你能随心所欲地使用公司产生的数据吗？你是被诱导（或被迫）从有限的几个选项中做出选择（这些选项几乎都更有利于数据公司）吗？你能修改参数并探索不同的情景，以发现种种可能性吗？主动性是个人根据数据公司所发现的关于他的偏好与行为模式进行选择的权利，包括要求数据公司按照他提出的条件向他提供信息的权利。

　　在基本层面上，主动性关乎人们有能力创造出有利于自己的数据。亚马逊公司一直坚持原原本本地在网页上呈现客户的评论，无论评论是好是坏，是五星还是一星，是为了获得他人的认同还是为了实现成为图书评论家这一人生理想，都没有关系。亚马逊更看重的是，这些评论与其他想购买图书的客户之间的关系。比如，通过评论发现，虽然客户没有选择退货，但对此次购买的商品不太满意。这些数据有助于客户判断某件推荐商品是不是自己的最佳选择，由此亚马逊公司给了客户更大的主动性。

　　许多营销人士津津乐道于市场定位、市场细分与转化。我不了解你们的想法，但我不想被定位、细分、转化，也不想被剖析，这些不是主动性的表达方式。我们不能想当然地认为每个公司都会主动遵循透明性与主动性原则。我们还必须超越这些原则：我们需要拥有明确的权利，这有助于我们表达自己的愿望，将透明性与主动性转化为实实在在的工具。

　　如果我们能促使数据公司同意提供一系列有意义的权利与工具，就能产生我所说的“关系反转”，即对个人与机构之间的传统关系予以逆转。亚马逊公司决定由客户撰写大部分商品评论，这也属于关系反转，社交数据革命将会提供更多这样的机会。随着人们拥有越来越多的工具去帮助自己做出更好的决定，过去公司常用的市场营销手段的效果将会越来越差。由公司告诉处于弱势地位的客户应该购买何种商品，这个时代已经一去不复返了。而且很快，就会由你来告诉公司应该为你做些什么。在某些地方，人们已经体会到这种变化了。

　　关系反转是物理学家观察世界的重要方式。关系反转经常与相变联系在一起，后者指的是外部条件导致物质属性发生突变——当加热到沸腾状态时，水就会从液态变为气态。日益增加的数据量对社会所产生的影响就相当于物理系统中热量的增加。在某些条件下——当数据公司遵循透明性与主动性原则时，就会产生关系反转，也就是说，这更有利于个人而非公司或公司的首席市场官。

　　我们所有人的利益都与此次社交数据革命息息相关。如果你希望从社交数据中获益，就必须分享自己的信息。你从社交数据中获得的价值通常在于你拥有了更强的决策能力，即在促成交易的谈判中、购买产品与服务时、申请贷款的过程中、寻找工作时、获取教育与医疗时、改善你所在社区的硬件时，你可以做出更明智的决定。你在分享数据时所付出的代价与承担的风险不应大于你所获得的收益。数据公司收集的数据及其采取的行动应具有透明性，这一点至关重要。另外，你还需要对数据产品与服务拥有一定的掌控力。否则，人们如何判断自己所获得的收益是否大于付出的代价呢？

　　新的游戏规则

　　信息是权力的中心。如果你拥有的信息比别人多，那么你很可能从中获利，这就像二手车销售员将劣质车推销给不明真相的客户一样。随着沟通与处理过程变得越来越便宜和普及，巨大的信息不对称风险发生的可能性将越来越大，因为没有人能够掌握所有数据。

　　在这些产生和分享的数据中，有许多是关于我们的个人生活的：居住的地点、工作的地点、前往的地点，喜欢的人、不喜欢的人、陪伴的人、共进午餐的人，运动量、服用的药物、家用电器、触动心灵的杂志。我们的生活在数据公司面前是透明的，这些公司收集并分析我们的数据，有时它们还会私自销售我们的数据，或者擅自保存我们的数据。在个人数据被修改、交换、销售的过程中，我们需要拥有一定的发言权，此外我们还要对个人数据的使用制定更多的条款。双方（数据创建者与数据公司）都必须遵循透明性与主动性原则。

　　这需要我们从根本性上改变对数据和自我的看法。在第1章中，我会介绍数据公司分析数据的几种方式，并以提炼过程做类比，说明公司如何将原始数据转化为产品与服务。我将在第2章中讨论个人及其特点，并论述我们在生活中留下的电子踪迹是如何破坏我们的隐私性幻觉的（搜索、点击、评论、使用与刷卡），并在此过程中产生了新的身份概念。无论我们是否愿意，都发出了自己兴趣的真实信号。在第3章中，我将论述重点从个人转移到人与人之间的关系，以及社交网络怎样展示并影响数字化时代的信任。在第4章中，随着各种传感器（不只是摄像头）的联网，我将介绍人们如何利用精确度越来越高的手段记录我们所在的环境，以及数据公司如何分析这些传感器收集的数据，并推断出人们的位置、情绪状态与兴趣。

　　在此基础上，我提出了6项权利。为了确保未来我们的数据能够真正为我们服务，我认为这些权利十分关键。其中有两项权利是访问数据的权利与核实数据的权利，它们旨在提高透明性。其余4项权利主要通过主动性原则使人们对自身数据具有更强的掌控力，包括修正数据的权利、对数据进行模糊处理的权利、利用数据开展实验的权利、将数据导出给其他公司的权利。通过对个人数据行使上述权利，就能对我们的购物方式、支付与投资方式、工作方式、生活方式、学习方式、使用公共资源的方式等产生影响。在最后一章中，我将论述如何实现这6项权利。

　　在这个时代的转折点上，人们正在界定创建数据的人与把数据转化成产品和服务的组织之间的关系。不仅游戏规则正在改变，从性质上看，我们正在玩的这个新游戏还要求我们重新界定客户与零售商、投资者与银行、雇主与雇员、患者与医生、学生与老师、公民与政府之间的关系。此时，我们应当表明立场并真正了解数据的用途，以便能够获得利益并清楚由此产生的结果。只有这样，我们才能评估我们的利益是否与数据公司的利益一致。对于大多数新科技而言，并非机器决定一切。只要人们使用机器，调整自己的期望，并在此过程中修订社会规范，社交数据革命就会悄然而至。

　　如果我们迎接这场挑战，数据就有可能由取之于民、归之于民演变为用之于民。让我们一起投身于这场革命吧！

　　安德雷斯·韦思岸（Andreas Weigend），世界上杰出的大数据、移动社交技术和消费者行为专家之一，美国首席科学家。

　　他在美国斯坦福大学、加州大学伯克利分校和中国复旦大学任教，还是社交数据实验室（Social Data Lab）的创始人和负责人。

　　他住在加利福尼亚旧金山。

序 言 当你的一切都被记录在案时 // VII

引 言 社交数据革命 // 001

第1 章 培养数据素养

数据挖掘的力量 // 020

你的数据有什么价值？ // 024

老虎机与挑剔的相亲者 // 031

通过机器学习发现错误 // 034

用数据模型辅助决策 // 038

实验！实验！实验！ // 043

第2 章 数字身份与真实身份

隐私权简史 // 053

从密不透风到公之于众 // 057

在互联网上，所有人都知道你是谁 // 061

使用假名的利与弊 // 067

真实的信号 // 074

隐私权和责任心不可兼得 // 078

第3 章 社交图谱与信任系数

大数据时代的人际关系 // 090

“动态信息”功能与“分享所爱”计划 // 097

为拥有数据的人提供服务 // 101