撰文：克里斯汀·罗森
译者：陶小路
一
2009年6月的一个周一晚上，就在华盛顿的晚高峰刚刚开始的时候，一台电脑杀死了9个人。至少，这是对这起发生在该郊区地铁站的撞车事故所能做出的解释之一。当时行驶中的列车处于电脑控制的“自动驾驶”状态。调查人员后来确定事故原因：因安装在列车和轨道上的精密自动传感器失灵，这辆列车以每小时50英里的速度撞上当时停在站内的另一辆列车。当车上的列车员发现状况时已经太晚了，她试图在最后几秒钟拉紧急制动。最后，她与另外八人死于当晚。这是华盛顿地铁系统有史以来发生的最严重事故。
当然，没有人会说电脑故意杀人；但是，这场事故却又的确是由电脑自动化所导致的悲剧，没人预料到它会发生。再来看我们的生活，电脑自动化已日益主宰我们生活的许多方面。
《玻璃笼子：自动化和我们》（The Glass Cage: Automation and Us）的作者尼古拉斯·卡尔（Nicholas Carr）之前出版过数本有关科技的著作，他在这本新作中探讨了人们对自动化越发依赖这一现象。“电脑正逐渐成为我们追踪、控制、理解世界——作为物理存在的以及作为社会存在的世界——的通用工具，”卡尔写道。不知不觉中，我们将生活中此前从未由软件或者硬件控制的方面也交给了电脑。在书中，卡尔有许多十分敏锐的观察，他让我们看到自己不假思索、十分迅速地将许多生活体验拱手让与机器以及算法。是时候停下来反思一下我们在对自己做什么了。
二
卡尔的这本书不涉及机械、自动化软件的技术细节，它也不对硅谷的创造力唱赞歌（市面上这样的书实在太多了）。他写的是人类与自己创造的自动化技术一同生活的经验（对于自动化技术卡尔的定义就是“让机器、软件为我们做事情”）。在当代社会，我们体验到的自动化很丰富且多元：从体检时医生问的问题到建筑物的设计再到自动化武器装备（它还有一个非常引人注目的名字，“机器人杀手”，“killer robots”）再到无人驾驶汽车。毋庸置疑，自动化在许多方面令我们的生活更安全，更便捷。
然而，我们从卡尔对自动化所做的广泛考察可以看到，接受电脑自动化会在认知、生理、政治、经济、道德上引发不可小觑的后果。在《玻璃笼子：自动化和我们》中，卡尔探讨了我们与科技走近背后令人意想不到的后果，这也是他的旧作《浅滩》（The Shallows）所探讨的主题。自动化有两面，一面是无缝对接、便利和高效，另一面则是无意的设计漏洞、错误假设，最坏的即是对人类的屠杀。
以飞机驾驶舱自动化为例。卡尔详细介绍了空客A320的设计，谈及它的电传操纵系统（fly-by-wire）及“玻璃座舱”（glass cockpit）所提供的显示器和旋钮让飞机进入了数字时代；许多之前需要机组人员操作的任务，如控制空速和俯仰，如今都可以被自动化、常规化操作。自动化大大提升了驾驶舱内的效率，机组人员数量从4人减少到2人。但是，如同卡尔所指出的，自动化“在人的指挥与机器的反应中间插进电脑”，“切断了飞行员与飞机的联结”。如今的飞行员多数时间只是在监测许多小机器而不在操作飞机这个大机器。卡尔认为，“商业飞行员已经变成了事实上的电脑操作员。”
然而，许多研究均表明，电脑会分散飞行员注意力，一旦发生紧急事件，飞行员将不太能够准确感知所处的情境；另外，研究还发现，自动化会导致心理运动技能（psychomotor skills，指从感知到动作反应的过程及其相互协调的活动——译者注）的退化，该技能是飞机继续正常飞行的保证。总之，自动化会令飞行员的认知、运动技能消退（“skill fade”，“技能消退”是一名专家使用的术语），一旦有突发状况，这些飞行员将不能很好地凭直觉予以应对。
随着飞机飞行技术的提高，空难发生的次数越来越少，对于这点卡尔乐于赞同。但是他发现，好消息并不是全部，也有坏消息：自动化也导致了新型事故。一架美国大陆联线（Continental Connection）的班机于2009年在靠近纽约州布法罗市的地点坠毁，美国国家运输安全委员会在对此事故的调查报告中指出，驾驶舱内的警报响起之后，机长“应当给出不假思索”的反应。然而，两位机师却茫然无措，他们因缺少情境感知能力，应对失措，最终导致飞机坠毁，机上人员无人生还。2009年夏，法航447在从里约热内卢飞往巴黎的途中坠海，机组成员及乘客全部遇难，在此次坠机事故中机组成员亦表现出类似的茫然无措。
再回到地面上来。研究人员发现“自动化偏见”会干扰医疗人员：对放射科医生的一项研究表明，当医生们依靠自动化软件分析病人的扫描结果时他们更可能忽视某几类癌症。与之相似，有些医生使用自动化的电子病历记录病人信息，最后，他们花费大量时间在电脑屏幕上，与病人互动的时间就这样被占用掉，如此一来，一些能够在与病人互动中发现的细微症状便被医生遗漏掉，于诊断病情不利。研究者在退伍军人事务部下属的一间诊所中做了一项调查，那里的病人表示，因为检查间电脑的存在，他们来到这里“感觉不到太多人味”。
不同领域的知识工作者都在使用自动化的“决策支持系统” ，数据处理在逐渐取代“老套”的人工判断，在更高效率的名义下，人类的自主性被剥离。我们让自动化技术来替我们完成愈来愈多的认知工作，针对这点卡尔引用了科技史学家乔治·戴森（George Dyson）极有挑衅意味的问题：“我们获得智能机器的代价难道就是培养愈发愚蠢的人类么？”
三
思考的过程离不开头脑，也离不开身体。当我们刚开始学习走路然后跑步，或者刚学习游泳、骑车，反复的努力以及失败带来的痛苦体验最终让我们学会做到头脑与身体的协调一致。在书的前面，卡尔描述了自己年轻时学习驾驶安装标准变速器汽车（standard transmission car）的经历：经过许多次抛锚，离合器打滑，齿轮摩擦，他的技能逐渐提高，最终学会了开车。我们在别人一步步教授下学习的知识叫做“显性知识”（explicit knowledge），卡尔所获得的那种知识叫“隐性知识”（tacit knowledge）；“显性知识”的习得过程清晰明确，而“隐性知识”的习得过程则十分模糊，然而后者的重要性不亚于前者。正是因为“隐性知识”的存在，一个人哪怕20年没有碰过自行车，拿到车子照样会骑。
卡尔认为，自动化正在阻挠我们习得“隐性知识”。因为自动化的存在，许多事情做起来都变得很容易，我们因而失去了获取“隐性知识”的机会。这点即使在创意领域，如建筑行业，也十分明显。不久以前，手绘还是训练设计能力的核心；然而现在，没有哪家建筑公司会聘用一个不会熟练使用电脑辅助设计（CAD）软件的人，而这种软件几乎可以替代手绘。
CAD可以很好地辅助人们做出非凡的建筑设计，有些人会说它能够促使人们习得一种新的“隐性知识”，这种“隐性知识”可以让建筑师与软件“合作”，做出光靠手绘所无法完成的设计。卡尔在书中谈及两位著名建筑师伦佐·皮亚诺（Renzo Piano）和迈克尔·格雷夫斯（Michael Graves）对此发表的意见。这两位建筑师虽然都极有创意地在自己的设计中运用软件，但他们依然对手绘经验的缺失表示担忧；他们强调，实际的绘图工作能够确定建筑物最终的外形。“绘图不是最终的结果，它是我们做建筑设计中思维过程的一部分。” 迈克尔·格雷夫斯说。
CAD与其他形式的自动化相似，它因为强调效率，所以自然会鼓励操作者执行某些行动而不执行另外一些行动；另外它不鼓励开放式设计以及富有创意的探索。伦佐·皮亚诺曾将CAD比喻为“玩具钢琴，你按一个键，它就开始弹恰恰，过一会儿又弹伦巴。”CAD软件虽然不是有意搞破坏，但是其中内置了许多我们很少质疑的偏见，其他许多被自动化了的事物也是如此。卡尔如是警告道：“当自动化使我们远离我们的工作，当它夹在我们与世界之间，我们的生活将不再有技艺。”
现代的自动化还夺走了我们的工作。尽管从卢德分子（Luddites，指19世纪抗议并破坏替代劳动力的机械的英国纺织工匠——译者注）砸毁第一台机械化织布机开始，科技进步导致的失业一直令人们感到恐惧，但是卡尔令人信服地指出，当下的情况与此前都不相同：“机器取代工人的速度超过经济增长从而创造新的制造业岗位的速度。随着工业机器人变得愈加便宜，工作能力愈加娴熟，消失的就业机会与新增的就业机会数量之间的差距几乎肯定会扩大。”
从雇主的角度来看，这很合乎常理。机器是完美的员工，机器不会生病或抱怨或对同事进行性骚扰（至少目前还没有）；偶尔的软件升级也比人类员工所要求的健康保险和养老金便宜不少。可是，尽管我们会因为经济学家的发言周期性地感到焦虑，我们总体还是对这样的趋势所可能产生的影响无动于衷；毋庸置疑，这是因为我们这个民族长久以来对科技抱有热情。卡尔引用认知科学家唐纳德·诺曼（Donald Norman）的论述：“以机器为中心的视角将人与机器进行对比，这种对比的结果就是，人有太多不足，人无法完成精确、重复、准确的活动。”
四
我们没有让机器变得更像人，却似乎执意要让人类的制度更接近机器。自由放任主义的道德观根植在硅谷的科技乐观主义世界观之中；它视目的高于手段，它认为政治过程是一个需要被克服的问题，而非达成民主的解决方案的途径。创立Uber和亚马逊这样“有求必应”类型企业的人对僵化的参议院小组委员会的听证会和具有党派色彩的政治谈判不会有耐心。有时候他们看起来对人类都没有耐心，如果一架无人飞机做的事和人一样好，那么为何不用无人飞机而用人？
这种文化上的不耐烦不仅限于硅谷，它蔓延的范围很广。曾任奥巴马政府官员的彼得·奥斯泽格（Peter Orszag）之前主张在决策上应当增强“自动化程度”，从而避免僵局。此其一例。卡尔认为，我们往往热衷接受那些可以替代我们完成某些活动的科技，对那些帮助我们更好完成这些活动的科技则不感兴趣；另外，解决人类问题的过程往往就是混乱的，可我们总是没有足够耐心坚持到最后。尽管卡尔并没有直截了当地说出来，可实际上他在试图回答这样一个关乎存在（existential）的问题：我们对自动化科技盲目的信念是否意味着我们对人类判断力不断加深的不信任？我们对机器，对算法的热情持续升温着，因为在这些据说无情而公正的机器的帮助下，我们内心的焦虑和责任感可以不再由我们自己承担。（我不给那个员工升职是因为我的决策支持软件预测他在这个岗位上干不好工作。）我们对机器寄予了太多虚妄的希望，同时又强烈地拒斥承担个人责任。
政治关乎信任，从根本上说，自动化也关乎信任：我们信任机器以及制造它们的技术人员，我们信任可以控制它们的政府系统，我们信任自己可以明智得使用它们。但是这些信任是建立在一个假设之上，即：这些科技在道德上是中立的。卡尔在书中提供了额外证据，这些证据表明，认为自动化在道德上具有中立性实在只是陈词滥调，应当被丢弃。自动化与许多其它科技一样，它既不是中立的也不一定是有益的。卡尔在书中提到所谓“替代神话”（substitution myth）：“一个节省人工的策略并非仅仅只是对该工作的某个孤立部分的替代，它会改变整个任务的性质，改变所有参与者的角色、态度和技能。”
再者，在这个自动化简易的世界，人命更会将事关伦理的决策交给机器来做。今天的自动化已达到的成熟程度令机器不再只是提供信息，而是可以提供或明确或暗示的判断；我们变得越发能够接受可以复制人类决断能力的机器，比如医生诊断病情的能力，飞行员将飞机降落地面的能力。至于自由意志，那些连道德判断都让机器代劳的人则根本不需要。在不远的未来，一个刑事被告人会说：“是算法的错，是它让我干的！”这不是完全不可能的画面。
最终，自动化技术将越来越不像一个乐于助人的银行出纳员，倒是越来越像放高利贷的——有一些已经变得如此了。在亚马逊的网站上，预测算法为你推荐你可能想买的书；但是假释裁决委员会也用它来决定是否该给犯人自由。自动化技术可以轻易被设计来误导其目标人群，另外它还能极为轻巧地躲避使用者的监管，机器中无论硬件或软件里发生什么，这些人都不会知道。我们想生活在一个由机器提供粗劣的道德判断的世界吗（在这个世界，“直觉将被聪明才智取代”）？如果这意味着公正的效率，风险的降低，我们中间很多人会说想。
但是我们不能生活在这样的世界。卡尔的书已经告诉我们，选择自动化不只是个人或者商业上的决定，它还是道德上的决定。如果不假思索地接受自动化，我们的人性将一点点堕落——一千个应用程序足以令人性灭绝。“我们的数字神明希望我们视劳作为杂役，可是对我们的身体健康、快乐、幸福而言，这些劳作可能是至关重要的，”卡尔提醒道。
如果二十世纪以前我们颂扬自力更生的精神，到了二十世纪我们赞美自我表达，那么在二十一世纪，我们应当赞赏的是自我控制。这个世界有那么多便利与安逸，我们也就更需要强大的自控力。“刷剧”（binge-watch）、“信息过载”（information overload）这样的词汇很好地揭示了我们现在这个特殊的文化时刻。我们依赖着机器，我们期望机器能够为我们做什么，应该为我们做什么：比如保证我们的安全，让我们的生活更加便利，帮助我们更好地与人交往。卡尔很担忧，这些技术会让我们陷入习得性无助（learned helplessness）。我们不再承担个人责任，而是将其交到硅谷的技术人员手中，这时的我们对技术人员是“恭顺”的。“恭顺”，是的，卡尔这个词用的没错。技术不再只给我们提供引导，而是像成了我们的主子，控制着我们。卡尔十分酸楚地问道：“我们究竟要退到什么地步？”
五
卡尔能够十分冷静并慎重地处理自己的素材，这是他作为一名批评家最大的优势，这点在针对科技的争论上尤其罕见。他的写作风格既不会蛮不讲理，也不会絮絮叨叨。读卡尔博客的人都知道他机敏、睿智，我希望在这本书里更多得看到这点。另外他很擅长言简意赅地挑明问题，比如他说：“自动化的问题是：它常常给的是我们不需要的东西，然而我们却要为此牺牲掉我们真正需要的。”
但是其实卡尔应该对我们更严厉些。比如，卡尔谈到佩戴谷歌眼镜之类的穿戴设备会让我们“失去存在于当下的力量”，因为我们会不断去查看眼前屏幕上的东西；这里，卡尔没有对我们大加责难。卡尔说得没错，我们为了获取一些信息，情愿戴上谷歌眼镜或者强迫性地反复查看智能手机，我们为此丢失了“存在于当下的力量”，对他人的情感也视而不见。自从移动科技到来以后，我们便一直在做这样的取舍，我们这样做不是因为我们处于“虚假意识”（false consciousness）之中。我们心甘情愿、兴高采烈、荒唐可笑地去这样做，从来没有考虑过我们付出的代价。“当我们将自己复杂的活动自动化以后，我们也将自己的道德选择自动化了。”卡尔提醒我们道。
卡尔十分擅长在灰色区域中一探究竟，许多难以明确度量的东西因为自动化而丢失，他在书中将其一一为读者阐明。他这样写道：“（因为自动化的影响），我们的个人努力以及在一些事情上的参与机会被剥夺，我们的决定权与自主性被削弱，我们的技能出现细微的衰退，这些代价怎么去衡量？无法衡量。”但是可以通过细致的研究和洞察力做好基础工作，以便提出正确的问题，而卡尔的新作正很好地做到了这点。
卡尔对自动化表示的种种担忧在科技迷看来不值得一提，在他们看来，一个颂赞长柄镰刀为高超工具的人只会是出于绝望才会有这样的担忧（他的确对长柄镰刀有过称颂，但那是在罗伯特·弗罗斯特【RobertFrost】的一首诗的情境下做出的称颂）。但是正如卡尔所指出的，只有真正的怀旧者才会认同这样的说法，“新东西总比旧东西能更好地帮我们实现我们的目的和意图。”认识到自动化潜在的危害不是要我们将机器人丢弃不用，而是要我们制定出一些原则，并在其引导下运用自动化技术。
各类应用程序、各种小设备及其软件都很喜欢对我们发号施令，但是它们在道德上都是近视的。不过也不奇怪，它们的发明者还相信用无人驾驶飞机送玉米饼就可以改变人类。我们想听什么话，他们就说什么；比如苹果CEO蒂姆·库克发的一条推特：你比你自己想象的更强大。真的？我们总是期望科技能为我们做更多事情：管理我们早晨的通勤，给我们推荐馆子，给馆子打分；卡尔的书提醒我们，我们应该对自己有更高期望。但他也很清楚，在使用工具和被工具使用之间寻找平衡并非易事。“一个制作精良，使用得当的工具所有的价值不仅仅在它为我们提供了什么，也在于它在我们身上留下了什么。”他如是写道。
卡尔希望我们在眼下这条技术发展的道路没有走太远，我们还能够停下来想想，一个自动化程度更高的世界会是什么样子。至少，他希望技术人员在设计硬件和软件时可以更细致，希望制造它们的公司可以承担更多责任，毕竟我们中间许多人会花很多时间在它们上面。我（准确的说，是那个“刷剧”、悲观、怀疑的我）担心，技术消费者对更细致的设计、公司承担更多责任等等不会有太大兴趣。
鉴于我们对技术造成的意想不到的后果记忆不深，保持怀疑态度于是就很重要了。2014年9月，华盛顿的地铁系统宣布，到2015年3月其“红线”（华盛顿地铁有红、橘、蓝、黄、绿五条线路——译者注）将实现自动化，到2017年秋将实现剩余四条线路的自动化。当地官员对建立在如此精密技术之上的铁路系统的效率及安全性表示赞赏。《华盛顿邮报》就此事采访了2009年华盛顿地铁撞车事故中年纪最小遇难者的姨母，她回答：“不能把人命交到电脑手上，实在太不值得了。”
尼古拉斯·卡尔（Nicholas Carr）著：《玻璃笼子：自动化和我们》（The Glass Cage: Automation and Us），WW诺顿出版社2014年版，276页，26.95美元
【声明】以上内容只代表原作者个人观点，不代表artda.cn艺术档案网的立场和价值判断。
