算法霸权

• 一锅脑浆粥

  2019-01-19
  你可以把房屋抵押贷款想成一片片质量参差不齐的肉，把资产抵押证券想成一捆捆的香肠——把所有东西搅拌在一起，外加一些刺激性的调味料，香肠就做成了。显然，香肠质量不一，而且从外表很难看出香肠的原料如何，但是因为美国农业部说这是安全食品，我们便毫不担心地吃下去了。
• 一锅脑浆粥

  2019-01-19
  然而，随着金融危机加l剧，德劭集团的合伙人开始担忧了。毕竟，所有的市场都是紧密联系在一起的——大家都是一条船上的人。当时，业内盛传雷曼兄弟已处在破产边缘，而雷曼兄弟持有德劭集团20%的股份，我们的很多交易都是交由雷曼兄弟处理的。由于市场持续动荡，德劭集团内部开始人心浮动。是，我们仍然可以用强大的模型处理大量的数据，但是，如果可怕的明天和之前的每一天都不一样了怎么办？要是明天的一切都变了呢？这的确值得忧虑，因为数学模型的本质是基于过去的数据推测未来，其基本假设是：模式会重复。
• 一锅脑浆粥

  2019-01-19
  但问题是，我们是彻底根除了人类偏见，还是只不过用技术包装了人类偏见？
• 一锅脑浆粥

  2019-01-19
  这凸显了数学杀伤性武器的另一个常见特征，即其结果往往更倾向于惩罚穷人。部分原因是数学模型是被设计来评估数量巨大的人群的。数学杀伤性武器擅长处理巨量数据，而且处理成本很低，这也是它们的优势所在。而富人通常受益于个人投入。高档律所或者大学预科学校会比快餐连锁店或者资金短缺的城市公立高中更依赖推荐和当面交流。我们在之后会经常看到这一点：特权阶级更多地与具体的人打交道，而大众则被机器操控。
• Dyton

  2018-05-30
  The "big five" personality traits: openness, conscientiousness, extroversion, aggreeableness, and neuroticism.
• Dyton

  2018-05-30
  The long shot (stretch school)The solid bet (target school)The safety school
• Dinkon

  2017-10-15
  Big Data processes codify the past. They do not invent the future. Doing that requires moral imagination, and that’s something only humans can provide.
• Dinkon

  2017-06-01
  Baseball models are fair, in part, because they’re transparent. Everyone has access to the stats and can understand more or less how they’re interpreted.A model’s blind spots reflect the judgments and priorities of its creators.Our own values and desires influence our choices, from the data we choose to collect to the questions we ask. Models are opinions embedded in mathematics.
• 一锅脑浆粥

  2019-01-19
  在这个金钱可以买到影响力的社会，数学杀伤性武器的受害者几乎没有话语权。他们中的大多数都在事实上被剥夺了公民权。事实上，穷人常常被认为应该对自己的贫穷、糟糕的学校教育以及所在社区的混乱治安负有责任。这就是为什么很少有政治家会去费力制定反贫困政策。对他们而言，贫穷更像是一种疾病，他们通常采取的做法是隔离它，防止这种疾病传播到中产阶级。因此，我们需要思考的是，在现代生活中我们对贫困负有怎样的责任，以及数学杀伤性武器是如何加剧了恶性循环的。
• 一锅脑浆粥

  2019-01-19
  在某一时刻，追踪器很可能会发展成为常态。而那些想要以旧方式买保险的消费者，为了保护仅有的一点隐私，将不得不支付额外的保险费，而且很可能极为昂贵。在数学杀伤性武器泛滥的世界里，隐私将逐渐变为一种只有富人才负担得起的奢侈品。
• 一锅脑浆粥

  2019-01-19
  这些错误为机器创造了进一步学习的机会，前提条件是系统能接收到错误反馈。谷歌的识别软件接收了错误反馈。但是不公平仍然存在。在自动化系统仔细查看我们的数据，对我们进行评估并给出一个电子评分的过程中，系统自然会把我们的过去投射到未来。就像我们在再犯模型和掠夺式广告模型中已经看到的，穷人会被认为一直贫穷，并因此得到相应的对待：被机会之门拒之门外，更多地被逮捕，不能享受平等的服务和贷款条件。这是一种冷血的做法，不透明且受害者无法申诉，没有任何公平可言。但是，我们不能指望自动化系统自行解决这个问题。尽管机器功能强大，但它们目前还不能照顾到公平，至少它们自己不能。筛选数据并且判断什么是公平对它们来说是完全陌生且极其复杂的。只有人类能够给系统施加与公平相关的限制条件。矛盾出现了。如果我们最后一次回顾一下20世纪50年代的银行家，我们会发现他的大脑充斥着各种人类的劣根性，包括欲望、偏见和对外来者的不信任。而正是为了更加公平有效地开展工作，他和行业里的其他人把工作交给了算法。60年以后的今天，世界被自动化系统控制，这些系统所做出的判断仰赖的是我们漏洞百出的数据档案。系统迫切需要理解语境、常识以及只有人类才可以提供的公平。但是，如果我们把这个问题交给关注效率、增长以及现金流（并且可以容忍某种程度的错误）的市场，想要干预的人类将会被命令远离系统。
• 一锅脑浆粥

  2019-01-19
  有时候，人们会问我如何教授数据科学家伦理观。我通常首先会让大家讨论如何构建一个电子评分系统模型，然后问他们把“种族”作为模型的输入数据是否合理。而他们必然会回答说这种做法不公平，而且很可能是非法的。我的第二个问题是问他们是否要在模型中使用“邮政编码”数据。乍一看，这一做法没什么问题。但是，这些人很快就会发现，他们把过去的不公正编码带进了新的模型中。当他们的模型将“邮政编码”数据考虑在内时，他们其实表达了这样一种观点：某个区域的居民的行为史可以决定，或者至少在某种程度上决定，住在那里的人应该得到什么样的贷款。换句话说，电子评分系统建模者设法回答的是这个问题：“像你这样的那类人过去的行为表现如何？”而在理想的情况下，应该问的问题是：“你过去的行为表现如何？”这两个问题的区别是巨大的。
• 一锅脑浆粥

  2019-01-19
  但是，如我们所见，大量的数学杀伤性武器，从再犯模型到教师评估模型，只不过是在打造它们自己所定义的现实。管理层假定教师评估模型是贴合现实情况的，因此认为它非常有用，该模型使得考核教师的教育成果变得更加容易。管理层可以据此开除职员，削减开支，把责任推卸给一个客观的评分数字，而不管这一数字是否真正符合现实情况。
• 一锅脑浆粥

  2019-01-19
  当公司构建模型寻找潜在客户或者操控绝望的借款人时，越来越多的盈利似乎表明它们走对路了。但现在的问题是，利润变成了真理的象征。这种危险的混淆我们以后还会多次看到。这种混淆的出现是因为数据科学家经常忽视交易接收端的民众。他们当然明白，数学杀伤性武器必然会出现偏差，在一段时间内会把部分人群归错类，剥夺他们找到工作或者买房的机会。但是一般来说，数学模型操作者不会思考这些可能的错误。他们看重的反馈是金钱，这也是他们的根本动机。他们设计模型就是为了吸收更多的数据，对分析结果进行微调，让更多的热钱涌入。投资者因此而尽享收益，于是决定继续将更多的钱投入数学模型开发公司。那么受害者呢？数据科学家也许会说，没有数学模型是完美的，那些受害者是附带损失。像萨拉·韦索基这样的人常常会被他们认为没有价值，不值得惋惜。他们也许会说，别管这些人，去看那些从搜索引擎的推荐中获得有益建议的人，或是在潘多拉网络电台上找到自己喜爱的音乐的人，或者那些在领英上找到理想工作的人，还有在婚恋交友网站Match.com上找到爱情的人。多想想算法实现的这些令人惊讶的成就，忽略那些不完美。
• Dinkon

  2017-06-03
  I was forced to confront the ugly truth: people had deliberately wielded formulas to impress rather than clarify.
• 一锅脑浆粥

  2019-01-19
  正如大多数数学杀伤性武器一样，核心问题主要在于模型的目标。把目标由压榨大众变更为帮助大众，数学杀伤性武器的危险性就解除了，甚至可以反过来变成一种正面力量。
• 一锅脑浆粥

  2019-01-19
  一如许多其他的数学杀伤性武器，问题的根源在于模型创建者选择了什么目标。这些模型追求的是效率和盈利的最大化，而不是正义或“团队”的福祉。当然，这是资本主义的本质。对企业来说，盈利有如氧气，是维持其生命力的必要条件。站在他们的角度，可以省钱而不省是极其愚蠢的，甚至是违反自然规律的。
• 一锅脑浆粥

  2019-01-19
  这些程序和大学录取程序一样，其所造成的结果就是那些拥有充足的金钱和资源来准备简历的人脱颖而出。没有精心准备简历的人也许永远不会知道他们投递的简历已经早早被机器排除了。这个案例再一次生动地展示了有钱人和消息灵通的人能占据多大的优势，而穷人被判出局的可能性又有多高。公平地说，筛选简历这件事总是会存在这样或那样的偏见。上一代求职者中的消息灵通人士会非常细心地把简历内容写得明晰连贯，用IBM（美国国际商用机器公司）出品的高端电脑输入信息，再用优质打印纸打印出来。因为这样的简历获得招聘者认可的可能性更高。手写的简历，或者蹭上油印机器黑墨的简历通常都会被丢进垃圾桶。所以，从这个意义上来说，机会的不公平并不是什么新鲜事，只是现在不公平有了一个新的化身——自动化筛选程序。这些自动化筛选程序的不公平操作不仅仅局限于筛选简历。我们的生计也越来越依赖于我们顺应机器的能力。最明显的例子就是谷歌。不管是连锁酒店还是汽车修理厂，一家企业的成功在很大程度上取决于它是否能够出现在搜索引擎的第一页。现如今，个人也面临着同样的挑战，不管是进入一家公司，向上晋升，还是只是逃过裁员浪潮，这一切的关键就在于了解筛选机器的判定标准是什么。可是，在这个被吹捧为公平、科学和民主的数字化世界里，仍然只有内部人士才能找到那条通往成功的路径。
• 元非

  2020-06-13
  出于提升排名名次的需要，各个大学就像管理投资组合一样管理着自己的学生。这在大数据领域里很常见，小到广告业大到政治领域都是如此。在校领导看来，每一个准大学生都代表着一组资产和一两项债务。比如，一名高中生在体育赛事上的优秀表现就被视为一种资产，但同时她的成绩可能处于中下游水平，后者就是她背负的债务。她可能还需要申请助学金，这又是一项债务。为了平衡投资组合，他们应该发掘其他能自费上学并且成绩优秀的考生。但是那些理想考生即使被录取了也可能会选择去其他更好的学校。这也是一个必须要量化的风险。鉴于整个评估体系非常复杂，为了“优化招生”，教育咨询产业兴起了。教育咨询公司诺埃尔–莱维茨(Noel-Levitz)开发了一个被称为“预告+”(Forecast Plus)的预测性分析软件包。该软件包允许招生老师根据地理位置、性别、种族、研究领域、学术地位及“任何其他特征”对准大学生的情况进行评估。另一个名叫“定位学生”(Right Student)的咨询机构则致力于收集、买卖相关数据以帮助大学客户找到最适合录取的学生人选，包括可以支付全额学费的学生，以及可能有资格获得校外奖学金的学生。就这个意义而言，学习障碍对于大学录取可能反而是个优势。……教育公司的专业人士了解每个学校的招生模型，所以他们知道怎样让一个准大学生被纳入其目标学校的“投资组合”之中。一位加州的企业家在教育产业把市场分析法发挥到了极致。他叫马振翼，是美国星腾科国际教育集团的创始人。他用自己开发的模型评估准大学生，计算他们被目标院校录取的可能性。他对《彭博商业周刊》的记者表示，假设一个美国高中生的平均学分绩点(GPA)为3.8，SAT成绩为2000分，课外活动时间为800小时，那么他被纽约大学录取的概率为20.4%，被南加州大学录取的概率为28.1%。然后，星腾科将提供一份有担保的建议组合。如果这个学生接受了咨询公司的建议辅导并...