机器之心转载
来历：科研圈
斯坦福大学和马萨诸塞大学阿姆赫斯特分校协作团队开宣告一种办法，可以将含糊的方针进行量化，协助机器学习算法更好地完结防止轻视或调理血糖等杂乱使命。
图片来自：Deboki Chakravarti
得益于机器学习算法日益强壮的才能，人工智能已进入了干流商业。机器学习算法使计算机可以练习自己完结比如驾驭轿车，操控机器人或主动化决议计划等作业。
可是跟着人工智能开端处理一些灵敏使命，例如协助挑选哪些罪犯获得保释，方针制定者坚持要求计算机科学家供给保证，保证主动化体系的规划可以防止或最大程度地削减不期望的成果，例如过高的危险或种族和性别成见。
由斯坦福大学（Stanford University）和马萨诸塞大学阿姆赫斯特分校（University of Massachusetts Amherst）的研讨人员领导的团队于 11 月 22 日在《科学》杂志上宣告了一篇论文，在这方面提出了一些主张。论文概述了一种新技能，可用于将比如防止性别成见之类的含糊方针转化为准确的数学规范，然后使机器学习算法可以练习人工智能应用程序来防止这种行为。
斯坦福大学计算机科学助理教授、该论文的资深作者 Emma Brunskill 表明：「咱们咱们都期望推进人工智能的开展，尊重人类用户的价值观并证明咱们对自主体系的信赖是合理的。」
防止错误行为
这项作业的条件是，假如可以用数学办法界说「不安全」或「不公正」的成果或行为，那么就应该有或许创立相应的算法，可以从数据中学习怎么防止不想要的成果，并具有很高的可信度。研讨人员还期望开发一套技能，便利用户指定他们想要怎样的行为束缚，使机器学习规划者可以彻底放心肠运用曩昔的数据练习的体系，将其应用到实际环境中。
「咱们展现了机器学习算法的规划者可以怎么协助其他开发者，在将人工智能植入到其产品和服务中的时分，他们可以更简单描绘不想要的成果或行为，而人工智能体系将以高概率防止这些情况。」马萨诸塞大学阿默斯特分校计算机科学助理教授、该论文的榜首作者 Philip Thomas 说。
保证公正与安全
研讨人员测验了他们的办法，企图进步根据考试成绩猜测大学生 GPA 的算法的公正性，这种常见的算法或许发生性别成见。他们运用试验数据集为算法供给了数学指令，以防止让终究得到的猜测性办法体系性地高估或轻视某一性别的 GPA。经过这些指令，该算法找到了一种比现有办法更好的办法来猜测学生的 GPA，其体系性性别成见要少得多。在这方面，从前的办法很困难，要么是由于它们没有内置的公正性过滤器，要么是由于为完成公正性而开发的算法的规模太有限。
研讨小组还开发了另一种算法，并运用它来主动平衡胰岛素泵的安全性和功能。这种泵有必要决定在进餐时间给患者运送多大剂量的胰岛素。抱负情况下，泵运送的胰岛素刚好能坚持血糖水平安稳。胰岛素过少会使血糖升高，导致厌恶等短期不适，并添加心血管疾病等长时间并发症的危险；过量运用胰岛素又会导致血糖暴降，这是一个潜在的丧命成果。
机器学习可以辨认个别的血糖水平对不同剂量的胰岛素反响的奇妙形式，然后更好地供给协助，可是现有办法并不简单让医师清晰主动剂量算法应防止的成果（如低血糖）。Brunskill 和 Thomas 展现了怎么练习泵来确定为指定患者量身定制的剂量，防止因剂量过大或剂量缺乏而引起并发症。虽然该小组没有预备好在实在的人身上测验该算法，但它指出了一种人工智能办法，该办法终究或许会改进糖尿病患者的生活品质。
Brunskill 和 Thomas在他们的《科学》论文中运用术语「Seldonian 算法」一词来界说他们的办法，引用于科幻小说作者阿西莫夫创造的人物 Hari Seldon，他从前宣告了三条机器人规律，其最初是「机器人不该损伤人类，也不该由于无作为而损伤人类」。
Thomas 供认这个范畴离遵从这三条规律还有很长的路要走，但他说，这种 Seldonian 结构将使机器学习规划人员更简单将防止行为指令构建到各种算法中，在某种程度上可以使他们可以评价练习过的体系在实际国际中正常运转的或许性。
Brunskill 说，这个提议结构建立在许多计算机科学家正在尽力的基础上，在创立强壮的算法和开发办法之间获得平衡以保证其可靠性。
「跟着社会越来越依靠人工智能，考虑怎么创立出最能尊重安全、公正等价值的算法至关重要。」Brunskill 说。
论文标题
Preventing undesirable behavior of intelligent machines
论文链接
https://science.sciencemag.org/content/366/6468/999
