我们的在线课程(都是免费的,没有广告):

我们的软件:PyTorch的Fastai v1

亲自参加我们的课程,2019年3月-4月,平方英尺:此处注册

manbetx登陆fast.ai新闻:


manbetx app

杰里米的笔记:想了解更多信息吗?听我和萨姆·查林顿讨论法赛深入访谈.

总结

Today manbetx登陆fast.ai is releasing v1 of a new free open source library for deep learning,打电话法斯塔伊.图书馆位于火把V1(今天在预览版中发布)并为最重要的深度学习应用程序和数据类型提供一个一致的API。manbetx登陆快,人工智能最近的研究突破嵌入到软件中,从而大大提高了与其他深度学习库相比的准确性和速度,同时需要更少的代码。你今天可以从Conda下载,匹普或github或者用在谷歌云平台.AWS支持即将到来。

manbetx官网手机登录关于fastmanbetx登陆.ai

manbetx登陆快速。人工智能的使命是让任何人都能获得最先进的深度学习能力。为了实现这一点,我们做三件事:

  1. 研究如何快速、可靠地将先进的深度学习应用于实际问题

  2. 构建软件,使最先进的深度学习尽可能易于使用,同时,对于想要探索假设的研究人员来说,仍然容易定制

  3. 讲授课程,使尽可能多的人能够使用研究结果和软件

你可能已经很熟悉我们的课程了。成千上万的人已经编码员的实用深度学习当然,现在很多校友都在用他们的新技能做着惊人的工作,在像Google Brain这样的组织中,开放国际,吉瑟布。(他们中的许多人现在积极地为我们忙碌的深度学习从业者作出贡献讨论论坛,以及其他更广泛深入学习社区的成员。)

您可能也听说过我们最近的一些研究突破(在我们的学manbetx官网手机登录生和合作者的帮助下!)包括打破深度学习速度记录实现一个新的文本分类的最新进展.

新法赛图书馆

所以这涵盖了三个列出的领域的研究和教学部分,但是软件呢?manbetx官网手机登录今天我们将发布我们的新版本v1.0FASTAI深度学习图书馆,过去18个月一直在开发中。法泰坐在手枪,为我们的工作提供了基础。当我们宣布Fastai的初步发展一年多以前,我们描述了pytorch为我们提供的许多优势。例如,我们讨论了我们如何做manbetx官网手机登录到”利用常规python代码的所有灵活性和能力来构建和训练神经网络“,和“我们能够解决更广泛的问题“。Pythort团队在Fastai的整个发展过程中都非常支持,包括进行关键性能优化,使我们的软件具有关键功能。

fastai是第一个为最常用的视觉深度学习应用提供统一界面的深度学习库,文本,表格数据,时间序列,以及协同过滤。这对从业者很重要,因为这意味着如果你已经学会用fastai创建实用的计算机视觉模型,然后您可以使用相同的方法来创建自然语言处理(NLP)模型,或者我们支持的任何其他类型的模型。

谷歌云平台从今天起,Fastai v1将在谷歌计算引擎的实验性深度学习图像中提供给所有客户,包括准备运行的笔记本和预装的数据集。使用它,直接前往深度学习图像页面在Google Cloud Marketplace和您的实例的设置配置上,将framework设置为pytorch 1.0rc,然后单击“部署”。就这样,你现在有了Jupyter实验室的虚拟机,Pythorch 1.0和Fastai在上面!阅读有关如何使用图像manbetx官网手机登录的详细信息在这篇文章中来自谷歌的Viacheslav Kovalevskyi。如果你想在GPU驱动的Jupyter笔记本中使用Fastai,由于Fastai支持,现在只需点击一下蝾螈,今天也发布了。

布拉丁·萨哈也有好消息,副总裁,亚马逊网络服务:“支持快速。人工智能的使命manbetx登陆是使深度学习的力量在规模上可用,Fastai图书馆将很快在AWS中提供深入学习AMIS亚马逊Sagemaker“。我们非常感谢微软人工智能首席技术官的热情,约瑟夫·西罗什,他说“在微软,我们有一个雄心勃勃的目标,让每一个组织都能接触到人工智能并获得价值。我们很高兴看到fast.ai帮助实现大规manbetx登陆模深入学习的民主化,并利用云的力量。”

早期用户

在GitHub上搜索语义代码

manbetx登陆fast.ai是github协作工具,很多Github团队也使用fast.ai工具-甚至manbetx登陆Github研究深度学习首席执行官使用我们的课程!哈梅尔侯赛因,Github的高级机器学习科学家,在过去两年里一直在通过fast.ai学习深度学习,manbetx登陆说:

"The manbetx登陆fast.ai course has been taken by data scientists and executives at Github alike ushering in a new age of data literacy at GitHub.它让Github的数据科学家有信心解决机器学习中最先进的问题,以前人们认为只有大公司或有博士学位的人才能接触到它。”

侯赛因和他的同事吴祥祥最近发布了一个新的实验工具语义码搜索,它允许Github用户使用简单的英语编写的问题来查找有用的代码片段。在一个博客宣布工具,他们描述了他们如何从谷歌的TensorFlow中心转向Fastai,因为它”使我们能够方便地访问先进的建筑,如AWD LSTMs,以及诸如随机重启的循环学习率等技术“。

Github语义代码搜索工具截图
Github语义代码搜索工具截图

过去12个月,Husain一直在使用Fastai库的预发布版本。他告诉我们:

“我选择fast.amanbetx登陆i是因为它的模块化,实现的高级API最先进的技术,以及创新减少对大量计算的需求但具有相同的性能特点。语义代码搜索演示只是冰山一角,作为销售人员,营销,欺诈目前正在利用Fastai的力量为其业务领域带来变革性的变革。”

音乐的产生

在我们上一个速成课程中脱颖而出的一个学生是manbetx登陆克里斯汀McLeavey佩恩,作为一名屡获殊荣的古典钢琴家,他与旧金山交响乐团一起度过了一段美妙的旅程,金融界的高性能计算专家,斯坦福大学的神经科学和医学研究员。从那以后,她的旅行变得更有趣了,今天她是著名的OpenAI研究实验室。在她最近的OpenAI项目中,她用Fastai帮助她创造神经网络音乐发生器.这是她的一些产生的室内音乐.克里斯汀说:

“Fastai图书馆是一个令人惊叹的资源。即使我刚开始深入学习,只需几行代码就可以轻松地启动和运行Fastai模型。在那一点上,我不理解在引擎盖下发生的最先进的技术,但他们仍然在工作,意味着我的模特训练得更快,达到了显著更好的准确度。”

克里斯汀甚至创造了一个人类或电脑你们可以自己试一下;看看你能不能找出她算法生成的片段!克拉拉是基于她在Fast.ai学生项目中的语言建模工作,manbetx登陆并利用Fastai图书馆对自然语言处理最新进展的支持。克里斯汀告诉我们:

“直到最近,我才意识到这些细节有多重要,Fastai图书馆为我节省了多少工作。我花了不到两周的时间才完成这项音乐生成项目,并取得了巨大的初步成果。我敢肯定,没有法赛速度是不可能的。”

我们认为克拉拉是一个很好的例子,在这种情况下,深层学习的表现力,一个用来生成和分类文本的模型被用来生成音乐,修改相对较少。”我几乎完全采用了fastai语言模型(对这一代人进行了非常细微的采样变化),并尝试了用“notewise”或“chordwise”编码写出音乐的方法。“她在Twitter上写的.结果是观众最喜欢的,瓦内萨·M·加西亚,IBM Watson的高级研究员,在Openai的演示日宣布这是她的首选。

Twitter评论Christimanbetx官网手机登录ne的音乐生成演示
Twitter评论Christimanbetx官网手机登录ne的音乐生成演示

Fastai艺术项目

建筑师和投资者米盖尔·雷兹·米豪斯一直在使用一个fastai的预发布版本来研究一个他称之为的艺术实验系统样式还原.这绝对是一个画面能说出千言万语的例子,与其解释它的作用,我让你自己看看:

样式恢复示例
样式恢复示例

P_rez michaus说他喜欢用fastai设计,因为”我知道它能让我找到[谷歌的TensorFlow图书馆]Keras无法做到的地方,例如,每当必须达到“非标准”的目标时“。作为早期收养者,他在过去的12个月里看到了图书馆的发展:

“我很幸运看到Fastai的阿尔法版本在进化,即使在那时,它的力量和灵活性也是显而易见的。此外,它对像我这样的人完全有用,有领域知识,但没有正式的计算机科学背景。它只会变得更好。我对深度学习的未来的直觉是我们需要对其本质有一个细致manbetx官网手机登录的了解,在那片风景里,我认为法赛会发光的。”

Fastai学术研究

企业家Piotr Czapla和Marcin Kardas联合创始人是N波,一家深度学习咨询公司。他们用Fastai开发了一种新的文本分类算法在波兰,基于fast.ai中显示的想法。manbetx登陆先进的编码器深度学习当然。波兰语对NLP具有挑战性,因为它是一种形态丰富的语言(例如数,性别,动物性,大小写都折叠成一个单词的后缀)。Czapla和Kardas开发的算法在波兰顶级NLP学术竞赛中获得一等奖,基于这项新研究的论文将很快发表。据Czapla说,Fastai图书馆对他们的成功至关重要:

“我喜欢fastai对于没有数百台服务器可供使用的普通人来说工作得很好。”它支持快速开发和原型化,并将所有最好的深入学习实践融入其中。”

课程和社区对他们也很重要:

“manbetx登陆很快,人工智能的课程让我开始深入学习,帮助我思考和发展关于深度学习真正起作用的直觉。我问题的大部分答案已经在论坛的某个地方了,只是一次搜索。我喜欢讲座中的笔记是如何组成wiki主题的,而其他学生正在制作课程的抄本,以便更容易找到。

示例:计算机视觉中的转移学习

manbetx登陆Fast.人工智能的研究被嵌入到Fastai库中,所以你会自动得到它的好处。让我们来看一个例子,看看这意味着什么……

Kaggle狗与猫比赛从一开始就是我们课程中最受欢迎的部分,它代表了一个重要的问题:预先训练的模型的转移学习。所以我们来看看Fastai图书馆是如何完成这项任务的。

在我们建造法泰之前,我们的大部分研究和教学都是使用Keras(带有TensorFlow后端)完成的。我们仍然是它的忠实粉丝。Keras在展示如何使深度学习更容易使用方面发挥了重要作用,这对我们来说是一个很大的鼓舞。今天,这是训练神经网络最流行的方法。在这个简短的示例中,我们将比较KERA和Fastai的三个最重要指标:所需代码量,精度,和速度。

下面是所有用fastai进行两阶段微调所需的代码——不仅仅是要编写的代码非常少,要设置的参数非常少:

数据 = 来自图像文件夹的数据路径“数据/狗屎”
    DSTFFMS=获取转换() TFMS=图像常数 大小=二百二十四
学习 = 镇静剂数据 电压互感器.RESNET34 韵律学=精确
学习.菲季诺夫循环
学习.解冻()
学习.菲季诺夫循环4 1E-53的军医))

让我们比较一下这项任务中的两个库(我们试图匹配我们的Keras实施尽可能接近,虽然Keras不支持Fastai提供的所有功能,不完全相同):

法泰Resnet34* FASTAI RESNET50 角膜
代码行(不包括导入) 5个 5个 三十一
阶段1错误 0.70% 0.65% 2.05%
阶段2错误 0.50% 0.50% 0.80%
测试时间增大(TTA)误差 0.30% 0.40% N/A*
第一阶段时间 4:56 9:30 8:30
第二阶段时间 6点44分 12:48 17:38

*Keras不提供Resnet 34或TTA

(重要的是要了解,这些改进后的结果在任何情况下都不能表明,Keras不是一个优秀的软件。恰恰相反!如果您尝试用几乎所有其他库来完成此任务,你需要写远的更多代码,也不太可能比喀拉斯山更快、更准确。这就是为什么我们在这个对比中展示了喀拉斯——因为我们是它的崇拜者,这是我们所知道的最强的基准!)

Fastai对NLP也表现出类似的强劲表现。最先进的文本分类算法是乌尔默特.这是在流行的IMDB数据集中,ulmfit与以前排名最高的算法的相对误差,如ulmfit文件所示:

文本分类性能摘要
文本分类性能摘要

Fastai是目前唯一提供此算法的库。因为该算法内置于Fastai中,你可以将论文的结果与上面显示的狗对猫的相似代码进行匹配。下面是如何训练ULMFiT的语言模型:

数据 = 数据来自文本csvLMYPATH 分词器() 达塔芬克=LMX数据
学习 = RNNLearner.语言模型数据 滴水多糖=零点三
    培训前姓名=('LSTMUWT103' “ITOSHIWT103”
学习.冻结()
学习.菲季诺夫循环 1e-2级 妈妈=零点八零点七))
学习.解冻()
学习.菲季诺夫循环10个 1 e - 3 妈妈=零点八零点七 PCTSK启动=零点二五

引擎盖下-火焰v1

法赛的一个关键组成部分是法赛所提供的非凡基础手枪,第1版(预览版)今天也将发布。Fastai并不是替代和隐藏pytorch的API的东西,但它的设计是为了扩展和增强它。例如,您可以通过简单地创建执行标准pytorch张量操作的函数来创建新的数据扩充方法;以下是Fastai的全部定义抖动功能:

定义 抖动C 大小 震级制服):
    返回 C.((火炬.兰德式C-零点五*震级*2

作为另一个例子,Fastai使用并扩展了Pythoch的简洁而富有表现力的数据集和数据加载器类来访问数据。当我们想增加对图像分割问题的支持时,它与定义这个标准的pytorch数据集类一样简单:

 匹配的文件数据集DatasetBase):
    定义 爱因斯坦自己 X收藏(路径], Y收藏(路径))
        断言 伦恩X=伦恩Y
        自己.X自己.Y = NP.数组XNP.数组Y
    定义 第二章自己 ):
        返回 OpenX图像自己.X( 开放式口罩自己.Y(

这意味着,当实践者想要深入研究他们的模型时,数据,以及培训方法,他们可以充分利用整个pytorch生态系统的丰富性。多亏了皮托尔的活力,程序员可以使用标准的Python工具轻松地调试他们的模型。在许多深度学习领域,PyTorch是研究人员发表研究成果的最常见平台;Fastai使测试这些新方法变得简单。

引擎盖下-法泰

在接下来的几个月里,我们将发表学术论文和博客文章,介绍Fastai图书馆的关键部分,同时发布一个新的课程,引导学生了解图书馆是如何从零开始发展的。让你尝尝,我们将在这里接触一些有趣的片段,专注于计算机视觉。

我们最关心的是速度。manbetx官网手机登录这就是我们在斯坦福大学竞争的原因达文宾奇为快速准确的模型培训而竞争,我们(连同我们的合作者)在每一个领域都取得了第一名。如果您想匹配我们的顶级单台机器CIFAR-10结果,它简单到四行代码:

TFMS = ([衬垫衬垫=4 作物大小=32 行百分比= 科勒克特=
    菲利普尔=零点五 [])
数据 = 来自图像文件夹的数据“数据/CIFAR10” 有效的=“测试”
    DSTFFMS=TFMS TFMS=西法尔范数
学习 = 学习者数据 WRNY22() 韵律学=精确.ToFFP16()
学习.菲季诺夫循环二十五 西部大开发=零点四

很多魔法都埋在下面发送至“FP16”()方法调用。在幕后,我们跟踪所有Nvidia的混合精度训练建议.据我们所知,没有任何一个库能够如此简单地利用Nvidia的最新技术,与以前的方法相比,这种方法的性能提高了两到三倍。

我们关心的另一件事是准确性。manbetx官网手机登录我们希望您的模型不仅能在培训数据上发挥作用,但新的测试数据也是如此。因此,我们从头开始建立了一个全新的计算机视觉库,使开发和使用数据扩充方法变得容易,以提高模型对未公开数据的性能。新的库使用一种新的方法来最小化数据所经历的有损转换的数量。例如,请看下面三张图片:

fastai转换示例
fastai转换示例

左边是来自CIFAR-10数据集的原始低分辨率图像。中间是使用标准的深度学习增强库缩放和旋转此图像的结果。右边是相同的缩放和旋转,使用Fastai v1。正如你所看到的,有了法赛,细节保存得更好;例如,看一看飞行员的窗口在右侧图像中比中间图像要脆得多。这种对数据扩充应用方式的改变意味着使用fastai的从业者可以比其他库的用户使用更多的扩充,从而产生更通用的模型。

这些数据扩充甚至可以自动处理非图像数据,如边界框。例如,以下是Fastai如何处理图像检测数据集的示例,通过所有增强自动跟踪每个边界框:

转换边界框数据
转换边界框数据

在Fastai库中可以找到这些深思熟虑的特性。在接下来的几个月里,我们将对他们中的许多人进行深度潜水,对于那些对fastai是如何在幕后实现的细节感兴趣的人来说。

谢谢!

非常感谢Pythort团队。没有PyTorch,这些都不可能。多亏了亚马逊的网络服务,谁赞助了Fast.人工智能的manbetx登陆第一位常驻研究员,西尔文·古格,他为Fastai v1的开发做出了很大贡献。也要感谢Fast.ai的校友Fmanbetx登陆red Monroe,肖家迪,和斯塔斯贝克曼,他们都做出了重大贡献,到雅罗斯拉夫布拉托夫,他是我们最近的Dawnbench项目的关键贡献者,致Viacheslav Kovalevskyi,谁负责谷歌云集成,当然也要感谢所有帮助社区和软件取得成功的学生和合作者。

m.1manbetx

今天我们将推出最新(也是最大的!)课程,编码器机器学习导论.课程,在旧金山大学被记录为数据科学硕士课程,涵盖了现代机器学习最重要的实践基础。有12节课,每节课大约有两个小时——所有课程的清单以及每节课的截图都在这篇文章的末尾。他们都是我教的(杰里米·霍华德);我已经学习和使用机器学习超过25年了,从我作为分析专家开始我的职业生涯麦肯锡公司,一直到我担任卡格勒以及昏迷的.

已经有一些优秀的机器学习课程,最值得注意的是Coursera课程来自Andrew Ng。但这门课现在正显示出它的年龄,特别是因为它使用matlab进行课程作业。这门新课程使用现代工具和图书馆,包括蟒蛇,熊猫,SCIKIT学习,和火炬。与该领域的许多教育材料不同,我们的方法是“代码优先”而不是“数学优先”。它非常适合每天编写代码的人,但是也许他们的数学练习没有那么频繁(尽管我们在适当的时候会涵盖所有必要的理论)。也许最重要的是,这门课非常固执己见的-而不是对每种模型进行全面的调查,我们关注那些在实践中真正重要的东西。

包括两种主要类型的模型:决策树基于模型(尤其是袋装决策树的“森林”),和梯度下降基于模型(尤其是逻辑回归及其变量)。决策树模型构建类似这样的结构(实际上,您通常会使用更大的树):

(以上例子来自教授编程语言实现模式格罗弗王子太棒了树可视化技术探讨,用他的新animl可视化图书馆.特伦斯和我目前正在写一本基于本课程材料的书,和预览可用第一章。所以如果你更像一个书本学习者而不是视频学习者,一定要遵循这一点!)

决策树方法非常灵活,易于使用,合奏时(使用装袋助推)是许多实际任务的最新技术。然而,他们很难根据训练之外的数据进行推断,对于像图像这样的数据类型不太准确,音频,以及自然语言。这些问题通常最好用梯度下降方法,我们将在课程的下半部分讨论其中最重要的部分,用一个简单的深度学习神经网络结束。(如果您已经学习了我们的编码员实践深度学习课程,在这里你会有一些概念上的重叠,但教学方式却完全不同。)

您将学习如何从头开始创建完整的决策树林实现,写下你的深度学习模型,从头开始训练。一路上,你会学到很多重要的数据准备技巧,模型测试,以及产品开发(包括特定于数据产品的道德问题)。

以下是每节课的简要概述,以及一个示例屏幕截图(您将在课程地点):

第1课-随机森林简介

第1课将向您展示如何创建“Random Forest™”(可能是最广泛应用的机器学习模型),以创建“Bull Book for推土机”Kaggle竞赛的解决方案,这将使你进入领导委员会的前25%。您将学习如何使用Jupyter笔记本来构建和分析模型,如何下载数据,以及在实践中开始机器学习所需的其他基本技能。

第2课-随机森林潜水

今天我们从学习度量标准开始,manbetx官网手机登录损失函数,以及(也许是最重要的机器学习概念)过拟合。我们讨论使用验证和测试集来帮助我们测量过拟合。

然后我们将学习随机森林是如何工作的-首先,通过观察组成它们的树木,然后通过学习“装袋”,manbetx官网手机登录这是一个简单的技巧,让一个随机的森林比任何一棵树都更准确。下一步,我们看看随机森林支持的一些有用的技巧,使它们更快,更准确。

第三课-表演,验证和模型解释

今天我们将看到如何读取一个更大的数据集——一个甚至可能不适合您机器上的RAM的数据集!我们还将学习如何为该数据集创建随机林。我们还讨论了“分析”的软件工程概念,学习如何在代码不够快的情况下加快速度-尤其对这些大数据集有用。

下一步,我们深入研究验证集,讨论什么是一个好的验证集,我们使用讨论为这个新数据选择一个验证集。

在本课的后半部分,我们看一下“模型解释”,这是使用模型更好地理解数据的关键技能。今天的重点解释是“功能重要性图”,这可能是最有用的模型解释技术。

第4课-功能重要性,树解释程序

今天我们深入探讨了功能的重要性,包括使你的重要计划更具信息性的方法,如何使用它们来修剪您的功能空间,以及使用“树木图”来理解特征关系。

在本课的后半部分,我们将学习另外两种非常重要的解释技巧:部分相关图,manbetx官网手机登录以及“树解释器”。

第5课-外推和从头开始的射频

在今天的课程中,我们首先学习更多关于“树解释器”的内容,manbetx官网手机登录包括使用“瀑布图”来分析它们的输出。下一步,我们研究外推法这个微妙但重要的问题。这是随机森林的弱点——它们无法预测输入数据范围之外的值。我们研究识别问题发生时间的方法,以及如何处理。

在本课的后半部分,我们从头开始写我们自己的随机森林!

第6课-数据产品

在今天课的前半部分,我们将学习如何使用机器学习模型创建“数据产品”。manbetx官网手机登录基于“传动系方法”,尤其是模型解释是这一方法的重要组成部分。

下一步,我们将更深入地探讨外推问题,使用实时编码方法-我们还将借此机会学习一些简便的麻木技巧。

第7课-随机森林

今天我们将完成我们的“从头开始”随机森林解释!我们还将简要介绍令人惊叹的“cython”库,您可以使用它来获得与C代码相同的速度,而只需对python代码进行最小的更改。

然后我们将开始我们旅程的下一个阶段-基于梯度下降的方法,如逻辑回归和神经网络…

第8课-梯度下降和逻辑回归

今天我们开始下半年的课程-我们将从基于决策树的方法,如随机森林,以梯度下降为基础的方法,如深度学习。

我们在这段旅程中的第一步将是使用pytorch帮助我们从头开始实施逻辑回归。我们将为手写数字的经典mnist数据集构建一个模型。

第9课-正规化,学习率和NLP

今天我们继续从头开始构建逻辑回归,我们还添加了最重要的特性:正则化。我们将学习l1和l2正则manbetx官网手机登录化,以及如何实现它们。我们还将进一步讨论学习率如何工作,manbetx官网手机登录以及如何为您的问题选择一个。

在下半场,我们开始讨论自然语言处理(NLP)。我们将构建一个流行的IMDB文本数据集的“单词包”表示,使用稀疏矩阵以确保良好的性能和合理的内存使用。我们将从中构建许多模型,包括朴素贝叶斯和逻辑回归,并将通过添加NGRAM特性来改进这些模型。

第十课-更多的NLP,和列数据

在今天的课程中,我们将结合naive bayes和logistic回归的优点,进一步开发我们的NLP模型,创建混合“NB-SVM”模型,这是文本分类的一个很强的基线。要做到这一点,我们将创建一个新的神经网络模块在Pytorch上课,看看它在幕后做了什么。

在本课的后半部分,我们将开始使用深度学习来研究表格和关系数据,通过查看“Rossmann”Kaggle竞争数据集。今天,我们将从这个有趣的数据集中开始特性工程路径。我们来看看连续变量和分类变量,每种特征工程可以做什么,特别关注于对分类变量使用嵌入矩阵。

第11课-嵌入

今天,在回顾了朴素贝叶斯背后的数学之后,我们将深入研究嵌入——这两种方法都用于表格数据中的分类变量,和NLP中的单词一样。

第12课-完成罗斯曼,伦理问题

在今天课的前半部分,我们将把所学的全部内容放在一起,为Rossmann数据集创建一个完整的模型,包括分类特征和连续特征,并对所有列进行仔细的特性工程。

在课程的下半部分,我们将研究在实施机器学习模型时出现的一些伦理问题。我们会明白为什么他们对从业者很重要,以及思考它们的方式。manbetx官网手机登录许多学生告诉我们,他们发现这是课程中最重要的部分!

杰里米的笔记我要去教书编码员的深度学习十月份开始在旧金山大学学习;如果你至少有一年的编码经验,你可以应用于此.

manbetx20客户端下载

我最新的Ask-a-Data-Scientist博文受到一位计算机科学学生的启发,他在信中就如何从事与人工智能社会影响相关的政策制定工作征求意见。我意识到那里有很多很好的资源,我想在一个地方汇编所有链接的列表。

你可以找到我以前的这里是“询问数据科学家”建议专栏.

科技界的每个人都应该关注我们工作的伦理含义,并积极参与这些问题。manbetx官网手机登录这个人文学科社会科学在解决伦理问题方面具有极其重要的意义。虽然技术伦理学不是一个新领域(传统上它是在科学中研究的,技术,和社会(STS)或信息科学部门)。科技行业的许多人现在都意识到了这些问题,对这个话题的兴趣比以前大得多。

人工智能伦理的工作有多种形式,包括:创办科技公司和以伦理方式建设产品;倡导和争取更公正的法律和政策;试图追究坏人的责任;和研究,写作,在野外教学。我在这篇文章的其余部分中加入了许多链接,以获取更多的资源,以及一些具体的建议。不要被这些清单的长度淹没!这篇文章的目的是作为一种资源,您可以根据需要重新引用:

对于一些人工智能伦理问题的概述,我鼓励你看看我最近关于这个话题的派贝主题演讲。通过一系列的案例研究,无论是负的还是正的,我反驳了4种关于技术的误解,这些误解通常会导致人身伤害manbetx官网手机登录,以及提供一些更健康的原则:

提高你的技术技能

对于任何对人工智能的社会影响感兴趣的人,我建议你提高机器学习的技术知识。即使你不打算做程序员或者深度学习的实践者,了解这项技术的工作原理和使用方法是很有帮助的。我鼓励每一个对人工智能伦理和政策感兴趣的人去学习Python并参加编码员实用深度学习课程(唯一的先决条件是有一年的编码经验)。

启动阅读组

凯西-菲斯勒,加州大学博尔德分校信息科学教授,创建了一个众包电子表格200多门技术伦理课程并链接到其中许多人的音节。即使你的大学不提供技术伦理课程,我鼓励你成立一个俱乐部,阅读小组,或者是学生主导的技术伦理课程,这些教学大纲可以成为你自己创造的有用资源。

对于那些不是大学生的人,考虑在你的工作场所成立一个技术伦理阅读小组(可能每周会有一次午餐会,每周讨论不同的阅读),或者在你的城市开一个技术伦理会议。

10名人工智能伦理专家跟随

以下是10位研究人员,他们在人工智能伦理方面的工作令我钦佩,我推荐他们跟随他们。他们都有许多伟大的文章/谈话等,虽然我只是把每个链接到一个上让你开始:

学院和奖学金

下面的研究所都提供了一系列参与的方法,包括收听他们的播客和视频(无论你在世界的哪个地方)。参加现场活动,或者申请实习和奖学金来资助你在这方面的工作:

  • 哈佛大学伯克曼克莱恩中心互联网与社会是一个研究中心,致力于将来自世界各地的人们聚集在一起,以应对互联网带来的最大挑战。他们的节目包括奖学金计划实习,和装配,一个为期4个月的技术人员项目,经理们,以及政策制定者应对与人工智能伦理和治理相关的新出现的问题。

  • 数据与社会是纽约市达纳博伊德创办的一家非营利研究机构。他们有一年的时间奖学金计划向数据科学家和工程师开放,律师和图书馆员,民族志学家和创造者,历史学家和活动家。

  • 人工智能研究所由凯特·克劳福德和梅雷迪斯·惠特克创立,住在纽约大学。他们关注四个领域:权利和自由,劳动和自动化,偏见和包容性,以及安全和关键基础设施。

  • 乔治敦隐私和技术法律中心是一个专注于隐私和监视法律和政策及其影响的社区的智囊团。他们的研究包括永久排队manbetx官网手机登录关于美国警方对面部识别技术的不规范使用。

  • 民主数据是一个由志愿者组成的非营利组织,参与过各种项目,包括与Propublica的几次合作。

  • Mozilla媒体奖学金为如何应对健康互联网面临的新威胁和挑战提供新的思路。相关项目已寻求解决两极分化问题,大规模监视,以及错误的信息。

  • 骑士基金会(新闻焦点)基金项目,包括人工智能伦理倡议,支持数字时代的自由表达和新闻卓越。他们支持了一些与处理虚假信息有关的项目。

  • 眼珠子住院(对于艺术家)为那些通过艺术与技术和社会相结合的创作提供奖学金。之前的项目包括开源教育初创公司LittleBits(2009年)和第一个女权主义者维基百科编辑a-thon(2013年)。

创造你自己

如果你想要的东西还不存在于世界上,您可能需要创建自己的组,组织,非营利组织,或启动。Timnit Gebru计算机视觉研究员,是一个很好的榜样。博士。格布鲁描述她的经历作为一个黑人妇女参加少量的酒(人工智能大会)2016年,我去了尼普斯,有人说大约有8500人。我数了六个黑人。我真的很害怕。这是我唯一能描述我感觉的方式。我看到这个领域呈指数增长,进入主流;它影响着社会的各个方面。博士。格布接着发现AI黑人,一个由黑人人工智能研究人员组成的庞大而活跃的网络,导致了新的研究合作,邀请会员参加会议和演讲,甚至是谷歌人工智能决定在阿克拉建立研究中心的一个因素,加纳。

相关fast.amanbetx登陆i链接

在FAmanbetx登陆ST AI,我们经常写和谈论道德,manbetx官网手机登录以及在我们的深度学习课程中包含这个主题。以下是您可能感兴趣的几个帖子:

下面是我们就这个主题所做的一些讨论:

技术的伦理影响是一个巨大而相关的领域,还有很多工作要做。

manbetx2.0 app

我最新的一篇问答数据科学家的文章讨论了是否攻读博士学位的问题。你可以找到我以前的这里是“询问数据科学家”建议专栏.

问题:我是一个对机器学习充满热情的本科生,manbetx官网手机登录我觉得有点压力要拿到博士学位。进入工业界几年,然后考虑重返学校,这是否更有意义?如果您有任何建议,我们将不胜感激。

关于是否要攻读博士学位的讨论经常遭受选择偏差:考虑博士学位的人向有博士学位的成功人士征求他们的建议。在另一边,很多人在没有博士学位的情况下从事着引人入胜的前沿工作,在这个问题上,很少有人向他们征求意见。其他重要因素,比如研究生抑郁率过高,或者读博士的机会成本过高,很少讨论。作为一个数学博士,我很遗憾花了这么多年时间专注于狭隘的领域,同时忽略了许多其他重要的技能。一旦我加入劳动力市场,我觉得我在追赶许多关键的技能和经验!

了解机会成本

我严重低估了在工业界工作能学到多少东西。我相信,保持学习的最好方法是留在学术界,我对攻读博士学位的机会成本没有很好的把握。我的本科经历很神奇,我一直都很擅长,也很喜欢上学。为了上学而得到报酬的想法听起来是个甜头!

就像我写的manbetx官网手机登录在这里,后来我意识到我传统的学业成绩实际上是一个弱点,当我学会了如何解决问题的时候,但我不知道如何自己发现和发现有趣的问题。我认为对于许多优秀的学生(我以前的自我包括在内),获得博士学位就像是一个“安全”的选择:这是一个明确的途径去做一些有声望的事情.但这可能只是推迟许多必要的个人里程碑的一种方式:学习定义和设置自己的目标,使之脱离结构化的学术体系,更深入地与自己的内在动机和价值观联系起来。

当时,我觉得我在博士期间学到了很多东西:上高级课程,阅读论文,进行研究,经常做演讲,在我的领域组织两次会议,协调学生管理的研究生课程,在我系担任研究生选举代表,写论文。事后诸葛亮,所有这些都是技能范围更窄我意识到,其中许多技能不可转让比我希望的要多。例如,学术写作与我通过博客写作的方式有很大的不同(读者范围更广!),对学术政治的理解与创业政治有很大的不同,因为结构和激励是如此不同。

你应该攻读博士学位吗?Wocintech聊天室的照片
你应该攻读博士学位吗?Wocintech聊天室的照片

我完成了博士学位,并在27岁左右开始了我的第一份全职成人工作(注:我是通过研究生院的各种研究和教学奖学金获得津贴的,但那是不同的。)我有很多要学习的行业工作和我的实际技能的主要差距。manbetx官网手机登录尽管在高中学习了2年的C++课程,大学时辅修CS,在我的数学博士期间做一些编程项目,我专注于计算机科学的理论部分,缺乏许多实际的计算机技能。相反,我的fmanbetx登陆ast.ai联合创始人杰里米·霍华德在18岁时开始了他的第一份全职成人工作,当时他是麦肯锡的顾问。和在我第一次进入劳动力市场的时候,杰里米已经全职工作了近十年,建立了两个至今仍在运作的初创公司。.在我攻读博士学位的时候,我本可以学到很多其他在科技领域工作的东西。

说清楚,生活不是一场赛跑。你可以切换到技术在任何年龄学习新技能。科技产业是老年人,年轻创始人的荣耀是有害的神话.然而,我再也不会有20出头的精力了(我吃得很健康,举起重物,优先考虑睡眠,但我感觉不一样,我后悔把时间和精力花在痛苦上,却过于专注于一个狭窄的领域,而忽略了许多其他技能。

你不需要博士学位

就在我头顶上,我想到了下面的人没有博士学位的人谁在做有趣的事,深度学习方面的前沿工作(此列表不完整,而且还有大量其他工作):

  • 克里斯·欧拉,酒馆联合编辑,富有洞察力的可视化的创造者,谷歌Brain研究员(无大学学历)
  • 杰里米·霍华德,Fast.ai联合创始人,manbetx登陆Enlitic创始人(第一家将深度学习应用于医学的初创企业)前一位“卡格尔”和“卡格尔”总统,Fastmail和最佳决策小组创始人
  • 戴维哈,创造者草图RNN涂鸦,谷歌大脑研究人员
  • 污秽,以前的Salesforce/Metamind研究员,发明者AWD-LSTM,创业创始人
  • 沃顿,Google Brain和TensorFlow Mobile技术主管的研究工程师,Jetpac的创始人(被谷歌收购)O'Reilly电子书作者“使用TensorFlow构建移动应用程序”
  • 格雷戈布罗克曼,首席技术官兼Openai联合创始人,领导DOTA的工作(没有大学学位)
  • 凯瑟琳·奥尔森,谷歌大脑研究工程师,曾帮助建立Openai健身房
  • 莎拉胡克,谷歌大脑研究人员致力于解释和模型压缩,优秀非盈利三角洲分析数据的创始人
  • 丹尼布里茨,以前是谷歌的智囊团成员,在伯克利工作过Spark,博客在WildML
  • 海伦娜沙林,深度学习研究者创造创新艺术品
  • 西尔文古格,manbetx登陆很快。艾未未的第一个研究员,做过研究manbet2.0手机版
  • 玛丽亚瑶,Metamaven首席技术官,TopBots的主编,应用人工智能的作者,杜克队在DARPA大挑战赛中获得第二名
  • 戴瓦克依拉吉,首席执行官兼联合创始人启动拥挤将人工智能应用于卫星图像,之前在谷歌工作过地图和安卓系统。
  • 钟鸣,Vertex.ai(被英特尔收购)的首席执行官兼联合创始人,创造了普拉米德在任何设备上快速轻松地部署深度学习
  • 布瑞恩手镯,凯洛斯计算机视觉初创公司创始人兼首席执行官,拿令人钦佩的立场禁止执法人员使用面部识别

在我所有的工作中,包括一对技术上“需要”博士学位的夫妇,我有没有研究生学位的队友。没有博士学位的队友往往比我们那些有博士学位的队友更有效率和帮助(也许是因为他们有更多的实践经验)。

当然,有很多有博士学位的人他们做了令人着迷和有价值的工作,如纳拉亚南斯威妮蒂姆尼特吉布鲁穆斯塔帕·西塞扬恩多芬沙基尔·穆罕默德莱斯利-史密斯艾琳·莱德尔安德列弗洛姆,以及其他。我非常钦佩我列出的每一个人,而我认为博士学位既没用也没用。

抑郁,隔离,研究生心理健康问题

67%的研究生说他们去年至少有一次感到绝望;54%的人感到非常沮丧,难以正常工作;近10%的人说他们考虑过自杀,2004年的一项调查发现。相比之下,据估计,9.5%的美国成年人在一年内患有抑郁症,据美国国家心理健康研究所称, 根据研究关于加州大学伯克利分校的学生。

Wocintech聊天室的照片
Wocintech聊天室的照片

对很多人来说,研究生院并不是所有的乐趣和个人充实。它可能涉及到贫困水平的工资,不确定的就业条件,监理人提出的相互矛盾的要求,不相关的研究项目,以及终身教职员工和本科生的不尊重待遇(他们都有行为,常常,作为管理层和客户),研究生院是一个充满信心的,每天都在攻击轻微的堕落行为。所有这些都是因为害怕一切都是白白的;你是个有用的傻瓜, 一位教授写道在高等教育史上,在一篇关于人文学科学生的文章中,manbetx官网手机登录但也适用于许多STEM学生。我几乎不认识在过去十年里是研究生的任何人,他们都没有深受其害。因为我在这个网站上的专栏,有几个人告诉我,他们的研究生学年与长期的自杀意念是如何吻合的。更常见的是研究生患有未经治疗的慢性疾病,如体重波动,疲劳,头痛,胃痛,紧张,酗酒。

尽管性别歧视和骚扰导致了我在研究生院的负面经历,我的许多男同学也很痛苦,由于隔离,欺负,或是教授的侮辱性待遇,以自我为主导的剥削制度,严格的等级制度,对声望的迷恋。作者之一综合报告美国国家科学院表示,“科学家把严谨和批评等同于残忍。”

学术界的性别歧视和种族主义

在科学方面,工程,和医学,在20%-50%的女学生和50%以上的女教师经历过骚扰,根据A国家科学院报告.在采访60名有色人种女性从事STEM研究,他们中100%经历过歧视,他们所面对的负面刻板印象因种族而异。

对于来自代表性不足的群体的人来说,凭证可能更重要,他经常面对更高级别的审查由于无意识偏见(尤其是自学的时候)。虽然代表人数不足的少数民族可能需要更多的证件,不幸的是,由于高等教育中的性别歧视和种族歧视,他们还可能面临更恶劣的环境,试图获得这些证书。我没有答案,但想注意到紧张的气氛。

派珀哈龙一个在普林斯顿获得数学博士学位的黑人妇女,写了一篇文章在她的论文,受人尊敬的研究数学是由具有一定态度的人主导的。即使考虑到个别差异,仍然有一种压迫的倾向,它得到了那些认为它有助于成功的人的认真维护甚至支持。像其他优秀的研究生一样,我试着适应,数学上的。我全神贯注于气氛,对心有一种态度。我很痛苦,在失败的边缘。问题不是个人,但是一个自我保护的系统,从外面看,感觉像是一连串背叛,一些大的,一些小的,你唯一的支持系统。

有害的研究生院比其他有害的工作更糟糕

我认为我在研究生院的时间是我所处的两个最有毒的环境.而大部分我给的建议处理有毒工作也适用于有毒研究生院,有一个关键区别:太多了,转换研究生课程比转换工作要困难得多.这使得学生和教授之间的权力差异远大于技术行业中员工和老板之间的权力差异(这意味着存在更大的滥用或剥削的可能性)。

我认识换过顾问甚至换过节目的人,是的,这会让你倒退几年.然而,成本(精神和身体健康方面,以及机会成本)留在有毒项目中的成本非常高,我认识那些从研究生院康复多年的人。如果你是持有学生签证的移民,并且必须考虑签证/居住问题,这就变得更加复杂了。对于有毒的研究生院环境,没有一个简单的解决方案。

高等教育正在改变

唯一需要博士学位的情况是成为一名教授。然而,高等教育正在发生很大的变化:转向更多的副职,这个博士生产量过剩,美国严重削减研究经费预算,越来越多的学校下岗 终身教授,不得不对一系列的博士后重复重大的行动,以及大学生之间不可持续的学生贷款债务水平。我不确定高等教育的未来,但我认为这将不同于过去(这在我改变职业目标中起到了重要作用)。

现在,当我听到本科生(包括我年轻时的自己)说他们肯定想成为教授时,我感到怀疑,因为直接从本科生身上学习很难理解当前职业选择的广度和深度,即使他们有一些实习或兼职工作。也,在那一点上,许多学生主要被教授和学生包围。

编码训练营和像coursera这样的mooc直到我进入我的技术转型,但两者都是有用的,对教育产生了巨大的影响。我接受并受益于许多在线课程,如果他们在10年或15年前就存在的话,我会从编码训练营中获益。在过去的几年里,我曾在一个现场训练营做过讲师,也是Fast.a i的Moocs的联合创始人。manbetx登陆其中包括编码员的实用深度学习manbetx .我已经看到了这些新的教育形式在做得好的时候是多么的强大和有用(那里也有很多无用或简陋的训练营和驼鹿,做你的研究)。

进一步阅读/观看

您可能对我以前的一些帖子和有关主题的讨论感兴趣:

当考虑攻读博士学位时,必须仔细权衡机会成本和风险,同时考虑到各种人的经验:那些没有博士学位就成功的人,很多人在研究生院学习经历不好,以及那些成功遵循传统学术道路的人。

为编码员提供实用的深度学习,兼职多样性研究金,秋季2018

在FAmanbetx登陆ST AI,我们希望尽我们的职责,增加深度学习的多样性,降低不必要的障碍,让每个人都能进入。我们为更新后的兼职人员提供多样化的奖学金,对编码人员的实际深入学习课程与旧金山大学数据研究所,每周提供一晚,为期7周,启动10月22日,在旧金山市中心。女人,有色人种,LGBTQ人,残疾人,和/或退伍军人有资格申请。

申请截止日期为9月17日2018年.有关如何应用的详细信息,和常见问题解答,在这篇文章的结尾。

深度学习的力量

深入学习有很大的潜力。它正被fast.ai的学生和老师用来manbetx登陆诊断癌症停止砍伐濒危雨林,提供更好印度农民的农作物保险(否则必须从暴徒那里获得掠夺性贷款,这导致了高自杀率)。帮助巴基斯坦的乌尔都语使用者,开发可穿戴设备帕金森病患者,还有更多。深入学习可以解决全球医生短缺,提供更准确的医学诊断,改善能源效率提高农场产量,减少杀虫剂的使用.

然而,也有很大的潜在危害。我们很担心manbetx官网手机登录不道德地使用数据科学,以及社会manbetx官网手机登录的方式种族和性别偏见这里总结)正在被编码到我们的机器学习系统中。我们担心manbetx.com 正在构建影响每个人的技术。人们无法解决他们不知道的问题,有了更多不同的从业者,将解决各种各样的重要社会问题。

我们想让尽可能多的人深入学习,来自尽可能多的不同背景。不同背景的人有不同的问题他们感兴趣解决。传统的方法是从人工智能专家开始,然后给他们一个问题去解决;快啊,manbetx登陆我们要的是知识渊博,充满激情manbetx官网手机登录关于他们正在解决的问题,我们将教会他们所需要的深刻知识。

虽然有些人担心更多的人接触人工智能会有风险;我认为恰恰相反。我们已经看到精英和排他性公司所造成的伤害,例如脸谱网真知晶球,和YouTube /谷歌.让更多背景的人参与进来可以帮助我们解决这些问题。

fastmanbetx登陆.ai方法

我们开始的很快。manbetx登陆通过实验:看看我们能不能教编码员深入学习,没有高中数学以外的数学先决条件,让他们在7周内达到最先进的结果。这与其他深度学习材料非常不同,其中许多人都有研究生水平的数学背景,注重理论,只处理玩具问题,甚至不包括实用的提示。我们甚至不知道我们的尝试是否可能,但是Fast.amanbetx登陆i课程取得了巨大的成功!

manbetx登陆fast.ai学生已被精英谷歌大脑住院医师,上市公司,赢得了活动,,发明了一种新的欺诈检测算法,有在HBO电视节目“硅谷”上的专题报道,更多,所有这些都是从一门只有一年编码经验的课程开始的。

在边缘和麻省理工学院技术manbetx登陆评论中对fast.ai的报道
在边缘和麻省理工学院技术manbetx登陆评论中对fast.ai的报道

manbetx登陆fast.ai不仅仅是一种教育资源;我们还进行了前沿研究,取得了最先进的成果。我们的胜利(和)在这里)在斯坦福大学的Dawnbench竞赛中,与来自Google和Intel的资金更雄厚的团队的竞争被包括在麻省理工科技评论边缘.杰里米与塞巴斯蒂安·鲁德尔的合作6种语言分类数据集的最新进展已被acl接受并由openai建立。所有这些研究都纳入了我们的课程,教学生最先进的技术。

如何申请

深度学习第1部分介绍了深度学习在图像识别中的应用,推荐系统,情绪分析,以及时间序列预测。想知道你是否合格?唯一的要求是:

  • 至少1年的编程经验(该课程以python语言授课)
  • 每周至少8小时提交课程(包括家庭作业时间)
  • 好奇心和努力工作的意愿
  • 作为一个女人,有色人种,LGBTQ人,残疾人,和/或老兵
  • 可在旧金山市中心(6月30日至下午9点)亲自参加,每周一晚(找到确切的时间表在这里详细情况下,一周中的某一天各不相同)

我们能够提供的奖学金数量取决于我们获得的资金(如果您的组织能够赞助一个或多个地方,请告诉我们)。申请奖学金,你需要提交一份简历和目的声明。目的声明将包括以下内容:

  • 1段描述一个或多个你想应用深度学习的问题
  • 1段描述以前的机器学习教育或经验(例如manbetx登陆fast.ai课程,Coursera去皮,人工智能,…)
  • 在索引组下,您是(性别,比赛,性身份,退伍军人)

多样性奖学金申请应在此处提交。https://gradapply.usfca.edu/register/di_证书

如果你有任何问题,请发电子邮件网址:datainstitute@usfca.edu.

申请截止日期为9月17日。2018。

常见问题解答

我没有资格获得多样性奖学金,但我仍然感兴趣。我可以修这门课吗?绝对!你可以此处注册.

我不住在旧金山湾地区;我可以远程参与吗?对!再一次,我们将提供远程国际奖学金.在接下来的几周里,在博客上发布详细信息,敬请期待。

这门课程稍后会在网上提供吗?对,本课程稍后将免费在线提供。参加当面课程的好处包括提前进入,社区和当面交流,以及更多的结构(对于那些在参加在线课程时难以获得动力的人)。

fasmanbetx登陆t.ai是否能够赞助签证或提供生活费补贴?不,我们既不能担保签证,也不能支付生活费。

这门课程与之前的fast.ai课程有何不同?manbetx登陆我们在fast.ai的目manbetx登陆标是推动最先进的技术。每年,我们要深入学习越来越直观给予时使用较好的结果.与我们的法泰图书馆,我们正在击败自己去年的最先进成果。今年的课程将与我们发布的最新版本的fastai库(建立在pytorch之上)同步。

这门课教什么语言?这门课是用巨蟒教的,使用fastai库和pytorch。我们的一些学生在财富500强公司继续使用Fastai图书馆进行生产。