Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

投稿《心理学的危机》 #715

Merged
merged 19 commits into from Sep 29, 2017

Conversation

Projects
None yet
7 participants
@tcya
Copy link
Contributor

commented Sep 3, 2017

hi,不知道你们是怎么处理图片caption的,我用的是这个方法https://stackoverflow.com/a/30366422

投稿《心理学的危机》
不知道你们是怎么处理图片caption的,我才用的是这个方法https://stackoverflow.com/a/30366422。
@XiangyunHuang

This comment has been minimized.

Copy link
Member

commented Sep 3, 2017

@tcya 看到这个抛硬币的实验,有种亲切感,本科上数理统计的时候,老师让我们回去抛硬币,还说把正反面记录下来,把结果告诉他,他要看看我们是不是真的抛了

@@ -0,0 +1,375 @@
---
layout: post

This comment has been minimized.

Copy link
@yihui

yihui Sep 3, 2017

Member

去掉 layout 这一行。

@yihui yihui added the 文章 label Sep 3, 2017

@yihui

This comment has been minimized.

Copy link
Member

commented Sep 3, 2017

@PuddingNnn 来来,找人审稿吧。

@tcya

This comment has been minimized.

Copy link
Contributor Author

commented Sep 3, 2017

@Cloud2016 ,哈哈让我想到Andrew Gelman的这篇文章,其实不存在不公平的硬币http://www.stat.columbia.edu/~gelman/research/published/diceRev2.pdf

@XueningZhu

This comment has been minimized.

Copy link
Contributor

commented Sep 3, 2017

我改主意了 看起来 @Cloud2016 比较合适,麻烦湘云审稿哈

@XueningZhu XueningZhu requested a review from XiangyunHuang Sep 4, 2017

@XiangyunHuang

This comment has been minimized.

Copy link
Member

commented Sep 4, 2017

@PuddingNnn 主编大人,我对抛硬币及其相关的概率统计部分感兴趣,尤其有段绕口令,至于心理学部分,还希望有个人来把关,我是个门外汉。

@tcya 看到近50篇的英文参考文献,也是真强!

最后,这周我会先仔细审一遍


NBA总决赛刚结束不久,今年最幸福的肯定就是勇士球迷了。宇宙勇的球迷一定很关心一个东西,因为它决定着你看到的是海啸组合还是铁花兄弟——它就是手感。

但是。。手感这东西真的存在吗?

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

两个句号改为逗号


但是。。手感这东西真的存在吗?

你肯定会说这问题怎么这么蠢,打过球的谁没有篮筐大的像海洋的时候?别急。。让我先介绍下这问题的背景。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

这句话似乎值得斟酌,太拗口,能感觉篮筐很大,应该是投篮技术很好的人,是肯定的语气,而前面“这问题怎么这么蠢”是否定的

两个句号改为逗号,手感和后面的背景衔接太突兀,手感和鸽子实验的关系不清楚


## 缘起

n年以前,斯金纳在一系列经典的鸽子实验中展示了如何通过强化学习让鸽子学会各种习惯,比如下面的[视频](https://v.qq.com/x/page/k01302xpfz3.html)展示了斯金纳是怎么在一分钟内把鸽子调教到会原地转圈的。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

这个强化学习和最近很火的深度学习中的强化学习有关吗?是一回事吗?
我猜可能是心理学用语,为通俗起见,应该注释说明一下

This comment has been minimized.

Copy link
@tcya

tcya Sep 7, 2017

Author Contributor

强化学习最早就是心理学里用的,深度学习借用了这个词,有点类似但也不一样。我个人不认为需要注释,因为二者的使用语境差太多,不会搞混的,至少这里应该不会有人误解成深度学习里的那个。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

这里的强化学习和条件反射有关吗?看鸽子的实验,感觉是只要不断培养,它就能做出很规律的动作

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

这个强化学习就是 Reinforcement Learning 吗?


<iframe frameborder="0" src="https://v.qq.com/iframe/player.html?vid=k01302xpfz3&amp;tiny=0&amp;auto=0" allowfullscreen=""></iframe>

但斯金纳的手段远不止此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

少了个 “于”字


<iframe frameborder="0" src="https://v.qq.com/iframe/player.html?vid=k01302xpfz3&amp;tiny=0&amp;auto=0" allowfullscreen=""></iframe>

但斯金纳的手段远不止此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

”有的“ 构成的排比句,顿号都改成逗号,因为这里都是小短句


<iframe frameborder="0" src="https://v.qq.com/iframe/player.html?vid=k01302xpfz3&amp;tiny=0&amp;auto=0" allowfullscreen=""></iframe>

但斯金纳的手段远不止此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

“这些行为也很好解释”,这里要么解释一下,要不把这句话删掉

This comment has been minimized.

Copy link
@tcya

tcya Sep 7, 2017

Author Contributor

后面紧接着就是解释啊。


<iframe frameborder="0" src="https://v.qq.com/iframe/player.html?vid=k01302xpfz3&amp;tiny=0&amp;auto=0" allowfullscreen=""></iframe>

但斯金纳的手段远不止此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

”……最终鸽子就这样学会个各种奇奇怪怪的动作“
省略号改为逗号,“就这样”放在前面,改为“就这样,鸽子最终学会了奇奇怪怪的动作”


<iframe frameborder="0" src="https://v.qq.com/iframe/player.html?vid=k01302xpfz3&amp;tiny=0&amp;auto=0" allowfullscreen=""></iframe>

但斯金纳的手段远不止此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

”斯金纳把这称之为“ 这和之重复,“之”删掉


但斯金纳的手段远不止此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

你说鸽子笨嘛,脑袋那么小,难怪容易迷信。那请你想想赌场里赌徒们千奇百怪的禁忌、想想星座、想想本命年的红内裤……我们这个物种的许多成员表现又好到哪里去呢?事实上我们和鸽子一样,非常擅长从随机中看出“规律”([Apophenia](https://en.wikipedia.org/wiki/Apophenia))——如果不是更擅长的话[<span style="vertical-align: super">2-5</span>](#herbranson2010birds)。iTunes早期的随机播放是完全随机的,结果收到用户投诉,说咋这么不随机?乔布斯不得不[采用](http://itindex.net/detail/21634-ipod-%E4%BA%A7%E5%93%81-%E9%9A%8F%E6%9C%BA)了更复杂、完全不随机的算法,才让用户满意。用乔布斯自己的话说:“We’ve actually added Smart Shuffle to make it less random. But it seems more random,”

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 7, 2017

Member

顿号改逗号,省略号改顿号,后面一句改为”这样来看,我们当中的有些人又能好到哪去呢?“

“事实上” 改为”其实“,后面跟逗号

”如果不是更擅长的话“ 这里突然句号,貌似这句话还没完

这里乔布斯的意思是,使用了Smart Shuffle 让 iTunes 减弱随机性(理性的算法),但实际上,用户却觉得更随机了(感性的认识)。这个算法并不是造出了真的随机序列,只是理论上通过了许多统计学家设定的检验程序而已,理论上看起来是随机的序列。


<iframe frameborder="0" src="https://v.qq.com/iframe/player.html?vid=k01302xpfz3&amp;tiny=0&amp;auto=0" allowfullscreen=""></iframe>

但斯金纳的手段远不止于此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member
[<span style="vertical-align: super">1</span>](#skinner1992superstition)

换成这个

[<sup>1</sup>](#skinner1992superstition)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

下面一堆的都可以按照这个改。用文本编辑器 ctrl+F 正则替换一下吧。


但斯金纳的手段远不止于此,通过改变不同的强化方式,他发现了一个有趣的现象。假如你在鸽子做出某个动作后让食物掉出来,那鸽子很快就会学会这个动作,就像上面学会原地转圈那样;如果鸽子不管做什么你都不放食物出来,那鸽子很快就啥都不做了。这些都很合理,但当你放出食物的时机与鸽子的动作毫无关系时(比如固定每隔20秒掉食物),那鸽子会展现出各种奇怪的强化行为——有的会不断地逆时针转圈、有的会向左边扭一下头再去看有没有吃的、有的会使劲地晃动脑袋……这些行为也很好解释,当鸽子做出某个动作时食物碰巧掉出来了,鸽子就会认为它一定做对了什么,从而重复这个动作,而过一会食物果然又掉出来了……最终鸽子就这样学会个各种奇奇怪怪的动作,斯金纳把这称之为“鸽子的迷信”[<span style="vertical-align: super">1</span>](#skinner1992superstition)。

你说鸽子笨嘛,脑袋那么小,难怪容易迷信。那请你想想赌场里赌徒们千奇百怪的禁忌、想想星座、想想本命年的红内裤……我们这个物种的许多成员表现又好到哪里去呢?事实上我们和鸽子一样,非常擅长从随机中看出“规律”([Apophenia](https://en.wikipedia.org/wiki/Apophenia))——如果不是更擅长的话[<span style="vertical-align: super">2-5</span>](#herbranson2010birds)。iTunes早期的随机播放是完全随机的,结果收到用户投诉,说咋这么不随机?乔布斯不得不[采用](http://itindex.net/detail/21634-ipod-%E4%BA%A7%E5%93%81-%E9%9A%8F%E6%9C%BA)了更复杂、完全不随机的算法,才让用户满意。用乔布斯自己的话说:“We’ve actually added Smart Shuffle to make it less random. But it seems more random,”

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

乔布斯那句话的标点符号

@@ -0,0 +1,374 @@
---
title: "心理学的危机"
date: 2017-08-30

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

date 请和文件名保持一致。。。

date: 2017-08-30
author: "杨洵默"
categories: []
tags: []

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

至少包括:

心理学
统计模型
统计计算


GVT只不过是这几年科学可重复性危机的冰山一角,在心理学领域大量重复失败的研究里[<span style="vertical-align: super">11</span>](#open2015estimating),GVT的论文质量算是比较好的了。我再随便举两个出了问题的研究:

* 哈佛美女教授Amy Cuddy在TED上的著名演讲,认为强势的身体动作(power pose)可以助你成功。这个演讲在TED上观看次数超过四千两百万,是历史第二多,当时在社交网站上也掀起了一波"Fake it until you make it"的鸡汤潮。结果不仅没重复出来,原论文的另一个作者还直接在网上写了一封[公开信](http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf),声称观点已变,现在认为power pose效应不存在了,建议其他研究者别再浪费时间。![](http://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/power_pose.png)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

演讲要不要加上链接?

此外,图片链接请加上 https(安全)并且添加上短描述(方便盲人阅读)。

![power pose](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/power_pose.png)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

强烈建议再次全文替换,把 raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images 的图片都变成 https


## 统计困局

_There are three kinds of lies: lies, damned lies, and statistics._ - Benjamin Disraeli

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

使用 markdown 的引用符号

> There are...
p值带来了[太多的误解](https://en.wikipedia.org/wiki/Misunderstandings_of_p-values)[<span style="vertical-align: super">15</span>](#greenland2016statistical),连美国统计学会都少见的出来说了几句[<span style="vertical-align: super">16</span>](#wasserstein2016asa),这里是几点主要的。

### [Confusion of the inverse](https://en.wikipedia.org/wiki/Confusion_of_the_inverse)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

是不是四级标题?因为上文说了“这里是几点主要的”


这里我们根本不关心骰子出现这种结果的概率有多大,我们关心的是太阳爆炸的概率有多大。虽然这二者是成正比的,但比例系数(先验概率)可大可小(这里太阳爆炸的先验概率就很小),所以从前者常常推不出太多关于后者的信息,而我们又极度地渴望后者,结果就是p值总是被误用和误读,当它难得被正确使用时,它却是在[回答错误的问题](http://www.guokr.com/article/441820/)。

### The garden of forking paths[<span style="vertical-align: super">17</span>](#gelman2013garden)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

是不是四级标题?因为上文说了“这里是几点主要的”

![](http://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/all_poss_p.png)
*一项研究发现单身女性在排卵期内会更有可能投票给奥巴马,相反,处于排卵期的非单身女性更愿意投给罗姆尼,变化值超过十个百分点[<span style="vertical-align: super">22</span>](#durante2013fluctuating),这背后当然也有一套进化理论啦,但让我们来看下数据处理上可能的自由度吧:大姨妈后的第几天到第几天算排卵期?那些大姨妈不规律的样本要不要排除掉?如果调查对象对上次大姨妈的时间不够确定,要排除掉吗?多不确定才排除?怎么样算非单身?处于暧昧期的算吗?一垒呢?二垒呢?三垒呢?四垒呢?五垒呢?……[Andrew Gelman](http://themonkeycage.org/2013/05/more-on-those-psychological-science-papers-menstrual-cycles-and-political-attitudes-biceps-size-and-political-attitudes/)认为整个数据至少有168种完全合理的处理方式,然后他把168个置信区间全[算了一遍](https://youtu.be/fc1hkFC2c1E?t=2633),得到上图,蓝线对应的是论文[<span style="vertical-align: super">22</span>](#durante2013fluctuating)实际采用的分析方法。*


This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

多余空行可以删除


## “手热迷思”迷思

第一个转折来自于对GVT论文效力的研究:假如我用电脑模拟手热效应存在的投篮数据,然后用GVT的方法去分析,你猜怎么着?大多数情况下是检测不出手热的[<span style="vertical-align: super">7</span>](#korb2003story)。也就是说不管手热存不存在,他们的方法都检测不出来——统计效力不足。这一下就推翻了GVT的大部分论证。不过这只说明了他们的方法不对,结论也许碰巧还是对的呢?

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

这里说的是 power 统计量是吧?据我所知中文翻译不一定一致(“效用”?)可以用英文注明一下

This comment has been minimized.

Copy link
@yihui

yihui Sep 7, 2017

Member

我上学的时候 power 的翻译是功效。


![](http://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/Satoshi_Kanazawa.png)

他还合著过一本书,书名也很简单粗暴,叫<[Why Beautiful People Have More Daughters](https://book.douban.com/subject/2351927/)>([中译本](https://book.douban.com/subject/4913068/)叫《生猛的进化心理学》)。我对政治不正确的研究没有任何意见——如果不是喜闻乐见的话,但是你的方法得靠谱啊。Kanazawa的研究充满了各种统计错误[<span style="vertical-align: super">24,30,31,32</span>](#gelman2014beyond),我们以上图最后一篇论文为例,他分析了[Add Health数据集](http://www.cpc.unc.edu/projects/addhealth),这是最大、最综合的关于青少年的长期追踪数据集,从人们还是青少年时开始追踪,四次回访,记录了这些人的许多信息,其中两个与这里的话题有关,一是这些人的孩子的性别,二是调查人员会对被采访者的外貌打分,从最丑到最美共有五档。Kanazawa选取了第三次回访中有孩子的人(2972个)进行了分析,他发现最美的一档生女孩的可能性比其他人高8个百分点(56% vs 48%),p < 0.05,所以,beautiful parents have more daughters。首先这里存在明显的多重比较问题,第一档和其他档比显著了,和最丑的一档、倒数第二档比怎么反而都不显著了呢?为什么不把最美的两档和剩下的三档比,假如这么比显著的话Kanazawa会不提吗?……这里更好的办法显然是对外貌和出生性别建模,弄个回归方程啥的,而不是进行假设检验。不过即使那样也是毫无意义的,为什么呢?因为,你觉得2972个样本在这里效力够吗?

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

英文的书名用引号或者斜体表示


首先,在效力不足的情况下,得到的p值会很不稳定(p dancing[<span style="vertical-align: super">23</span>](#cumming2014new)),不显著还好,要是碰巧显著了,恭喜你,你又为学术共同体贡献了一个虚假发现。

![](http://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/p_dancing.png)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

方便的话(电脑还有存档的话),把代码文字弄出来,截图只包含生成的图像?


其次,如果你在效力不足时得到了显著性,你很有可能会严重高估效应值,甚至连符号都可能是错的,这被称作<del>抖</del>S(ign)和M(agnitude)型错误[<span style="vertical-align: super">24</span>](#gelman2014beyond)。<del>[S怎么也能算错误](https://zh.moegirl.org/zh-hans/%E7%94%B7%E4%BA%BA%E5%8F%98%E6%80%81%E6%9C%89%E4%BB%80%E4%B9%88%E9%94%99)</del>

![](http://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/type_M_error.png)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

方便的话(电脑还有存档的话),把代码文字弄出来,截图只包含生成的图像?


[Satoshi Kanazawa](https://en.wikipedia.org/wiki/Satoshi_Kanazawa)是伦敦政经的进化心理学家,他热衷于扩展[Trivers–Willard假说](https://en.wikipedia.org/wiki/Trivers%E2%80%93Willard_hypothesis),所以论文题目看起来常常是这样的,

![](http://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/Satoshi_Kanazawa.png)

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

加上图片描述


为了避免让你产生这届心理学家不行的误解,我们来做个测试。

[Satoshi Kanazawa](https://en.wikipedia.org/wiki/Satoshi_Kanazawa)是伦敦政经的进化心理学家,他热衷于扩展[Trivers–Willard假说](https://en.wikipedia.org/wiki/Trivers%E2%80%93Willard_hypothesis),所以论文题目看起来常常是这样的,

This comment has been minimized.

Copy link
@fyears

fyears Sep 7, 2017

Member

加上链接

[Satoshi Kanazawa](https://en.wikipedia.org/wiki/Satoshi_Kanazawa)是伦敦政经的进化心理学家,他热衷于扩展[Trivers–Willard假说](https://en.wikipedia.org/wiki/Trivers%E2%80%93Willard_hypothesis),所以论文题目看起来常常是[这样的](https://scholar.google.com/scholar?hl=en&q=Satoshi+Kanazawa+has+more+sons),
你说鸽子笨嘛,脑袋那么小,难怪容易迷信。那请你想想赌场里赌徒们千奇百怪的禁忌、想想星座、想想本命年的红内裤……我们这个物种的许多成员又好到哪里去呢?事实上我们和鸽子一样,非常擅长从随机中看出“规律”([Apophenia](https://en.wikipedia.org/wiki/Apophenia))——如果不是更擅长的话[<sup>2-5</sup>](#herbranson2010birds)。iTunes早期的随机播放是完全随机的,结果收到用户投诉,说咋这么不随机?乔布斯不得不[采用](http://itindex.net/detail/21634-ipod-%E4%BA%A7%E5%93%81-%E9%9A%8F%E6%9C%BA)了更复杂、完全不随机的算法,才让用户满意。用乔布斯自己的话说:“We’ve actually added Smart Shuffle to make it less random. But it seems more random.”

这种根深蒂固的本能自然有着进化上的道理,在一个没规律的地方看出规律你可能也就多晃几下脑袋,但假如食物真的是因为晃脑袋掉出来的你却没发现,那你就得饿死了。既然错过规律比找错规律代价要大得多,那我们肯定宁愿多找出些“规律”。这种认知偏见自然没有逃过心理学家的眼睛,于是有一天几个心理学家琢磨着:“人们认为的手热会不会也是纯粹的随机现象呢?”

This comment has been minimized.

Copy link
@XueningZhu

XueningZhu Sep 10, 2017

Contributor

读到这里有点凌乱 前面只提到了“手感” 手热不知道是啥意思 能否简单解释一下

This comment has been minimized.

Copy link
@tcya

tcya Sep 10, 2017

Author Contributor

这应该是完全不看球的妹子吧😓,我得照顾一下,改成这样可以吗?

| 序列 | HX的次数 | HH的次数 | HH的概率 |
|--------------|----------|----------|----------|
| HHH | 2 | 2 | 1 |
| HHT | 2 | 1 | 0.5 |

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 11, 2017

Member
  1. 这个例子不是太好理解,包括后面的绕口令(后面一堆理论暂且让我这样叫吧),乍一看真不明白。

  2. 我的直觉一下子也跟不上,直到这几个模拟实验做完才明白。所以我建议作者能不能用图,比如咱们这个交流过程。看几个图比看一大段文字理解起来要快,即使统计理论部分没弄明白,通过图来记忆结论也是更好一些。

GVT只不过是这几年科学可重复性危机的冰山一角,在心理学领域大量重复失败的研究里[<sup>11</sup>](#open2015estimating),GVT的论文质量算是比较好的了。我再随便举两个出了问题的研究:

* 哈佛美女教授Amy Cuddy在TED上的[著名演讲](https://www.ted.com/talks/amy_cuddy_your_body_language_shapes_who_you_are?language=zh-cn),认为强势的身体动作(power pose)可以助你成功。这个演讲在TED上观看次数超过四千两百万,是历史第二多,当时在社交网站上也掀起了一波"Fake it until you make it"的鸡汤潮。结果不仅没重复出来,原论文的另一个作者还直接在网上写了一封[公开信](http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf),声称观点已变,现在认为power pose效应不存在了,建议其他研究者别再浪费时间。![Amy Cuddy在TED的演讲](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/power_pose.png)
* 社会启动效应(social priming)。这个领域发端于John Bargh1996年的研究[<sup>12</sup>](#bargh1996automaticity),他们让学生从五个词里挑四个出来造句,一组学生拿到的是普通词,另一组拿到的是与老年相关的词汇,比如健忘、秃顶、满脸皱纹、佛罗里达,实验完后他们告诉学生穿过大厅去另一个地方做下一组实验,但他们关心的其实既不是造句也不是下一个实验,而是学生穿过走廊的速度,他们发现那些被老年相关词汇启动(prime)了的学生比另一组慢了将近一秒。这个惊人的结果启发了大量后续研究,十几年来整个领域欣欣向荣,Bargh的原论文已被引用了四千多次。人们发现啥都能拿来prime,比如让你描述一个严厉教授的样子你考试就能[考得更好](http://blogs.discovermagazine.com/neuroskeptic/2016/10/13/social-priming-works-after-all/#.WW2hzdPyvdQ),考卷字迹模糊也能让你[考得更好](http://weibo.com/p/1001603935981584676451)……卡尼曼在《思考:快与慢》里举了整整一章的例子,我们来稍微感受一下, ![《思考:快与慢》中关于社会启动效应的论述1](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/social_priming_1.png) ![《思考:快与慢》中关于社会启动效应的论述2](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/social_priming_2.png) ![《思考:快与慢》中关于社会启动效应的论述3](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/social_priming_3.png) 请注意卡尼曼最后的结论,“你别无选择”、“你必须承认”……好吧,现在Bargh的最初实验和其他许多实验都[没能重复出来](http://www.guokr.com/article/436704/),整个领域风雨飘摇。Bargh前几年没憋住还[发了通火](http://blogs.discovermagazine.com/notrocketscience/2012/03/10/failed-replication-bargh-psychology-study-doyen/),又引来更多非议。这里有[一篇](https://rolfzwaan.blogspot.com/2013/09/how-to-cook-up-your-own-social-priming.html)手把手教你做social priming研究的文章,辛辣搞笑,推荐阅读。当然我不是说这领域一定就全错了,毕竟我也不是专业人士,我只是觉得怎么看我应该都还是[有点选择](http://andrewgelman.com/2014/09/03/disagree-alan-turing-daniel-kahneman-regarding-strength-statistical-evidence/)的。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 11, 2017

Member

这个地方太长,反而有偏离主题“心理学危机”,另外从别的文献直接粘贴一章也不合适,虽然启动效应介绍及其后由于难以重复导致的危机是个呼应主题的例子。

### The Earth Is Round (p < .05) [<sup>13</sup>](#Cohen1993)

p值——以及更一般的,整个假设检验范式,在这次危机中起了核心作用。越来越多人知道这套范式不好,但大多数人还没意识到它到底有多糟,对此,备受尊敬的前美国心理学会会长保罗·米尔(Paul Meehl)是这么说的[<sup>14</sup>](#meehl1978theoretical),

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 11, 2017

Member

保罗·米尔并没有说P值不好,他认为仅仅把驳斥(拒绝)零假设(refuting the null hypothesis)作为标准的方法去证实实质性的理论是不对的,因为假设检验只能有一部分的定性结论,P值也没有在危机中推波助澜,(那些大面积误用,最后把危机的根源推给P值,把自己撇干净真可耻),这套范式也没有不好,使用不当才后果严重,大多数的人在误解,或者说朝着自己希望的方向去解释,误用,P值和假设检验这套理论只能得出拒绝零假设(零假设是错的)和不能拒绝零假设(没有足够的证据拒绝零假设)的结论,没有任何拒绝零假设就是接受备择假设的说法,也没有接受零假设的说法,更没有说证实原假设。


现在来说下作为外人怎么消化这次危机吧。因为心理学的软科学性质,心理学家中最优秀的那一撮对方法论其实思考颇多(比如Meehl),所以他们对危机的到来早有准备,我们来看看大卫·巴斯在《[进化心理学](https://book.douban.com/subject/2143904/)》里为大家打的预防针。

![大卫·巴斯的《进化心理学》中对拉卡托斯科学哲学的论述1](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/lakatosian_1.png) ![大卫·巴斯的《进化心理学》中对拉卡托斯科学哲学的论述2](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/lakatosian_2.png) ![大卫·巴斯的《进化心理学》中对拉卡托斯科学哲学的论述3](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/lakatosian_3.png) ![大卫·巴斯的《进化心理学》中对拉卡托斯科学哲学的论述4](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/lakatosian_4.png)

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 12, 2017

Member

正确地应对 这一段中贴的原文图片直接放在文章中不合适,也太长了,建议把大卫·巴斯为大家打的预防针这一块用自己的语言概括一下。


# 参考文献

就我所见,对此次危机的统计方面讨论得最透彻的是Andrew Gelman,他的[博客](http://andrewgelman.com/)和文章是个不错的起点。假如你对更一般的方法论和科学哲学感兴趣,那Paul Meehl是[绕不过去](http://www.psychwiki.com/wiki/Meehl,_P._E._(1978)._Theoretical_risks_and_tabular_asterisks:_Sir_karl,_sir_ronald,_and_the_slow_progress_of_soft_psychology._Journal_of_Consulting_and_Clinical_Psychology,_46(4),_806-834.)的。

This comment has been minimized.

Copy link
@XiangyunHuang

XiangyunHuang Sep 13, 2017

Member

这里我理解是你的心得小结,建议写的更详实一些,算是对文章的总结,也为不了解《心理学危机》的人,给个总体的印象。

参考文献写在小结后面,要分开来

This comment has been minimized.

Copy link
@tcya

tcya Sep 13, 2017

Author Contributor

这段并不是summary,只是对参考文献的简单导读(我没谈危机的任何问题,而是说推荐哪些文章),不妨把它看成极简版的annotated bibliography,所以我觉得放在参考文献里是合适的。然后加summary似乎没什么必要,因为文章最后一部分的话题已经完全发散出去了,这时候再跳回来总结一堆统计话题显得奇怪而生硬。这不是学术论文,所以这种地方我觉得就没必要坚持这种细节上的形式了吧,更何况学术论文现在形式都丰富很多了,然后顺便搭车推荐一下梅达沃爵士对科学论文形式主义的批评。。

@XueningZhu

This comment has been minimized.

Copy link
Contributor

commented Sep 25, 2017

@Cloud2016 求Xiangyun审阅 是否可以定稿哈
另外不知道你是否使用微信,我可否把你拉进统计之都编辑部群

@tcya

This comment has been minimized.

Copy link
Contributor Author

commented Sep 25, 2017

@XiangyunHuang

This comment has been minimized.

Copy link
Member

commented Sep 26, 2017

@PuddingNnn 我经常用微信的,微信号是 Sophorae,
@tcya 对这篇文章,我内容上没什么意见了,为美观起见,有下面两点形式上的建议,也许纯属个人偏见。

  1. 抽屉效应 / 发表偏见 一节有一个截图《别闹了,费曼先生》,这一段不妨摘抄下来,为了和其他文本区别,可以楷体,并注明选自《别闹了,费曼先生》,如果楷体不了可以先用latex排好,出来的pdf文件另存为png,使得嵌入文本很自然。
  2. 正确的应对 一节有一个截图,图2.1 进化分析的水平,截图效果看起来不美观,极有可能是书籍很老的缘故,能不能自己画下这个图,然后注明出处。
@tcya

This comment has been minimized.

Copy link
Contributor Author

commented Sep 26, 2017

我让八卦群里上周来的心理学胡传鹏博士再审下稿,等他发表意见了我们在发。

@hcp4715
Copy link

left a comment

我之前的评论


* 哈佛美女教授Amy Cuddy在TED上的[著名演讲](https://www.ted.com/talks/amy_cuddy_your_body_language_shapes_who_you_are?language=zh-cn),认为强势的身体动作(power pose)可以助你成功。这个演讲在TED上观看次数超过四千两百万,是历史第二多,当时在社交网站上也掀起了一波"Fake it until you make it"的鸡汤潮。结果不仅没重复出来,原论文的另一个作者还直接在网上写了一封[公开信](http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf),声称观点已变,现在认为power pose效应不存在了,建议其他研究者别再浪费时间。![Amy Cuddy在TED的演讲](https://raw.githubusercontent.com/tcya/tcya.github.io/master/assets/images/power_pose.png)
*   社会启动效应(social priming)。这个领域发端于John Bargh1996年的研究[<sup>12</sup>](#bargh1996automaticity),他们让学生从五个词里挑四个出来造句,一组学生拿到的是普通词,另一组拿到的是与老年相关的词汇,比如健忘、秃顶、满脸皱纹、佛罗里达,实验完后他们告诉学生穿过大厅去另一个地方做下一组实验,但他们关心的其实既不是造句也不是下一个实验,而是学生穿过走廊的速度,他们发现那些被老年相关词汇启动(prime)了的学生比另一组慢了将近一秒。这个惊人的结果启发了大量后续研究,十几年来整个领域欣欣向荣,Bargh的原论文已被引用了四千多次。人们发现啥都能拿来prime,比如让你描述一个严厉教授的样子你考试就能[考得更好](http://blogs.discovermagazine.com/neuroskeptic/2016/10/13/social-priming-works-after-all/#.WW2hzdPyvdQ),考卷字迹模糊也能让你[考得更好](http://weibo.com/p/1001603935981584676451)……卡尼曼在《思考:快与慢》里举了整整一章各种惊人的例子,最后得出结论,

This comment has been minimized.

Copy link
@hcp4715

hcp4715 Sep 26, 2017

Professor priming 这个不一定是严厉的教授,原来的研究中是指让参加实验的假想自己是一个教授或者足球流氓,然后做的测试是类似“冷知识测试”之类的东西,就让志愿者回答一系列非常极少有人关心的事实性的问题(比如世界第三高峰是哪一座),不是考试。最近APS正在重复这实验,数据已经收完了。但报告还没有写出来(这个网页:http://www.psychologicalscience.org/publications/replication/ongoing-projects 中的Dijksterhuis & van Knippenberg (1998)。
另外,关于卡尼曼的补充(貌似后面提到了):http://retractionwatch.com/2017/02/20/placed-much-faith-underpowered-studies-nobel-prize-winner-admits-mistakes/。

“你别无选择”、“你必须承认”……好吧,现在Bargh的最初实验和其他许多实验都[没能重复出来](http://www.guokr.com/article/436704/),整个领域风雨飘摇。Bargh前几年没憋住还[发了通火](http://blogs.discovermagazine.com/notrocketscience/2012/03/10/failed-replication-bargh-psychology-study-doyen/),又引来更多非议。这里有[一篇](https://rolfzwaan.blogspot.com/2013/09/how-to-cook-up-your-own-social-priming.html)手把手教你做social priming研究的文章,辛辣搞笑,推荐阅读。当然我不是说这领域一定就全错了,毕竟我也不是专业人士,我只是觉得怎么看我应该都还是[有点选择](http://andrewgelman.com/2014/09/03/disagree-alan-turing-daniel-kahneman-regarding-strength-statistical-evidence/)的。

所以心理学到底是怎么落到这步田地的呢?

This comment has been minimized.

Copy link
@hcp4715

hcp4715 Sep 26, 2017

作为心理学的人表示,其实心理学不是重复率最低的,但是自我反省最强的。可以看Gelman的一个评论:http://andrewgelman.com/2016/09/22/why-is-the-scientific-replication-crisis-centered-on-psychology/;
这个文章好像关注的人不多:Begley, C. G., & Ellis, L. M. (2012). Drug development: Raise standards for preclinical cancer research. Nature, 483(7391), 531–533. doi:10.1038/483531a 。
另外,最近Center for Open Science还在搞一个重复项目,最近也有一部分结果放出来了,也比较惨淡:https://elifesciences.org/collections/9b1e83d1/reproducibility-project-cancer-biology

> I believe that the almost universal reliance on merely refuting the null hypothesis as the standard method for corroborating substantive theories in the soft areas is a terrible mistake, is basically unsound, poor scientific strategy, and one of the worst things that ever happened in the history of psychology.
人们对p值有着[太多的误解](https://en.wikipedia.org/wiki/Misunderstandings_of_p-values)[<sup>15</sup>](#greenland2016statistical),连美国统计学会都少见的出来说了几句[<sup>16</sup>](#wasserstein2016asa),这里是几点主要的。

This comment has been minimized.

Copy link
@hcp4715

hcp4715 Sep 26, 2017

关于对p值的误解,心理学中有一些实证的数据(见下面的参考文献)。当然我们正在国内进行的一个大调查 ;-)。昨天跟人谈起这个问题。大家开玩笑说,心理学的很效应无法重复,但是心理学研究对p值理解的错误率很高这个结果却一再被重复 ;-(

Gigerenzer, G. (2004). Mindless statistics. The Journal of Socio-Economics, 33(5), 587–606. doi:10.1016/j.socec.2004.09.033
Haller, H., & Krauss, S. (2002). Misinterpretations of significance: a problem students share with their teachers. Methods of Psychological Research Online, 7(1), 1–20. Retrieved from https://www.metheval.uni-jena.de/lehre/0405-ws/evaluationuebung/haller.pdf
胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, & 彭凯平. (2016). 心理学研究的可重复性问题:从危机到契机. 心理科学进展, 24(9), 1504–1518 doi:10.3724/SP.J.1042.2016.01504

另外,最近Nature human behaviour 上发表的redefine significant的文章,在twitter上持续争论,不知道是否有必要提一下?
https://www.nature.com/articles/s41562-017-0189-z
https://www.nature.com/articles/s41562-017-0224-0
https://psyarxiv.com/9s3y6

*真实效应值=1,可以看出即使效力=0.8估计值也普遍偏高。*

那现实中科学研究的效力如何呢?这几年有人评估了神经科学领域的研究,认为中位效力只有21%[<sup>26</sup>](#button2013power);经济学领域则不超过18%[<sup>27</sup>](#ioannidis2016power);Cohen在62年[评估](https://replicationindex.wordpress.com/2015/09/22/the-statistical-power-of-abnormal-social-psychological-research-a-revew-by-jacob-cohen/)了心理学界,认为如果研究的是小效应,当时的效力大概只有18%,中等效应的话有48%[<sup>28</sup>](#cohen1962statistical);二十几年后人们用Cohen的方法又研究了一遍,发现心理学研究效力不仅没有改善,还恶化了[<sup>29</sup>](#sedlmeier1989studies)。这些研究有的有争议,但即使最乐观的研究者大概也不会认为现在的平均效力超过0.5。其实早在1971年,后来的诺奖得主卡尼曼和他的好基友特沃斯基就注意到他们的同行常常严重高估实验的效力,仿照大数定律,他们把这种认为小样本也能很好地代表整体的倾向命名为小数定律[<sup>30</sup>](#tversky1971belief)。这种错误倾向有多难以克服呢?你只要再读一遍论文作者的名字就知道了。看到了吗?特沃斯基,他就是GVT里的那个T啊,连他都掉到自己发现的坑里去了。而卡尼曼也没好到哪去,几个月前刚刚有人[指出](https://replicationindex.wordpress.com/2017/02/02/reconstruction-of-a-train-wreck-how-priming-research-went-of-the-rails/)《思考:快与慢》中关于social priming的那一章是效力严重不足的……卡尼曼爽快地[承认](https://replicationindex.wordpress.com/2017/02/02/reconstruction-of-a-train-wreck-how-priming-research-went-of-the-rails/#comment-1454)了错误。

This comment has been minimized.

Copy link
@hcp4715

hcp4715 Sep 26, 2017

关于Button 2013这个文章,最近有一个反驳:Nord, C. L., Valton, V., Wood, J., & Roiser, J. P. (2017). Power-up: a reanalysis of ‘power failure’ in neuroscience using mixture modelling. The Journal of Neuroscience, 38(34), 8051-8061. doi:10.1523/jneurosci.3592-16.2017

#### 抽屉效应/发表偏见

理论上,抽屉效应指的是因为期刊喜欢发表新发现,所以一个没得到显著性的研究会被锁在抽屉里,没有机会发表,从而你在期刊上看到的都是正面结果。抽屉效应确实是发表偏见的结果,但我不同意很多人因此把二者混为一谈,进一步的区分是有意义的。现实中,心理学的发表偏见不仅仅是不发表没有得到显著性的论文,如果只是这样,那倒也还好,毕竟有着研究者自由度,躺在抽屉里的文章其实不会太多。糟糕的是它们还不喜欢发表重复实验。心理学家极少重复前人的实验[<sup>45</sup>](#makel2012replications),直接重复就更少了,他们偏好间接重复(conceptual replication),也就是把原始实验改来改去,理论上相符就好。这一恶习甚至连费曼都注意到了。

This comment has been minimized.

Copy link
@hcp4715

hcp4715 Sep 26, 2017

出版偏见是一个很大的问题,但是多以估计为主,但最近有一篇在science上的实证研究,可以看看,这是我写的介绍文:https://zhidao.baidu.com/daily/view?id=956。
另外,因为抽屉效应比较严重,所以心理学家现在搞了个网站:http://psychfiledrawer.org/。这里面也有很多有趣的结果。与这个网站相似的是另一个:http://curatescience.org/#,这个网站把关于某个研究的重复都收集起来,看看整体的效应到底有多强。

@hcp4715
Copy link

left a comment

今天又增加了一点点,供参考;-)

@tcya

This comment has been minimized.

Copy link
Contributor Author

commented Sep 26, 2017

谢谢,扫了下都是挺好的文献,我这几天读一下。

Update 2017-09-03-psychology-in-crisis.md
根据胡传鹏博士的意见作了修改
@tcya

This comment has been minimized.

Copy link
Contributor Author

commented Sep 27, 2017

感谢胡博士@hcp4715的修改意见,都是很不错的文献,我读了之后又做了些修改,如果您有空可以再看看。

@fyears

fyears approved these changes Sep 29, 2017

@taiyun

taiyun approved these changes Sep 29, 2017

@taiyun taiyun merged commit d67f002 into cosname:master Sep 29, 2017

1 check passed

deploy/netlify Deploy preview ready!
Details

taiyun added a commit that referenced this pull request Sep 29, 2017

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
You can’t perform that action at this time.