<meta http-equiv="Content-Type" content="text/html; charset=GB18030"><div><span style="font-family: "lucida Grande", Verdana; font-size: small;">Hi Adapters,</span></div><div><span style="font-family: "lucida Grande", Verdana; font-size: small;"><br></span></div><div><font face="lucida Grande, Verdana" size="2">For most of the NLG tasks, human evaluations are considered as the gold standard. But as the models become more and more  capable of generating fluent utterances, how well can human judges detect the and judge machine-generated text? </font></div><div><font face="lucida Grande, Verdana" size="2"><br></font></div><div><font face="lucida Grande, Verdana" size="2">In this talk, I'll introduce the paper named All That¡¯s ¡®Human¡¯ Is Not Gold: Evaluating Human Evaluation of Generated Text, which is one of the outstanding papers </font><span style="font-family: "lucida Grande", Verdana; font-size: small;">accepted by ACL2021. Following the intention of the author, we are going to discuss the following two questions: </span></div><div><span style="font-family: "lucida Grande", Verdana; font-size: small;"><br></span></div><div><span style="font-family: "lucida Grande", Verdana; font-size: small;">1. </span><font face="lucida Grande, Verdana" size="2">How well can untrained evaluators identify machine-generated text?</font></div><div><font face="lucida Grande, Verdana" size="2">2. Can we train evaluators to better identify machine-generated text?</font></div><div><br></div><div>After, we will think about what can we do to improve human judgement currently.</div><div><br></div><div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;">Hope you enjoy it!</font></div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;"><br></font></div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;">Time: October 13th at 4pm</font></div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;">Venue: SEIEE 3-414</font></div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;"><br></font></div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;">Best,</font></div><div style="font-family: "lucida Grande", Verdana;"><font size="2" style="line-height: 22.1px;">Ruolan</font></div></div>