
<meta http-equiv="Content-Type" content="text/html; charset=GB18030"><div style="  ; ; "><font editorwarp__="1" style="line-height: 27.2px; display: inline; font-size: 16px; background-color: rgba(0, 0, 0, 0);">Hi Adapters,</font></div><div style=""><p class="MsoNormal" style="line-height: 23.8px;"><font editorwarp__="1" style=" display: inline; font-size: 16px ; ; ; ; ; ; ; ">This week, I’ll give a talk about a reference-free evaluation metric, Fill in the BLANC:

Human-free quality estimation

of document summaries.</font></p><p class="MsoNormal" style="  ; ; ; "><font editorwarp__="1" style=" display: inline; font-size: 16px ; ; ; ; ; ; ; ">BLANC is a new approach to the automatic estimation of document summary quality. Its goal is to measure the functional performance of a summary with an objective, reproducible, and fully automated method. Our approach achieves this by measuring the performance boost gained by a pretrained language model with access to a document summary while carrying out its language understanding task on the document’s text. We present evidence that BLANC scores have as good correlation with human evaluations as do the ROUGE family of summary quality measurements. And unlike ROUGE, the BLANC method does not require human-written reference summaries, allowing for fully human-free summary quality estimation. </font></p><p class="MsoNormal" style="  ; ; ; "><span lang="EN-US" style="font-size: 12pt;">Time: Wed 4:00pm</span></p><p class="MsoNormal" style="  ; ; ; "><span style="font-size: 12pt;">Venue: SEIEE 3-414</span></p></div><div style="  ; ; "><font editorwarp__="1" style="line-height: 27.2px; display: inline; font-size: 16px; background-color: rgba(0, 0, 0, 0);">Best,</font></div><font editorwarp__="1" style=" line-height: 27.2px ; ; ; "><div style="background-color: rgba(0, 0, 0, 0);">Yizhu</div></font>