ce)等。
尽管相关的团队在积极研究自动评价方法,在现今评估自动文本摘要质量的两种方法(人工评价方法和自动评价方法)还是以人工评价方法这个评估方法最为常用。
很多自动评价方法的原理主要是将摘要算法生成的新闻摘要和参考摘要进行比较通过最大拟合程度来进行评价。
这个评价的过程虽然是自动的,但参考摘要却是人工撰写的。
也就是说即便是所谓的自动评价方法,也摆脱不了主观因素的介入。
那样的话何苦多费一遍功夫用什么自动评价方法?
也正因为如此很多团队在评估摘要质量时选择的方式依旧是人工评估。
而人工评估这种主观东西就很难对结果进行客观的量化。
正因为这种情况,尽管之前不少团队摘要算法准确度都还算不错。
但涉及到新闻摘要准确度方面的宣传,大家都选择性的遗忘了。
就这种情况下,为什么南风APP的开发者在软件介绍中却言之凿凿地称这款软件准确度比同类软件高出270%。
这个所谓的270%究竟是基于什么标准去衡量的呢?一时之间伊芙·卡莉陷入了沉思。
无论这个270%是怎么得出来的,想来应该不是无中生有。
在别的国家的软件宣传是什么规矩伊芙不清楚,但是在米国如果没有一个逻辑自洽的衡量模型作为理论支撑就贸然进行这种无中生有的量化宣传的话,很容易被罚的底裤都不剩。
即南风APP这个所谓的“270%”大概率是建立在足够强大并且能够逻辑自洽的准确度衡量模型的基础之上的。
不过也不好说,每年为了博眼球而不顾宣传规矩的开发者比比皆是。
出于严谨的科研态度,伊芙·卡莉以【文本摘要准确度衡量模型】为关键词进行了检索。
在检索结果中伊芙·卡莉一眼就看到了混杂在一众模型之中的有一个新出现的准确度衡量模型。
没办法,很难注意不到,以往的十多个对文本摘要准确度进行衡量的模型,伊芙·卡莉说是如数家珍也不为过。
现在这个名为“LH文本摘要准确度衡量模型”伊芙·卡莉之前就从来没见过。
大致看了一下这个模型采用的准确度衡量方法。
伊芙意外的发现通过这种全新的准确度衡量模型,评估人员不需要引入任何主观因素介入到摘要准确度的评估的过程中。
正因为没有主观因素的介入,这个准确度评估方法完全可以对现有的全部文本摘要算法的摘要准确度进行量化分析。
这个衡量模型还演示了几个使用范例。
在尼克雅虎新闻摘要那个软件里的算法经该模型衡量之后,准确度分数居然只有1分。
而南风APP则获得了3.7分的分数。
看到这个结果,伊芙明白了南风APP所谓的摘要准确度领先270%是怎么来的了。
看来这个LH文本摘要准确度衡量模型一定也是南风APP的开发者搞定的了。
即便不是南风APP开发者搞定的,两者之间应该也有某种联系。
不然这个模型的衡量结果怎么会同南风APP的软件宣传的数据出现高度的同质化。
不得不说,这个名为LH的全新的衡量准确度的方式让伊芙·卡莉有种豁然开朗的感觉。
通过利用该衡量模型,他们今后的研究也会更顺畅一些。
不过让伊芙·卡莉比较意外的是“LH文本摘要准确度衡量模型”并不是以论文的形式单独出现的,
而是出现在一个名为“生成式文本摘要算法”的专利中。
在专利中出现的衡量模型?无疑意味着即便这个模型很高效,但在实际使用时理论上还是要得到专利所有者的授权。
这也太狗了吧?哪有把这种模型往专利里放的道理。
而且只是一个算法有必要申请专利吗?
尽管伊芙·卡莉他们之前的算法很强大,但是他们也并没有申请专利。
不过对此伊芙也没什么好说的。
他们之所以不申请算法专利不是因为他们大公无私。
而是因为他们之前的算法只是在前人的基础上改进,并不具备完全的独创性。
另外申请专利多多少少都会涉及到一定程度的技术公开。
虽然专利申请者可以不公布全部的细节,但即便是不公布细节,也需要把技术路线说明。
在知道技术路线的情况下,世界上顶尖的研发团队也不是吃素的。
虽然不能按照专利里阐述的技术路线开发出一个一模一样的算法明着侵权。
但是通过专利里公开的技术路线受到的思维启发却很容易让别的相似技术弯道超车。
事实上也正因为担心技术路线泄露的问题,这些年在米国很少出现专门的算法专利。
额