首页 > 代码库 > 史上最全的搜索下拉提示用户交互研究——读《An Eye-tracking Study of User Interactions with Query Auto Completion》

史上最全的搜索下拉提示用户交互研究——读《An Eye-tracking Study of User Interactions with Query Auto Completion》

        搜索下拉提示(Query Auto Completion,简称QAC)现在几乎是每个搜索引擎必备的基本功能,作用是在用户在搜索框输入查询词的过程中,给用户展示一系列搜索查询query供用户选择,可以方便用户输入、缩短用户搜索时间、提高用户搜索体验。在这方面的研究已经有很多,如基于上下文、基于时间序列等预测query的热度、个性化排序等,但关于用户如何与搜索下拉提示(下文简称QAC)交互的研究目前还是一个空白。

        微软的Katja Hofmann前几天(11.3-11.7)刚刚填补了这一空白,她在CIKM 2014会议上发表了一篇paper——An Eye-tracking Study of User Interactions with Query Auto Completion,研究了用户与QAC的交互过程。通过眼睛定位技术,记录和分析了用户与QAC的交互,得出一系列有趣的结论。本文在阅读论文的基础上,简明扼要的提炼了论文的结论,总结了一点自己的启发。


有用的思路和结论
        1. 将用户的QAC交互过程分为:query examination、query formulation、task completion3个过程。query examination为用户查看QAC的过程,该过程中用户注意到有QAC的提示,并将注意力集中到QAC的结果。query formulation是用户使用QAC的过程,根据QAC提供的结果选择的过程。task completion是用户选择了QAC的结果后在搜索结果页面的行为,记录用户的搜索任务完成情况。

        2. 针对每个过程设计了一系列跟QAC相关的统计指标,以反映QAC的质量,具体指标如下:
        TFF记录用户敲键盘到将注意力转移到QAC下拉列表的时间间隔,这个时间跟QAC下拉结果的排序没有关系。
        CFT记录用户注意力集中在QAC下拉列表上所累计停留的时间,这个时间跟QAC下拉结果的排序有关,排序结果质量越好,越跟用户搜索意图相关的query越靠前,用户停留的时间越短。
        UQ表示用户提交的单一query数,描述的是一个用query构造的情况,如果QAC质量不好,用户很难构造一个比较恰当的query,则在没法构造query的情况下就会放弃继续搜索。(笔者见解:也有可能是质量好,一次query搜索就找到需要的结果)
        UR表示用户打开一个搜索结果页面就完成搜索的数量,描述搜索结果质量,打开越少,说明搜索结果质量越高,越早完成搜索任务。TFCTCT与其类似,只是从其他角度统计。

        3. QAC有很强的position bias,排名越靠前的query被关注和点击的概率越大,如下两图:
  
        右图横轴表示query在QAC的排序位置,左边纵轴表示用户的注意力停留时间,右边纵轴表示点击的概率,每个位置分别都有两个不同的实验,对比QAC有排序和随机序的情况。
        从图可以看出,不管QAC结果是否有排序,top几个位置的query获得的注意力是最高的,被点击的概率也明显高于其他位置的query,这说明top几的query被关注到的概率最大,与query的是否排过序无关,只要在top的位置,肯定会被关注到,有很强的position bias,也侧面说明QAC的排序最终决定了哪个query被作为查询query。
        但也可以观察到,排序过的结果被点击的概率比随机排序的大一些,因为排序会把更符合用户搜索意图的query排到前面。

        4. 尽管无论QAC的结果排序与否,排序位置靠前的query获得的注意力都一样大,但搜索结果质量是不同的,通过实验记录的UQ、UR、TFC、TCT数据表明,高质量query的搜索结果比较好,可以让用户更快找到需要的内容,结束搜索任务。因此需要把更符合用户意图的query排到更靠前的位置,增加这类query的曝光有助于带来更好的搜索结果质量(电商类的有助于提高成交转化率)

        5. 总结了用户使用QAC的3种pattern:a. 依赖QAC搜索的用户,边输边看QAC的结果;b. 偶尔使用QAC的用户;c. 从不使用QAC的用户,这类用户一般在输入的过程中注意力是集中在键盘,不看屏幕,属于电脑使用不熟练的用户,比例较小。

        6. 总结了用户使用QAC的2个目的:a. 拼写提示或拼写纠错;b. query补全

        7. 实验证明MRR这种评价QAC质量的指标的合理性,该指标基于这样的假设,排序越靠后的结果被用户注意到的可能性越小,结果就是排序越靠后的结果被点击的可能性越小,从3的实验结果可以得到验证。

启发
        1. QAC的排序很重要,直接影响搜索结果的质量,对于电商类搜索,会影响最终的转化率,因此可以在排序中引入搜索结果页质量相关的特征,如ctr、成交情况、NDCG等。
        2. 用户使用QAC的一个功能是拼写提示,因此可以加入拼写纠错的提示功能,不仅仅是简单的prefix匹配。

参考
An Eye-tracking Study of User Interactions with Query Auto Completion

转载请注明出处,本文转自:http://blog.csdn.net/huagong_adu/article/details/40951409

史上最全的搜索下拉提示用户交互研究——读《An Eye-tracking Study of User Interactions with Query Auto Completion》