个性化推荐很多读者都知道，但其中不乏认识上的误区。有的人觉得个性化推荐就是细分市场和精准营销，实际上细分市场和精准营销往往是把潜在的用户分成很多群体，这固然相比基于全体的统计有了长足的进步，但是距离“给每一个用户量身定做的信息服务”还有很大的差距，所以，只能说个性化推荐是细分市场的极致！实际上，信息服务经历了两次理念上的变革，第一次是从总体到群体，第二次是从群体到个体。第二次变革正在进行中，所要用到的核心技术就是这篇文章要讨论的个性化推荐技术。还有读者觉得个性化推荐就等同于协同过滤，这可能是因为协同过滤应用比较广泛并且比较容易为大众理解。实际上协同过滤只是个性化推荐技术中的一个成员。它与很多更先进技术相比，就好像流行歌曲和高雅音乐，前者广受欢迎，而且一般人也可以拿个麦克风吼两声，但是说到艺术高度，流行歌曲还是要差一些。当然，流行歌曲经济价值可能更大，这也是事实。总的来说，协同过滤只是个性化推荐技术中的一款轻武器，远远不等于个性化推荐技术本身。图1：信息服务的两次变革：从总体到群体，从群体到个体。有些读者可能不是很了解个性化推荐，我先推荐一些阅读的材料。中文的综述可以看我们2009年在《自然科学进展》上的综述[1]。这篇文章质量不能说很好，但是可以比较快得到很多信息，了解个性化推荐研究的概貌。有了这个基础，如果想要了解突出应用的算法和技术，我推荐项亮和陈义合著的《推荐系统实践》[2]。百分点科技出版过一本名为《个性化：商业的未来》的小册子[3]，应用场景和商业模式介绍得比较细致，技术上涉及很少，附录里面介绍了一些主流算法和可能的缺陷，或许能够稍有启发。国外的专著建议关注最近出版的两本[4,5]，其中[4]实际上是很多文章的汇总，因为写这些文章的都是达人，所以质量上佳。Adomavicius和Tuzhilin的大型综述特别有影响力，不仅系统回顾了推荐系统研究的全貌，还提出了一些有趣的开放性问题[6]——尽管我个人不是很喜欢他们对于推荐系统的分类方法。我们今年发表了一篇大综述，应该是目前最全面的综述，所强调的不仅仅是算法，还有很多现象和思路[7]——大家有兴趣不妨看看。有些读者认为个性化推荐技术的研究已经进入了很成熟的阶段，没有什么特别激动人心的问题和成果。恰恰相反，现在个性化推荐技术面临很大的挑战，这也是本文力图让大家认识的。接下来进入正题！我将列出十个挑战（仅代表个人观点），其中有一些是很多年前就认识到但是没有得到解决的长期问题，有一些事实上不可能完全解决，只能提出改良方案，还有一些是最近的一些研究提出来的焦点问题。特别要提醒读者注意的是，这十个挑战并不是孤立的，极有可能一个方向上的突破能够对若干重大挑战都带来进展。挑战一：数据稀疏性问题。现在待处理的推荐系统规模越来越大，用户和商品（也包括其他物品，譬如音乐、网页、文献……）数目动辄百千万计，两个用户之间选择的重叠非常少。如果用用户和商品之间已有的选择关系占所有可能存在的选择关系的比例来衡量系统的稀疏性，那么我们平时研究最多的MovieLens数据集的稀疏度是4.5%，Netflix是1.2%。这些其实都是非常密的数据了，Bibsonomy是0.35%，Delicious是0.046%。想想淘宝上号称有近10亿商品，平均而言一个用户能浏览1000件吗，估计不能，所以稀疏度应该在百万分之一或以下的量级。数据非常稀疏，使得绝大部分基于关联分析的算法（譬如协同过滤）效果都不好。这种情况下，通过珍贵的选择数据让用户和用户，商品和商品之间产生关联的重要性，往往要比用户之间对商品打分的相关性还重要[8]。举个例子来说，你注意到一个用户看了一部鬼片，这就很大程度上暴露了用户的兴趣，并且使其和很多其他看过同样片子的用户关联起来了——至于他给这个片子评价高还是低，反而不那么重要了。事实上，我们最近的分析显示，稀疏数据情况下给同一个商品分别打负分（低评价）和打正分的两个用户要看做正相关的而非负相关的，就是说负分扮演了“正面的角色”[9]——我们需要很严肃地重新审查负分的作用，有的时候负分甚至作用大于正分[10]。这个问题本质上是无法完全克服的，但是有很多办法，可以在相当程度上缓解这个问题。首先可以通过扩散的算法，从原来的一阶关联（两个用户有多少相似打分或者共同购买的商品）到二阶甚至更高阶的关联[11-13]，甚至通过迭代寻优的方法，考虑全局信息导致的关联[14-15]。这些方法共同的缺点是建立在相似性本身可以传播的假设上，并且计算量往往比较大。其次在分辨率非常高的精度下，例如考虑单品，数据可能非常稀疏。但是如果把这些商品信息粗粒化，譬如只考虑一个个的品类，数据就会立刻变得稠密。如果能够计算品类之间的相似性，就可以帮助进行基于品类的推荐（图2是品类树的示意图）。在语义树