PREFACE
前言
Facebook(脸书)在2006年推出的News Feed可以看作信息流产品的开端,News Feed因其沉浸式的阅读体验、丰富的交互方式、个性化的内容呈现等优势,在上线后短时间内就迅速收获了一大批核心用户,并在随后几年的时间里不断发展,逐步改变了用户对新闻资讯内容的阅读习惯,同时,积累的海量用户也为Facebook带来了成熟的商业变现模式。
随着国内移动互联网的蓬勃发展,各大互联网巨头也纷纷跟进效仿News Feed的产品形态。当前阶段,对于电商领域的淘宝、京东,短视频领域的抖音、快手,媒体领域的今日头条、微博,信息流都是主流的产品形态。
然而,随着最近几年移动互联网的发展进入平台期,用户规模见顶,流量红利消失,各大APP从追求用户规模的增长,转型为追求用户消费深度的增加。而信息流产品在各大APP的产品形态趋同,内容的生产质量和分发效率则成了关键武器,推荐系统作为内容分发的核心引擎,也变得尤为重要。
在这样的商业和技术发展背景下,在移动互联网蓬勃发展的浪潮中,作为大数据、搜推广(即搜索、推荐、广告算法的简称)的从业人员,我们也经历了推荐技术的日新月异,在经历了深度学习伴随着算力的发展席卷图像、语音、NLP(自然语言处理)领域后,我们也对推荐算法进行了最彻底、最深刻的革新。在这场如火如荼的变革中,我们个人也从一线开发人员的角色,成长为主导设计、操盘百万级到千万级DAU的APP内容分发、推荐系统的技术架构、发展方向和团队建设的推动者。这一路的成长,有收获、有成果,也有无数的挫折、失败和反思。
这些经历让我们逐渐萌生了一个想法:希望能够把推荐算法的技术发展和变革记录下来,并体系化、结构化地总结成册,为后来者借鉴。当前市面上现有的与推荐算法和深度学习相关的书籍琳琅满目且各具特色,因此,我们选择了从信息流产品的角度,对推荐算法按照召回、粗排、精排、重排分阶段地阐述其细节,并结合实践,在给出理论推导的同时,也贴近实际的业务问题给出相应的解决方案。
本书是我们这些年在淘宝、微视、QQ小世界、WeTV的所思所想、所感所悟、所失所得的点点滴滴的记录,这既是对我们职业生涯的一次阶段性技术总结,也是对曾经“为目标不舍昼夜”的那些日子的纪念。希望本书能给同行朋友,以及希望未来从事搜推广行业的广大学生朋友提供一些帮助。
本书知识体系
本书希望从算法工程师和产品经理的双重视角来阐述推荐算法,因此在第1、2章系统性地介绍了信息流产品的内容生态、对用户体验和商业价值的重塑,以及推荐算法作为信息流内容分发的“利器”的作用。同时,结合我们过往的实践经验,介绍了如何通过系统性的产品运营分析、用户画像分析、行为路径分析找到推荐算法优化的线索,用数据驱动业务增长。
第3~7章详细介绍了推荐算法的召回、粗排、精排、重排各个阶段的算法体系,包括过往经典的算法以及当前较前沿的算法,并结合业务实践阐述了算法推导过程。另外,本部分还介绍了多目标融合算法。这几章是本书最核心的部分。
第8章介绍了召回和排序模型的数据预处理及特征工程相关的工作内容,以及针对排序模型的打分校准方法。
第9章针对信息流产品中的经典问题,比如信息茧房、冷启动、消偏等,具体分析这些问题在信息流产品中的前因后果以及综合性的解决方案。
第10章分析如何从宏观和微观角度评估推荐系统对平台的价值,并介绍价值评估的指标体系,以及A/B测试作为在线评估技术的主要概念和落地实践的流程。
第11章总结并展望推荐算法的未来,阐述当前阶段推荐算法与业务价值息息相关的几个重要且亟待解决的命题,同时就推荐算法工程师在从入门到成长的过程中如何提升自身的各项技能给予了合理的建议。
读者对象
● 当前从事搜推广行业的同行朋友。期望本书结合业务实践的技术细节阐述能够对你有所启发,本书可作为解决推荐业务问题的工具书,随时查阅。
● 希望未来从事搜推广行业的广大学生朋友。期望本书体系化阐述的推荐算法能够帮助大家更好地学习推荐技术,梳理并夯实自己的知识体系。
致谢
感谢一路走来在阿里、腾讯以及所有工作过的公司里各位同事的热心帮助,这些年与大家一起探讨、争论、交流、切磋的经历是我们职业生涯中无价的财富。
感谢家人在背后的默默支持,你们的理解和帮助是我们坦然面对得失、不断完善自己的最大动力。
最后,特别感谢刘军宁老师为本书作序,并感谢他在我们梳理本书的知识体系时给予我们的专业指导。
赵争超、黄帆