第一部分 在线广告市场与背景
第1章 在线广告综述
在线广告，也称网络广告、互联网广告，顾名思义，指的是在线媒体上投放的广告。与传统广告不同的是，在线广告在其短短十几年的发展过程中，已经形成了以人群为投放目标、以产品为导向的技术型投放模式。它不仅为广告主带来了以准确接触目标受众为方法论的全新营销渠道，也为互联网免费产品和媒体找到了规模化变现的手段。可以说，不论在做用户产品还是商业产品，不深入了解在线广告，就不可能全面了解互联网业务。因此，互联网行业的从业者花一些时间把现代在线广告原理和产品搞清楚是必需的。
另外，从数据的角度来看，在线广告开启了大规模、自动化利用数据改善产品和提高收入的先河。不夸张地说，在过去相当长的一个时期内，（big data）这一方法论唯一形成规模化营收的落地行业就是在线广告。即便在今天，计算广告仍然是大数据应用中最成熟、市场规模最大的行业，因此，对大数据感兴趣的读者认真研究在线广告中的技术挑战和产品问题，会对探索其他的大数据应用有很大帮助。
在线广告领域的产品形态和业务逻辑相当复杂。为了对在线广告有宏观上的把握，本章将从两个方面来探讨：一是其内涵，即在线广告这种商业活动的定义与目的；二是其外延，即在线广告发展历史中产生的关键产品形态。对其中的许多概念和观点，读者未必能够马上形成清晰的印象，但随着内容的展开，读者可以剥茧抽丝般层层递进地加深理解。另外，本章还有另外一个目的，就是尽可能集中地介绍互联网广告的产品和技术术语，以方便后面的讨论。
与线下广告相比，在线广告的产品和创意形式由于互联网媒体在形态、交互方式等方面存在差异，也呈现出各种各样的表现形式。我们将简要介绍其中比较常见的创意形式，帮助读者对在线广告的具体表现建立直观了解。
本章的内容与计算基本无关，目的在于让读者在进入计算广告领域之初就建立起一些重要观念。首先，广告不完全等同于搜索或推荐，它首先是一项商业活动，然后才是一项技术；其次，在这一商业活动中，广告主、媒体和用户的利益都需要被认真考虑和满足，这样才能达到整个市场的平衡和不断发展。在线广告市场所有产品和商业形式的演进，都是在这一主题下发生的。在商业逻辑的框架下思考和探索计算广告技术对理解本书中提到的产品、架构和算法非常关键。
1.1 免费模式与互联网核心资产
大家都知道，互联网产品的网站、应用等软件产品，往往以免费的形式服务用户；另外一些互联网公司也在以直接利润微薄甚至亏损的情形下，出售手机、电视等硬件产品。无论是软件的免费，还是硬件的低价销售，都可以称为免费模式。那么什么是免费模式的本质呢？我们的观点是：
免费模式的本质是将那些能够规模化、个性化传播信息的商品，以边际成本的价格出售。
考察上面提到的例子，网站等软件产品多服务一个用户的边际成本很小，因此这些产品都不收费，这是狭义的免费，而手机等硬件产品，边际成本即是量产成本，因此以毛利为零左右的价格出售，这是广义的免费。当然，这些产品的共同特点是能够传播信息，并且能够对不同用户个性化地传播信息，而像矿泉水、充电器这类无法传播信息的商品，是无法被互联网的免费模式改造的。
既然产品本身没有利润，这些产品的开发者的利润从哪里来呢？其实，这类免费产品在传播信息的过程中，获得了3项可变现的核心资产，这就是流量、数据和影响力。
（1）。流量的价值是，有人使用你的产品，你便可以在产品本身的功能之外夹带一些付费内容（sponsored content），或者称为广告，这样就把流量变成了收入。
（2）。有人在使用你的产品的过程中留下了一些行为和属性，比如搜过某个关键词，浏览过某个商品，填写过自己的性别，这些都是数据。根据这些数据，你可以更好地了解该用户的属性、偏好等信息。基于这些信息，可以调整投放付费内容的策略以提高效率。
（3）。影响力指的是你的产品或内容获得了高于普通水准的关注与信任。当然，你投放的付费内容也就同时获得了更好的关注效果，而这些对于提高转化率同样是至关重要的（参见2.1节）。因此，具备影响力的产品或内容在投放广告时可以获得品牌溢价。
值得指出的是，近年来迅速崛起的大量网红和自媒体，实际上主要靠影响力而非流量和数据变现。如果将从公众号软文（影响力变现）标价与文末展示广告（流量和数据变现）收入进行对比，前者的价格往往是后者的数十倍。现有的在线广告体系并不能很好地处理这种以影响力为主要资产的媒体变现，这也是未来一个有趣的探索方向。
将这3项资产通过商业产品的形式转变成收入的过程，即商业化（monetization）过程，与用户使用免费产品的过程是分离的，因此称为后向变现。从上面的介绍可以看出，无论是数据变现还是影响力变现，都是建立在流量变现的基础上的，而这样的体系也就是计算广告技术所支撑的、现代的商业化产品体系。
1.2 大数据与广告的关系
近年来，大数据思维和技术渐成显学。然而，大数据这一概念迄今并没有一个内涵上准确的界定。在参考文献[73]中，作者用规模（volume）、多样性（variety）、高速（velocity）和价值（value），即所谓的4V特征来描述大数据问题的特性，但并没有给出这类问题的界定标准。但是，从实践的角度来看什么是大数据问题，或许要比理论上的定义要简单一些：自从互联网公司开始挖掘海量用户行为数据中的价值，大数据这一概念就进入实践阶段了。它在工业界最显著的特点是区别于以往数据处理系统的低成本、分布式计算架构。从数据来源、处理方式和应用方向这3个角度来看，大数据问题都有鲜明的特点。
（1）行为数据。传统的数据处理任务往往面对的是交易数据。所谓交易数据指的是商业活动中必须记录的数据，如电信运营商的话费充值、通话记录，银行的存取款、利息等。交易数据处理的规模往往并不太大，但是对一致性和实时性的要求非常高，IOE（IBM、Oracle和EMC）的计算架构为交易数据处理提供了成熟的方案。与此相对，商业活动中产生的非必须记录的数据，就是行为数据。电信运营商采集到的用户位置、银行的窗口排队以及网站的用户访问日志等，都属于行为数据。与交易数据相比，行为数据的加工有两个特点，首先是规模巨大，其次是对一致性的要求要低得多，例如，网站的日志丢失千分之一，往往并不是什么严重事故。由于这两个特点，传统的IOE架构并不合适，这些是大数据架构产生的原动力。
（2）全量加工。如果数据规模很大，并且问题无法通过采样来降低处理的复杂程度，那就必须利用一些专门为海量数据处理而设计的计算和存储技术（如MapReduce、NoSQL数据库等）来实现。如图1-1所示，我们考察某数据处理过程的目标函数，就有可能存在如下两类有代表性的情形。
图1-1 大数据问题的特性示意
·A类问题：如果通过数据采样能够显著降低数据处理的复杂程度，同时解决问题的效果（即目标函数）没有太大的下降，那么显然应该这样做。这类问题可以用图1-1中的A曲线来示意。一般的统计报表、报告等往往属于这类问题。
·B类问题：另有一些数据问题基本上不可能通过只处理一小部分数据来达到处理全量数据的效果，或者说，随着数据采样率的降低，解决问题的收益快速下降，这类问题是典型的大数据问题，可以用图1-1中的B曲线来示意。个性化推荐（personalized recommendation）和计算广告（computational advertising）等问题，需要用到每一个人的行为做定制化推送，而无法只采样一部分人做处理，符合这一特征。
（3）自动化应用。使用数据的应用有两种类型。一种是洞察（insight）应用，即对数据进行统计分析后得到整体的结果报表，再由决策者根据结果进行决策。洞察应用传统典型的例子是企业的财务报表，而商业智能（Business Intelligence，BI）也属于洞察应用。另外一种是自动化（automation）应用，即将数据处理的结果直接送给对业务进行自动决策的引擎。计算广告正是典型的自动化应用，从用户行为数据收集，到受众定向，再到线上根据用户标签的自动决策，整个过程都是自动进行的，人的作用只是建立流程和调整策略。电商的自动进货系统，也是一种大数据的自动化应用。
洞察应用由于业务决策过程中有人的参与环节，因此报表的数据规模不能太大，这会带来一定的信息量损失。另外，对洞察报表的解读和决策，实际上需要相当专业的训练，这一点读者想想财务报表的例子就可以明白。而自动化应用由于是由机器进行决策的，数据可以在个体粒度上进行处理，这使得数据能够发挥更大的效果。因此，我们认为，相对于传统的洞察应用，自动化应用才是真正发挥大数据优势的应用形态。
由于上述3个特点的存在，面向中等规模交易数据的存储和计算的传统IOE架构变得不再合适，必须寻找新的方案。这些需求催生了Google的GFS、MapReduce和BigTable这“三驾马车”，也产生了Hadoop和Spark等开源技术方案。
从行为数据、全量加工和自动化应用这3个关键点来看，在线广告中的计算问题是非常典型的大数据应用。实际上，在以往相当长的一段时期里，唯一得到充分商业化和规模化的大数据应用，就是计算广告。它为各行各业大数据的落地提供了非常有价值的借鉴样本，下面几点尤其值得了解和关注。
（1）计算广告为规模化变现流量和数据提供了完整产品和解决方案，并创造了互联网大部分的利润。
（2）在线广告孵化了较成熟的数据加工和交易产业链，值得所有涉及大数据从业者学习和借鉴。
（3）由于存在商业上的限制条件，计算广告产品和技术比推荐系统更加复杂。因此，理解其产品和市场对于设计高效的商业产品大有益处。
因此，如果你是一位大数据、商业变现或用户增长领域的产品经理、工程师或管理者，我们建议你认真了解广告的产品和技术，相信你一定会有很大收获，也会快捷地了解到这一领域真正有挑战的问题。本着这样的目的，本书的内容将会以广告市场的产品和技术演进作为一条明线，而以对数据的利用程度作为一条暗线来展开。
1.3 广告的定义与目的
在了解计算广告之前，我们先讨论一下广告的一般目的。什么是广告？可以参考William F.Arens在《当代广告学》[4]中给出的定义：
广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。
这一定义中有两个关键点。首先，它指出了广告活动的两个主动参与方，即出资人（sponsor）和媒体（medium）。在数字广告复杂的市场结构中，可以用一般性的术语来描述它们：需求方（demand）和供给方（supply）。前者可以是广告主（advertiser）、代表广告主利益的代理商（agency）或其他技术形态的采买方；后者可以是媒体，也可以是其他技术形态的变现平台。另外，广告还有一个被动的参与方，即受众（audience）。请大家从现在开始，就牢牢建立起这样的概念：出资人、媒体和受众这三者的利益博弈关系是广告活动的主线，这一主线将贯穿于商业和产品形态的整个演化过程。另外，该定义还阐明了广告必须是有偿的、非人员的信息传播活动，这两点限制，前者使广告的目标变得明确，后者使这一目标可以用计算的方式来优化，这些都是计算广告产生的基础。
广告的本质目的是什么呢？不同时代对这一问题存在不同的认知。在传统媒体时代，供给方与需求方在市场地位上有相当的距离，不论是电视台、机场还是杂志，都与大多数广告主需要的转化行为之间有相当大的差距。因此，传统广告的目的主要是借助媒体的力量来快速接触大量用户，以达到宣传品牌形象，提升中长期购买率与利润空间的目的。我们称这种目的的广告为品牌广告（brand awareness）。当然，也有许多广告商希望能利用广告手段马上带来大量的购买或其他转化行为，我们称这种目的的广告为直接效果广告（direct response），有时简称为效果广告。
传统媒体投送和优化效果广告的能力显然是缺乏的。这是因为，对短期效果的追求要求广告精准地送达目标人群，而这在传统媒体上缺乏有效的技术手段。我们能够想起的以效果为目的的传统广告，恐怕只有在写字楼下散发的快餐传单，这被称为直接营销（Direct Marketing，DM）。而数字媒体的出现使效果广告空前蓬勃地发展起来，这主要有两方面的原因：一是数字媒体的特点可以让我们低成本地投送个性化广告，这本质上是在变现流量；二是一些在线服务，如搜索、电子商务，由于可以更清楚地了解用户的意图，也就使广告效果的优化更加容易，这本质上是在变现数据。
在线广告兼有品牌和效果两方面的功能。不过，互联网广告行业的高速发展主要是因为效果广告市场带来的巨大红利。我们可以看一下表1-1中的数据[1]：从2007年到2015年，网络广告的市场规模发展迅猛，目前已经全面超越了电视广告，在中国甚至占据了整个广告市场的一多半份额；与此同时，传统广告渠道则增长乏力或快速下降。对比来看，在线广告的迅猛成长并没有导致电视广告市场的显著萎缩。这是因为网络广告的主要场景仍然集中在搜索引擎营销、移动应用下载、电商再营销等直接效果广告上，而这部分相对于电视广告更多的是增量而非替代。另外，报纸广告快速下降，这首先是因为报纸占据的用户时间大幅被互联网抢走，其次是因为报纸上部分分类信息广告与互联网效果类广告重叠较大。目前，随着数字媒体越来越多地占据了人们的时间，以及在线视频等冲击力更强的媒体越来越普及，在线广告也必将在品牌广告方面有更大的空间。
表1-1 中美主要广告市场规模（单位：亿美元）
既然有品牌和效果这两种目标，究竟如何描述广告这种商业活动的根本目的呢？我们仍然借用《当代广告学》中的见解：
广告的根本目的是广告主通过媒体达到低成本的用户接触。
也就是说，按某种市场意图接触相应的人群，进而影响其中的潜在用户，使他们选择某产品的概率增加，或者对产品性价比的苛求程度降低，这才是广告的根本目的。至于短期内的转化效果，由于市场意图或媒体性质的不同，并不是直接可比的。换句话说，如果仅仅以转化效果为目的来思考问题，可能会背离投放广告的正确方法论。举个例子，某感冒药广告商如果以短期效果为导向，那么最佳的策略是把广告投放给那些现在已经感冒的人，不过这显然是一个荒谬的决策；再比如，某汽车广告商为了提升自己的品牌形象，希望对自己竞品品牌的用户加强宣传，而对于这部分人群，广告的直接效果甚至有可能比随机投放还要差。认清这一概念，有助于在遇到多种广告渠道的效果比较时，避免得出偏颇的结论。
广告的“低成本”是与那些由市场或销售人员完成的劝服活动成本相对而言的，实际上是广告搭了媒体流量和影响力的便车。要确定是否真的成本较低，需要用到投入产出比（Return on Investment，ROI）这一评价指标，即某次广告活动的总产出与总投入的比例。实践中，广告活动的总投入容易确定，但总产出却不一定明确且可衡量，特别是在投放以中长期收益为目标的品牌广告时。因此，绝对的ROI有时难以计算，不过通过各个渠道之间的对比，我们仍然可以评估广告的成本是否令人满意。
在互联网环境中，广告的本质虽然没有变化，但是由于大量直接效果需求的产生，其表现形式越来越丰富和灵活。不论是与线下类似的横幅、搜索竞价排名，还是软文，甚至是表面上与广告并不相干的游戏联运，其本质都是付费的信息推广，从产品的角度来看都可以归在广告的范畴下。因此，对于互联网广告，我们有如下认识：
一切付费的信息、产品或服务的传播渠道，都是广告。
那么，在线广告主要有哪些表现形式呢？我们将在1.4节中介绍。
1.4 在线广告表现形式
在线广告与用户接触的表现形式有多种多样的选择，并且随着移动互联网的发展变得越来越丰富。下面我们就简单介绍其中一些常见的类型。请读者注意，下面介绍的各种广告形式概念上有交叠，并不是并列的关系。
（1）（banner ad）。这是展示广告中最传统的形式。它是嵌入在页面中的图片，往往需要占据固定大小的版面。目前，横幅广告大多数也都不再是静止的图片，而是由Flash或HTML5等方式实现的动态素材。图1-2给出了横幅广告的一个示例。
图1-2 横幅广告示例
（2）（textual ad）。这种广告的素材形式是一段链接到广告主落地页的文字，是搜索广告的主流形式，在展示广告中也被广泛采用。文字链广告有时像横幅广告那样占据固定版面，有时则穿插在大量内容链接条目中。图1-3给出了文字链广告的一个示例。
图1-3 文字链广告示例
（3）（rich media ad）。这类广告利用视觉冲击力较强的表现形式，向用户侵入式地投送广告素材。富媒体广告常见的形式有弹窗、对联、全屏等。它比较适合在高质量的媒体做品牌性质较强的广告投放，但是对用户的使用体验往往影响也较大。一些门户网站的首页有时会为某个品牌广告主提供专门定制的、交互形式很复杂的富媒体广告，这样的广告不太采用按受众投放的逻辑，主要强调创意的冲击力和交互形式的特色。图1-4给出了一个富媒体广告中的弹窗广告示例。
（4）（video ad）。视频广告指的是广告的创意由静态素材变成了一段视频，其信息的传播量和冲击力都得以大大提高。可以说，视频化已经成为在线广告最重要的趋势之一。有关视频广告的效果评价，除了点击率等，还可以采用用户观看时长等更接近用户印象的指标。
视频广告有几种主要的形式。
图1-4 富媒体广告示例
·在视频内容播放之前的前插片广告。根据插入位置的不同，视频广告又可以分为前插片、后插片、暂停等类型。图1-5给出了视频广告的示例。视频广告由于载体的独特性质，其效果和广告创意会比较类似于线下的电视广告。这种广告一般采用短视频的形式，创意的表现力要远远强于普通的展示广告，因此价格往往也比较高。
·在信息流中插入的视频广告。在Wi-Fi场景下往往自动播放，其效果远优于普通的信息流展示广告。
·手机游戏中的激励视频广告。它主要是利用游戏中的积分奖励，刺激用户主动观看视频广告，这种广告往往观看率较高，广告效果也较好。
图1-5 视频广告示例：前插片广告（左），暂停广告（右）
（5）（playable ad）。视频广告承载了更多的创意信息，因此会带来较好的推广效果。于是，在移动场景下，业界开始探索让用户直接在创意上完成交互，体验被推广产品的交互式方案。
在移动应用和游戏推广中，交互式创意可以让用户不用下载App就可以体验其内容，有时可以带来更高的转化率，但同时对媒体也有用户注意力上的损失。交互式创意有两种技术方案：一是服务端交互的方案，二是HTML5模拟的方案。这两种方案我们将在16.1.3节中具体介绍。图1-6给出了交互式广告的一些示例。
图1-6 交互式广告示例
（6）（social ad）。社交网络的兴起给广告传播的渠道和能力都赋予了新的空间。在社交网络中嵌入的广告，可以统称为社交广告。社交广告中最典型的形式是插入在信息流中的广告，这种方式最早见于Twitter的“Promoted Tweets”产品。它力求在用户的交互过程中尽可能自然地插入广告，被归于原生广告的范畴中。“社交广告”与“社交网络中的广告”是两个不同的概念，例如，在社交网络页面上竞价售卖的文字链或横幅广告，其本质与普通网站上的展示广告并无太大区别。社交广告希望达到的效果是通过用户的扩散式传播获得更大的影响力，从这个意义上讲，在信息流的交互中挖掘价值前景光明。图1-7给出了社交网络信息流广告的一个示例。
图1-7 社交网络信息流广告
（7）（mobile ad）。移动互联网在近几年爆发式成长，并且大有取代桌面互联网之势。严格来说，移动广告与桌面广告没有本质的区别，只是由于移动原生应用的大量普及，广告也由Web页面搬进了应用里。于是，也产生了在应用中插入广告的SDK和相应的广告产品。移动广告目前典型的形式有横幅、开屏、插屏、积分墙或推荐墙等。图1-8给出了移动广告形式的一些示例，我们将在第8章中具体讨论与移动广告和原生广告相关的产品问题。
图1-8 移动广告形式示例
（8）（Email Direct Marketing，EDM）。这是通过电子邮件向用户推广信息的一种营销手段。与上面各种广告形式都不同，EDM是一种主动营销方式，可以随时向合适的用户发送信息。不过也正因为如此，EDM非常容易变成垃圾邮件的主要来源。对EDM的运营者而言，精准地把握用户兴趣，非常有节制地向用户提供相关信息非常关键。比起展示广告，EDM中受众定向的利用更加直接，也更为重要。图1-9给出了邮件营销广告的一些示例。另外，通过短信、iMessage等方式投放的广告，与邮件营销广告也非常相似。
图1-9 邮件营销广告（EDM）示例
（9）（incentive ad）。数字广告区别于传统广告的重要特点是可以产生直接转化，因此很容易想到的一个策略，就是直接激励用户产生转化以提高效果，这类广告称为激励广告。激励广告的典型代表之一是移动上常用的积分墙模式，如图1-10所示。
返利购买是电商行业常见的一种推广模式，它采用折扣或积分激励用户购买，也属于激励广告的一种。显然，这种方式可以获得任意高的投资回报率（ROI），但是也会带来一些老用户转由返利网下单。
图1-10 积分墙广告示例
除了积分墙、返利，激励型广告还有内容锁、锁屏等多种形式。特别需要注意的是，天下没有免费的午餐，激励广告虽然能显著提高转化效率，但是由于用户对产品的真实需求并不强，因此后续效果会大打折扣，特别是在获取新客方面的价值比较差。因此，激励广告的价格一般会显著低于非激励广告。
（10）。团购本质上是一种按照效果付费的泛广告产品，其本质也是一种激励性广告。团购推广的主要广告主是一些本地化的店铺，主要目的是为了获得新客。如图1-11所示，对团购平台来说，团购商品的排序与广告是一样的问题。传统的团购销售很少采用竞价的方式，而多是预先约定价格，不过目前各团购网站也在采用竞价的方式直接售卖。另外，团购的广告库中是付费信息而非创意，这有利于发展原生广告的推广方式，具体讲解参见第8章。
图1-11 团购产品示例
（11）。游戏联运是根据用户的最终游戏内消费在推广渠道和游戏开发商之间分成的商业产品，这仍然是一种按效果付费的泛广告产品。在页游和手游的推广中，联运是一种非常常见的发行模式，读者在各种产品中看到的图1-12所示的游戏下载专区，其背后的商业模式往往都是联运。实际上，在中国的各大Android应用市场中，游戏联运的收入远远超过其他类型广告的收入。不同的联运渠道分成比例可能相差很大，在Apple Store这样典型的国外市场中，渠道的分成比例一般为30%，但是在中国，有些强势的联运渠道分成比例甚至可以达到90%以上。游戏联运完全可以按照广告产品思路来设计和运营。
图1-12 游戏联运产品示例
（12）。这主要包括网址导航站的位置入口（如图1-13所示）、应用分发平台的推荐位置等付费推广位置。一般来说，这种产品的销售都采用按时间付费的模式，而不是动态的竞价模式。这是因为广告主除了引流以外，往往更加关注这些入口位置的橱窗效应。这种广告的销售和运营模式与按天购买的合约广告相同。
图1-13 网址导航产品示例
上述这些广告产品和泛广告产品往往在一家公司内部同时存在。同时运营多种类型的广告产品时，广告产品之间甚至和用户产品之间经常会出现争夺广告位或其他入口资源的问题。面对这样的问题，最合理的分配方式是通过它们之间的竞价来决策，这是非常重要的的运营理念。
1.5 在线广告简史
在讨论广告技术之前，我们先看一下在线广告发展的历程。因为广告市场的概念、技术和术语繁多，所以如果不是对这些有基本的了解，就很难深入探讨具体的产品。
在20世纪末，那时的在线媒体（如AOL、Yahoo!等网站）刚刚产生不久。它们的流量规模很大，投资人当然希望这些媒体也能够给自己带来真金白银。要对这些线上流量进行变现，或者称为商业化，最直接的方法就是把网站页面当成杂志版面，在里面插入广告位。线下的广告代理公司也就把这些网站当成新的杂志，按既往思路和逻辑进行采买。我们称这种在互联网上展示横幅广告的产品形式为（display advertising），也称显示广告。我们称上述的展示广告售卖模式为（agreement-based advertising），即采用合同的方式约定某一广告位在某一时间段为特定广告主所独占，并且根据双方的要求，制订广告创意和投放策略。如图1-14中左半部分所示，例如，这样一个广告位一天的售卖价格是10 000元。显然，这样的采买模式并没有用到数字媒体可以对不同用户投放不同内容的个性化特征。
图1-14 流量与数据变现示意
互联网广告运营者经过探索，很快就发现了数字媒体不同于传统媒体的本质特点：可以对不同的受众呈现不同的广告创意。在今天看来再平常不过的这个观念，实际上是在线广告效果和规模不断发展的核心驱动力。认识到这一点，媒体找到了一条能使广告位报价继续提高的思路。如图1-14所示的情形，由于剃须刀广告只需要男性受众，我们将该广告位的男性用户流量分配给它，价格变成6 000元，而对女性受众展示某化妆品广告，价格也是6 000元。这样的广告投放方式，称为（targeted advertising）。对于广告主来说，用更低的成本获得了与原来通投广告位一样的有效受众，而对于媒体来说，总收入变成了12 000元，多出来的2 000元，就是数据（这里为每一个用户的性别数据）变现的价值。请读者注意：
在广告业务中，数据变现是附着在流量变现的基础上的。
很显然，定向广告系统对计算技术提出了两个需求：一是（audience targeting），即通过技术手段标定某个用户的性别、年龄或其他标签，二是（ad serving），即将广告投送由直接嵌入页面变为实时响应前端请求，并动态决策和返回合适的广告创意。由于是从传统广告延伸而来，此时的定向广告仍然以合约的方式进行：媒体与广告主约定广告位、时间段和投放量，并在此基础上确定合同的总金额以及量未达标的情况下的赔偿方案。这种（Guaranteed Delivery，GD）的交易方式，逐渐成为互联网合约式广告的主要模式。一般来说，这样的合约仍然主要面向品牌广告主，并且按照按千次展示付费（Cost per Mille，CPM）的计费方式。
GD广告系统中有一个重要的计算问题，即保证满足各合约目标量的要求的同时，尽可能为广告主分配到效果更好的流量。这个问题有两个难点：一是如何有效地将流量分配到各个合约互相交叉的人群覆盖上；二是要在在线的环境下实时地完成每一次展示决策。这就是（online allocation）问题。如果将各合约的量看作约束条件，将广告效果看作目标函数，则可以利用（constrained optimization）的数学框架来解决。为了得到在线环境下切实可行的方案，学术界和工业界的同仁进行了大量理论和工程方面的研究，有一些高效且简便的方案已经为各媒体实际采用。
展示广告领域定向投放的最初动机，是媒体为了拆分流量以获得更高的营收。但是如果提供非常精细的定向，反而会造成售卖率的下降，因此，最初的定向标签往往是人口属性等粒度较粗的标签。不过，精细受众定向显然更符合需求方的口味和利益——不要忘了，广告市场的钱全部是来自需求方的，他们的利益被满足得越好，市场的规模就会越大。因此，受众定向产生以后，有两方面的发展趋势：一是定向标签变得越来越精准，例如具体某件商品的购物兴趣；二是广告主的数量不断膨胀。在这些趋势下，按照合约方式售卖广告遇到了越来越多的麻烦：首先，很难对这些细粒度标签组合的流量做准确预估；其次，当一次展示同时满足多个合约的时候，仅按照在线分配策略决策，有可能浪费了部分本可以卖得更贵的流量。既然量的约束带来了这些麻烦，有没有可能抛弃它呢？这样的思路催生了计算广告历史上革命性的产品模式——（auction-based advertising）。在竞价模式下，供给方只向广告主保证质即单位流量的成本，但不再给出量的保证。对于每一次展示，则按照收益最高这样的简单原则来决策。
上面是从展示广告的发展看竞价产生的原因，但竞价广告产生的最初场景，是在互联网广告最主要的金矿——（search ad）中。在以Google为代表的搜索引擎技术成熟以后，迅速成为互联网新的入口点。与门户网站不同，搜索引擎从一开始就没有被当作媒体来看待，因此搜索流量的变现也采用了（paid search或sponsored search）的模式。从广告的视角来看，付费搜索显然也是一种定向广告，即根据用户即时兴趣定向投送的广告，而即时兴趣的标签就是关键词。搜索广告从一开始就直接达到了非常精准的程度，也就很自然地采用了竞价的售卖方式。
除了变现搜索流量本身，搜索引擎也开始考虑将关键词竞价的方式推广到其他媒体上：如果将用户的搜索词换成正在页面中的关键词，可以将此产品从搜索结果页照搬到媒体页面上，这就产生了（contextual advertising）。
从宏观市场上看，竞价广告与合约广告有很大的不同。没有了合约的保证，大量的广告主处在一个多方博弈的环境中。与直觉不同的是，在如何向广告主收取每次竞价费用这一点上，并不是按照微观上最优的方案实施就可以达到整个市场最大的收益。关于定价机制的深入研究，产生了（Generalized Second Price，GSP）这一竞价重要的理论。
基于竞价和精准人群定向这两个核心功能，产生了（AD Network，ADN）这种新的产品形式。它批量地运营媒体的广告位，按照人群或上下文标签售卖给需求方，并用竞价的方式分配流量。广告网络的结算以（Cost per Click，CPC）的方式为主，这里有数据和业务等方面的原因，我们将在2.3.2节中具体探讨。这种产品的（Revenue per Mille，RPM）一般来说达不到合约广告的水平，但它使大量媒体的（remnant inventory），即没有能力通过合约售卖的流量，有了可行的变现手段：这些媒体可以直接把自己的（inventory）托管给ADN，借助ADN的销售和代理团队让自己的流量变现。
搜索广告、广告网络只有出价接口，是否意味着广告主不再需要量的保证呢？实践中，往往还会由需求方产品来保量。竞价广告产生以后，流量采买形式发生了变化：一是更多地面向受众而非广告位进行采买；二是越来越需要技术手段保证广告主量的要求，并在此基础上优化效果。这又是一个与在线分配类似的带约束优化问题。但是实际上，这个问题有很大不同：因为只能在供给方定义好的标签组合上指定出价，而不能控制每一次展示的出价，市场看起来更像一个黑盒子，所以需求方只能靠选择合适的标签组合，以及阶段性调整出价来间接控制效果。这种面向多个ADN或媒体按人群一站式采买广告，并进行量和质优化的需求方产品，称为（Trading Desk，TD）。
广告网络的竞价过程是内部进行的，这无法满足广告主定制化的人群选择和优化要求。设想下面的两种情形。
（1）某电商网站准备通过广告召回它的流失用户。
（2）某银行准备通过已有的信用卡用户找到相似的潜在用户群，并通过广告触达他们。
显然，这些人群仅靠广告平台自己的数据无法得到。这样的需求催生了一种开放的竞价逻辑，让需求方按自己的人群定义来挑选流量，这就是（Real Time Bidding，RTB），它将竞价过程由广告主预先出价，变成每次展示时实时出价。只要把广告展示的上下文页面URL，以及访客的用户标识等信息传给需求方，它就能进行完成定制化的人群选择和出价。于是，市场上产生了聚合各媒体流量，采用实时竞价方式进行变现的新产品形态——（AD Exchange，ADX）。这个名称让我们很容易联想起股票交易所。事实上，如果我们把ADN的交易方式想象成（over-the-counter market），那么ADX与股票交易所确实有着类似的作用。
通过实时竞价，按照定制化人群标签采买广告，这样的产品就是（Demand Side Platform，DSP）。由于实时竞价一般采用按展示次数计费的方式（原因6.3节中会具体讨论），DSP需要尽可能准确地估计每一次展示的期望价值。在这一点上，DSP比TD要方便多了，因为充分的环境信息使得深入的计算和估计成为可能。基于DSP的广告采买，非常类似于股票市场上的程序交易，我们把这样的广告采买方式也叫作（programmatic trade）。除了RTB以外，还有其他几种程序购买的交易方式，我们将在6.2节中具体介绍。总体而言，在线广告中程序化交易的地位将会不断加强，这是由广告主利益最大化的趋势所决定的。
初次接触在线广告的读者可能对上面提到的大量概念和商业逻辑感到无所适从。不过没关系，上面所有用楷体字标出的关键概念，在本书后续章节都会有详细的讨论，这部分内容的目的只是让读者对本书讨论的范畴有一个全局性认识，从而在后续章节中接触到某个具体问题时不会只见树木，不见森林。
由于在线广告存在着较复杂的市场结构，LUMA Partners将全球市场的主要代表公司作了非常全面的总结，并绘制成了图1-15中的“DISPLAY LUMAscape”。这一图谱的骨架与上面我们介绍的在线广告简史有着非常紧密的联系，因此也是本书在广告产品方面重要的提纲。简要地说，这一图谱是从两端向中间逐渐发展和形成的：首先是合约阶段，广告主通过代理公司从媒体方采买广告，而媒体方的广告投放机则负责完成和优化各个广告主的合约；然后，市场进化出了竞价售卖方式，从而在靠近供给方产生了ADN这样的产品形态，而需求方的代理公司为了适应这一市场变化，孵化出了对应的（media buying platform）；最后，当市场产生了程序化交易时，供给方进化出了ADX，而需求方则用DSP与其对接来投放广告。图中的下半部分，多是一些对这一骨干市场结构起支持作用的产品，或者在细分领域的特异化产品。我们在后面介绍到相关内容时，将会给出相应的介绍。
图1-15中的个别术语与本书略有区别，例如媒介采买平台，我们会在书中用相近似的产品概念TD来代替，请大家留意。
总结一下，在线广告发展的历史上，定向技术和交易形式的进化是一条主线。从最初的固定位置合约，发展到进行受众定向、按展示量结算的合约，再到竞价交易方式，并最终发展成开放的实时竞价交易。这条主线的核心驱动力是让越来越多的数据源为广告决策提供支持，从而提升广告的效果。除了这条交易形态的主线，互联网广告产品还有另外一条发展线路，即产品展现逻辑上的发展：在展示广告的最初阶段，广告位被作为与内容相对独立的单元来决策和运营，并且完全以优化收入为目标；同时，人们从搜索广告和社交网络信息流广告中得到了启发——将内容与广告对立起来，未必是一个好的选择，前面这两种广告产品，正是由于与内容的展现和触发逻辑有着高度的一致性，才使得它们的效果很突出。沿着这样的思路，将内容与广告以某种方式统一决策或展示的产品形式——（native ad）在近年来得到了越来越多的关注。如何将原生的决策方式与已经比较成熟的广告交易相结合，是目前移动互联网广告发展的热点。有关这方面的问题，我们将在第8章中具体讨论。
图1-15 LUMA总结的展示广告市场结构和代表公司图谱
[1]数据来源于IAB和艾瑞等机构的市场调研报告。