大数据发展历程及应用方向

2024-04-04 -

· 用户画像：消费者心理与行为分析

· 精准营销：抓住痛点，触及需求

· 风险管控：数据监控和风险预警

· 运营效率：智能化、精细化管理

· 创新服务：满足消费者个性化需求

接下来我们看一下数据开发流程：数据开发分为六个节点，从数据接入和集成，到数据处理和分析，最后通过可视化呈现数据。

如何理解数据开发流程，我们打个比方。假设我今天想邀请朋友吃饭。为了表示诚意，我不想去餐馆，所以我会在家里给大家做一桌美味佳肴。首先我得去菜市场买菜。因为顾客很多，所以我要买很多菜回来。这些菜可以理解为数据源，也就是所谓的数据访问。蔬菜买回来后分门别类，有肉类、水果、海鲜、蔬菜。这相当于数据集成，建立自己的数据仓库。

然后下一步就是把蔬菜洗干净，去掉烂菜叶，把需要切的瓜果切好，把鱼的鳞片刮掉，开膛破肚。这个过程就是数据处理，或者说数据清洗。

接下来，我们必须考虑每个人的口味。由于我们是请客，如果您对大数据开发感兴趣，想要系统学习大数据，可以加入大数据技术学习交流群：522号189号307获取学习资源。一定要让大家吃得好，吃得开心。如何捕捉每个人的味蕾，可能是基于过去对每个人饮食习惯的了解，或者是掌握每个人之前外出就餐的消费记录，从而确定口味偏好。而这个过程可以理解为数据分析。

最后，当一桌菜肴准备好上桌，色香味俱全的时候，就到了数据可视化和数据呈现的时候了。

在数据开发过程中，我们重点关注共享数据访问、数据集成和数据处理。很多企业朋友都觉得自己的数据资源有限，或者数据的维度太单一。这些都是现实。

有句话说得好：有条件就一定做；有条件就一定做；有条件就一定做；有条件就一定做。没有条件，就要创造条件。

数据的积累是一个持续的过程。可以先从内部采集打好基础，然后想办法从外部获取想要的数据资源。

除了主导的三个创业项目外，我还涉足商用WiFi领域，负责全国市场拓展。什么是商用WiFi？您可能在一些公共场所使用过微信WiFi服务，例如机场、高铁站、商场、医院等。

在业务拓展过程中，我们与微信、360、公安系统网监部门在数据共享方面进行了深入合作。合作的前提是互惠互利。以与公安网络监控合作为例。我们获取数据用于商业运营，而对于他们来说，数据用于公共安全、反恐、维稳、治安。

那段时间，我在公安系统工作了很多，特别是在广东省。无论是市局、省厅，还是下面的分局、派出所，甚至社区派出所，很多都要做具体的业务对接。因为这个领域比较敏感，我就不深入介绍了。

总而言之，数据资源需要一个逐步积累的过程，既需要内部收集，又需要外部扩展。方法有很多，包括交换方法和其他方法。具体如何操作一定要结合自己行业的特点。

当数据源足够丰富时，下一步就是对数据进行处理。在数据清洗过程中，最重要的三点是数据的完整性、准确性和及时性。

比如我们平时使用百度地图或者大众点评的时候，会发现很多信息都是错误的。有些商户已经不复存在，但仍显示在地图或点评页面上，而一些新建的住宅小区、商场则没有及时显示。这是一个时效性问题。

出现这种情况是因为百度地图和大众点评是开放平台，任何人都可以在地图上标记位置或者创建商家。导致平台聚合的信息量虽大，但难以保证准确性和及时性。

一旦原始数据质量较差，就会给后续的数据分析过程带来麻烦，因此数据清洗至关重要。

在我们的外卖项目初期，我们做了很多基础的数据收集和处理工作。当时，大多数餐馆还没有网络订餐的概念。虽然我们可以给餐厅提供后台账号，告诉他们如何上传菜品、价格等信息，但他们不理解，也不愿意操作。最终，这件事情还是交给了我们。

因此，我们每天要处理大量的基本信息，逐字打出菜品名称，准确填写价格，不出错。但经常会闹出笑话。本来是辣椒肥肠饭，但用搜狗拼音打出来后，就变成了“尖叫肥肠饭”。

中式快餐的特点之一是品种过多，门店经营难以复制和规模化。与麦当劳和肯德基不同，所有品类加起来只有几十个。然而我们中餐厅，一个小店，就能有一百多个品种，有的港式茶餐厅有三四百个品种。

你可以想象我们当时面对的合作餐厅基础数据的采集是多么复杂，但是这个环节一定要做好。不仅信息要准确，如果菜品、价格或者促销活动有变化，也要及时更新。只有这样，用户才能在点餐时间上获得更好的体验。

另外一个比较重要的就是下单的成功率，这也和数据清洗密切相关。订购成功率是多少？例如，用户下单后，餐厅可能会因为距离太远、送餐太耗时且不划算而拒绝接受订单。当餐厅不接受订单时，不仅影响用户体验，还会降低点餐的成功率。

尤其是七八年前，还没有像现在这样专门的交付团队。送货员穿着制服，骑着电动自行车穿过街道。当时负责送餐的人是店里的员工，或者是老板娘。事情忙了，老板娘就得亲自上阵。

做快餐的黄金时间只有中午两三个小时，所以在高峰期，即使只是过马路，那些需要爬楼梯或者等电梯有困难的人也不会愿意乘坐餐厅来的时候点菜。我们前期做了市场调研，也跟很多餐厅经理聊过，他们都提到了这一点。然而，用户在下单时可能并没有意识到这种情况，因为系统会根据用户的位置自动匹配一定半径内的附近餐厅。

那么问题来了，无论是GPS还是基站定位，都会存在一定程度的漂移。 GPS 会受到天气、云、周围建筑物和磁场的干扰。有时GPS漂移一两百米，甚至三五百米都是正常的。这个距离对于餐厅接单来说是致命的打击。

因此，在开发系统时，我要求技术部门不要直接从地图服务商那里抓取基础数据，以免麻烦，然后设定500米或1000米的半径，自动匹配餐馆和用户。由于基础地图数据尚未清理，准确性和时效性不足。

其次，不能简单地使用GPS或基站定位。一旦位置漂移太大，就会影响餐厅接单的积极性。那我们该怎么办呢？我让技术部门根据我提供的关键词列表过滤地图数据，然后交给客服部门一一比对。要求必须是确保我们数据库中的位置信息与现实世界中存在的建筑物一致。

可以想象，这是一项非常复杂的工作，但好处是可以一次性成型。稍后，当新的建筑物生成时，您只需更新它们即可。

完成这件事后，我们的销售人员与餐厅签订合作协议时，会给餐厅一份送餐范围确认单。该表格列出了附近的所有建筑物。餐厅将根据实际情况检查无法配送的建筑物。在没有专业分销系统的阶段，用这种看似愚蠢的方式来精准连接餐厅和用户。好处是，用户点餐时，不用担心餐厅不接单，餐厅可以万无一失地接单，不用担心送不出去。这样，点餐的成功率自然会更高。

可见，在大数据发展过程中，数据处理是承前启后的关键环节。只有奠定了这个基础，我们才能通过日常操作不断生成和捕捉更多有价值的新数据，进行深入分析和应用。