因果推断、预训练、智能风控等8大AI技术综述｜《数据智能知识地图》算法篇

 

数据智能有路，知识地图为径。

由DataFun召集17位高级别专家精心打磨的《数据智能知识地图》已经发布，这份业内首发的知识地图究竟有什么内容，小编为你来揭秘！

本揭秘系列文章分为上下两篇，上篇为大数据篇（点击这里跳转阅读文章），本文为下篇（算法篇）。

PART

01

因 果 推 断

从因到果，需要进行反事实预估，对应potential outcome框架；从果到因，需要进行因果图搭建，对应structure causal model框架。这两个问题对应了因果推断技术的两个核心方向。

在做企业决策时，我们时常需要回答两类问题：一个决策做或者不做差异有多大？当业务问题发生后，其原因是什么？因此，因果推断技术是企业决策中必不可少的支撑。

因果学习与机器学习的本质差异，也是相关性与因果性的本质差异：在观测样本上，由于混淆因子的存在，数据常常呈现违反认知现象，依托相关性构造的传统机器学习，预测模型甚至会得出错误结论。

该知识地图将详解因果推断算法的基础概念、技术框架、算法细节以及企业应用，展示因果推断与传统机器学习的相同点和区别，以及基本假设、算法分类等内容，让你全面了解因果推断的算法体系。

PART

02

AB 实 验

在生物医学的双盲测试中，病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，通过比较两组病人的差异，确定测试用药有效性，AB实验的概念即来自于此。

企业在迭代产品的过程中，需要知道两件事情：一是究竟是什么因素导致了用户行为的变化，新的产品策略是比之前更好了还是更差了，二是众多的影响因素中，每个影响因素的究竟影响了多少？这两个问题都需要AB实验来回答。

该知识地图从AB实验基础概念出发，到如何分析、如何运用到产品决策中，以及如何平台化都给出了关键路径和知识图谱。

在专家讲解中，可以查看该知识地图的详解，让你全面了解AB实验的关键要素和收益、实验方案设计方法论、实验分析核心问题和统计学知识、对产品决策的支持、平台架构和功能模块，以及相关挑战和前沿方向。

PART

03

隐 私 计 算

隐私计算是在多个数据提供方之间进行联合分析、联合建模时保护各方数据隐私的技术。随着数据资产和用户隐私愈发受到重视，隐私计算在未来的关键意义不言而喻。据预计，基于当前大环境对隐私计算的支持，2025年之前隐私计算将处于稳定发展期，同时人才方面也会出现很大缺口。

该知识地图将详解隐私计算的发展历程、知识体系、技术对比、计算框架、应用场景、技术标准等方面的内容。

隐私计算一般分为三大方向，即多方安全计算、联邦学习、可信执行环境，但实际上，它们处于隐私计算技术栈的三个层级，彼此之间并不冲突。在知识体系中，理清它们之间的关系，是学习隐私计算技术的关键起点。

同时，通过专家对知识地图的讲解，你也可以全面了解这三大技术方向在安全性、开发成本、运维成本、计算精度、计算性能等多维度的优缺点，能够在技术选型时有更好的参考。

PART

04

知 识 图 谱

知识图谱是知识生产、知识表示存储和知识应用等众多技术的总和。这类似于搜索引擎是信息的爬取采集、信息存储和信息检索等多种技术的总和。其作为一种结构化程度很高的数据存储形式，在增强人工智能算法应用方面得到了很高的成效。

知识图谱的一般技术流程是，基于实体抽取、关系抽取等自然语言处理方法，以及计算机视觉、声音处理方法等，构建知识图谱，并存储至图数据库或向量数据库中，支撑上层的知识计算、知识推理应用技术，最终支持智能问答、推荐系统等业务场景。

在该知识地图中，将详解知识图谱模式设计、实体抽取、关系抽取、事件抽取等基础技术模块，图数据库等基础设施模块，以及知识计算、知识推理等应用技术，最后是智能问答等场景应用模块的典型框架、模型和分类方法，让你全面了解知识图谱技术。

PART

05

预 训 练

2017年推出的Transformer，催生了BERT、GPT、T5、BART等预训练模型。预训练已经成为了认知智能的核心技术，在通用性或应用潜力上不断突破我们的假设局限性。

在专家讲解中，可以查看该知识地图的详解。你将了解到：自word2vec在2013年诞生至今ChatGPT的出现，近十年NLP领域的预训练重要学术进展；预训练技术的基本原理、三种主要的模型架构、当前预训练研究的重点方向等预训练模型基础技术；从数据源到任务应用，拆解通用的预训练模型研究框架；模型压缩、目标优化、对抗样本等训练优化方法；最后，还将预训练的应用分成语义相似度、对话生成等典型场景。

PART

06

推 荐 系 统

推荐系统是一种信息过滤系统，用于预测用户对物品的“评分”或“偏好”。推荐系统在信息爆炸的当下时代意义重大，对于用户而言可以提高搜索查询效率，对于企业而言可以提高用户粘性和商业转化。

推荐系统的基本算法架构分为四个阶段：召回、粗排、精排、重排，算法不是万能，其基础支撑是用户理解，同时对算法效果评估也要有系统的指标设计。

该知识地图将详解推荐系统的用户理解思维框架、四个算法阶段的系统分类和技术演进、指标体系汇总，以及冷启动、偏置建模、可解释性等其它技术方向的知识。通过专家讲解，可以对推荐系统全面深入了解相关的算法和技术。

PART

07

用 户 画 像

根据用户的属性、偏好、习惯、行为等信息，抽象出标签化用户模型，即用户画像。对于企业而言，用户画像是非常重要的，能让企业快速定位精准用户群体以及用户需求等反馈。

用户画像的基本生产流程是，系统通过用户自行上传或买点上报手机记录了用户的大量信息，为便于各业务应用，将这些信息进行沉淀、加工、抽象，形成一个以用户标志为主key的标签树，用于全面刻画用户的属性和行为信息。

该知识地图将详解用户画像的基本要素、基本类型、常用维度、画像周期等基础要点，以及开发流程、应用场景等方面的知识，在专家讲解中，你还能了解到如何区分用户画像的不同意义、理解用户画像被应用的原理。

PART

08

智 能 风 控

智能风控是基于规则引擎和智能算法，支撑反欺诈、内容风险防御等风控应用的技术体系。随着互联网技术不断发展，传统的以人工为主的风控方式已逐渐不能支撑机构的业务扩展，金融风控行业逐渐发展为以智能风控为主。因为风控本质是一种博弈场景，传统算法的策略是确定性的，数学定义严格，因此反而很容易被黑产攻克，而智能算法是一种概率推断方法。

智能风控架构一般可分为数据层、特征画像层、模型算法层详解、决策应用层四个层次，数据层是指从数据采集到数据存储、数据监控的典型大数据架构，特征画像层是指从特征设计和生成到特征评估、特征回溯的特征挖掘架构，并涉及大量的特征算法的应用，模型算法层是指从模型架构设计到模型训练与评估、模型监控的典型AI算法架构，涉及决策树、XGBoost等算法的应用，决策应用层是指从风险点识别到试验设计、效果监控的决策流程架构，涉及欺诈识别、准入拦截等典型风控应用。

在该知识地图中，你可以了解到智能风控的基本概念、典型架构、平台交互逻辑、四大层次拆解等内容，了解智能风控体系架构全貌，把握智能风控发展趋势。

数据智能知识地图简介

这份知识地图由17位高级别专家，历时两个月，经过精心打磨制作而成。

这份地图包括数据采集与治理、数据架构、数据能力、数据应用等4大领域，包括15大数据模块，既包括数据采集、数据治理、数据仓库等相对传统的技术模块，也包括云原生、因果推断、预训练等新锐技术模块。

这是行业中第一次有这样清晰、全面的数智化相关知识，同时具备了体系化、权威性、专业性，凝结了DataFun通过千百场直播分享汇聚合成的数据智能专家的力量，让您可以对数智化行业一览全貌，在大脑中建立数智化知识地图。

每个数据行业的人，都会从中受益：

1. 对于数据智能从业者来说，可以知道数智化的知识边界在哪里。

2. 对于管理层来说，可以了解数智化怎么发挥价值。

3. 对于想要转行数据智能的从业者来说，可以明白数智化都包括哪些基础内容。

如何获得这份知识地图？