【O’Reilly】如何利用合成数据推进人工智能和机器学习(2020)

近日，O’Reilly媒体发布了一份名为《Accelerating AI with Synthetic Data: Generating Data for AI Projects》的报告。这份报告主要探讨了合成数据在推进人工智能和机器学习项目中的应用，分析了合成数据的类型、优势以及如何生成，并提供了多个行业的案例研究。报告中包含了丰富的技术细节和实施实践，对于理解合成数据在当今数据隐私和安全挑战中的关键作用提供了深刻见解，是寻求在AI领域中利用合成数据的企业和研究人员的宝贵资源。

在当今数据驱动的世界中，合成数据正变得越来越重要。合成数据，并不是真实数据，而是基于真实数据生成的，具有相同统计特性的数据。这种数据可以帮助我们解决一些难以处理的问题，尤其是在人工智能和机器学习（AIML）领域。

合成数据的好处很多。它可以改善数据访问，提高数据质量，用于探索性分析，甚至可以完全替代真实数据分析。例如，NVIDIA、IBM和Alphabet等大公司，以及美国人口普查局等机构，已经开始使用数据合成技术来支持模型构建、应用开发和数据传播。

合成数据可以分为两种类型：一种是基于真实数据集生成的，另一种则不是。第一种类型的合成数据是从真实数据集中生成的，这些数据集可能包含个人身份信息。通过建立模型来捕捉这些数据的分布和结构，然后从该模型中生成合成数据。如果模型能够很好地代表真实数据，那么合成数据将具有与真实数据相似的统计特性。

合成数据的另一个关键优势是提高数据质量。很多时候，分析师不得不使用开源或公共数据集，这些数据集往往缺乏多样性，与模型要解决的问题不匹配。合成数据可以提供更准确、更多样化的数据，从而提高模型的训练效果。

在医疗领域，获取用于构建AIML模型的数据通常很困难，因为隐私法规或数据收集成本高昂。合成数据的出现，使得复杂的开放数据变得可行。例如，英国公共卫生部公开提供的合成癌症登记数据，可以用于生成和测试假设，以及进行成本效益高、快速的可行性评估。

在金融服务行业，获取大量历史市场数据的成本很高。这些数据对于构建交易决策模型和软件测试至关重要。合成数据可以解决这些挑战，提供用于模型构建和软件测试的数据。

在交通领域，合成数据的使用可以追溯到几十年前。主要驱动因素是在数据有限的环境中进行特定的规划和政策决策。例如，评估新基础设施如新桥梁或新购物中心的影响。活动基础的旅行需求模型可以使用合成数据来实现这一点。

合成数据的未来发展需要考虑几个关键问题。首先，需要开发一个数据效用框架，以便更容易地比较不同的数据合成技术。其次，随着合成数据的生成和共享越来越多，数据水印变得越来越重要。最后，能够生成不同类型合成数据的模拟器将提供强大的能力。

合成数据代表了解决与获取现实数据相关的实际问题的激动人心的机会。随着对数据的需求增加，以及获取这些数据的难度增加，合成数据技术填补了这一空白。合成数据的采用需要考虑实施过程。随着合成数据在企业中变得更加程序化，卓越中心成为一个适当的组织结构。此外，随着合成数据生成技术的发展，将有助于更广泛地采用这种方法和技术。

这篇文章的灵感来自于《Accelerating AI with Synthetic Data》这份报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。