2017年，数据社区将会有很多机遇，同时也会面临一些严峻的挑战。以下是上述问题的概述。

1.更多的数据科学家将开始使用深度学习

展望2016年深度学习领域的主要成就，发布了使深度学习变得更容易的工具和直接集成现有大数据平台和架构的工具。显然，数据科学家必须在2017年选择深度学习，因为越来越多的价值可以通过它实现。查看时间序列和事件数据(包括异常检测)、物联网和传感器相关数据分析、语音识别和文本挖掘建议，有许多用于深入学习的用例。

2.对数据工程相关技能的需求将继续上升

《哈佛商业评论》杂志在2012年称数据科学家为“21世纪最性感的职业”。我希望2017年对数据科学家的需求会继续，但人才需求将主要集中在数据工程师(远远超过数据科学家)。许多公司正在寻找能够编程的数据科学家，因此他们将需要更多能够访问生产系统的数据科学家。这些都是独特的技能，除了薪水，他们还会得到快乐。

3.越来越多的公司将在云中使用托管服务

奥莱利最近的一项调查显示，当一个组织感觉到云中有大数据时，它通常会产生更多类似的大数据服务。

如今，许多公司都接触到可以提供存储、数据处理、可视化、分析和人工智能的托管服务。虽然业界有许多开源组件可以解决这些问题，但是专有托管服务已经逐渐被证明是公众的选择。由于这些工具将由服务提供商管理，组织中的数据专业人员将能够关注手头的问题，而无需考虑使用什么工具，但他们必须学会如何设计、构建和管理在云中运行的应用程序。

4.并非所有东西都将迁移到公共云

遗留系统、敏感数据、安全性、合规性和隐私问题将需要混合架构。还会有使用定制甚至私有云的应用程序，比如为工业物联网设计的Predix或美国自动气象站的CIA。许多公司将需要一个能够应对复杂情况的解决方案架构。

5.数据民主化:任务被简化了，因为工作更简单

为自助分析提供新工具使许多数据分析任务变得更加容易。有些甚至不需要编程，而其他工具使得在一个工作流下融合代码、图像和文本变得更加容易。这些非统计员或数据极客的授权用户进行常规数据分析，这给数据专家更多时间来处理复杂的项目或优化端到端的传输渠道和应用。

近年来，这一切都发生了，我们发现许多使高级分析更加民主的工具正在出现(如微软的Azure)，它们可以支持大规模流数据资源的收集，并支持高级机器学习的开发和应用(如谷歌的云平台和亚马逊的机器学习)。

6.存储和计算的分离将会加快

加州大学伯克利分校的AMPlab项目于去年11月完成，但Apache Spark和Alluxio背后的团队并不是唯一一个强调存储和计算分离的团队。如上所述，存储在云中的流行项目，甚至一些最新的深度学习架构，都使得这个模型更加突出。

7.笔记本和工作流工具将继续发展

Jupyter的笔记本被数据科学家使用和重组，因为它可以提供多样化的架构，可以解决许多问题，包括数据清理、转换、数字模拟、统计模型和深度学习。(例如，奥赖利使用朱拜特笔记本作为黄鹂互动教程的基础)。它对数据团队非常有用，因为它可以在笔记本中创建和共享文件，包括动态代码、公式、可视化和解释性文本。通过将Jupyter与Spark连接起来，您将能够通过一个简单的界面使用Spark编写Python代码，而不是使用Linus命令输入或Spark shell。

数据专家总是会使用各种工具。烧杯笔记本可以支持多种编程语言，现在有针对火花社区的复合笔记本。(火花笔记本、阿帕奇齐柏林飞艇和数据云)。但并不是所有的数据专家都使用笔记本:因为笔记本不能适应复杂数据通道的管理，工作流工具更适合这种情况。数据工程师喜欢软件开发人员使用的工具。随着深度学习和其他新技术进入数据科学和大数据社区，我们预计现有工具将得到进一步开发和优化。

8.数据社区将进一步找到解决隐私和道德等问题的方法。

由于机器学习的普及、数据资源的多样化和算法的复杂性，实现透明变得越来越困难。实现数据应用的公平性变得比以往任何时候都更具挑战性。展望2017年，我们希望看到关于国家政策的讨论涉及以下几个方面:偏见测试的最佳实践和偏见理论导致对偏见结果的日益认识。

关于作者:本·洛里卡是奥莱利媒体公司的首席数据科学家。

转载请注明：老街华纳公司开户-MD62333 » 2017年数据领域的八大发展趋势