什么是大数据？一文讲清大数据的概念、演进、趋势、产业链及关键技术！

创作时间:

作者:

@小白创作中心

引用

CSDN

https://m.blog.csdn.net/ccddtomato/article/details/142388403

在数字经济蓬勃发展的今天，数据已成为推动企业和社会发展、转型、创新的关键生产要素。本文将从基本概念、发展历程、产业链到关键技术等多个维度，为您全面解析大数据这一热门话题。

基本概念

大数据：是指规模巨大、类型复杂多样，在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。

大数据技术：是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。

规模巨大（Volume）：大数据集合的规模通常超出传统数据库管理系统的处理能力，数据量可能达到TB、PB甚至EB级别。这种规模的数据需要强大的存储和处理能力，以确保数据的高效管理和分析。
类型多样（Variety）：大数据的多样性指的是数据的来源和格式多种多样，包括结构化数据、半结构化数据和非结构化数据。传统的数据库和数据管理解决方案缺乏灵活性且功能范围有限，根本无法应对大数据中各种不同且复杂的数据集。
处理速度快（Velocity）：大数据的生成、传输和处理的速度非常快，借助大数据技术（如分布式技术、流处理技术等），能极大的增加数据处理速度，确保系统能够实时响应。
价值密度低（Value）：大数据的数据量很大，但是价值密度很低。需要通过深度分析和挖掘才能发现和发挥大数据的价值。

先通过表格介绍一下数据的级别：

上表中蓝色字体部分，也就是1PB以上规模的，我们通常算作大数据级别。举一些大数据级别的例子：

数据按照结构可以分为结构化数据、非结构化数据、半结构化数据。

数据按照访问频率可以分为热数据、温数据、冷数据。

通过表格对传统数据和大数据进行对比：

1980年，美国作家阿尔文·托夫勒在《第三次浪潮》书中，将“大数据”称为“第三次浪潮的华彩乐章”。
1997年，美国宇航局研究员迈克尔·考克斯和大卫·埃尔斯沃斯首次使用“大数据”这一术语来描述海量数据带来的挑战。数据之大，超出了存储器的承载能力，称之为“大数据问题”。
2006年，云计算出现。2007-2008年，社交网络激增，刺激了大数据技术的发展。
2011年6月，麦肯锡发布报告，正式定义了大数据的概念，后逐渐受到了各行各业关注。
2012年1月瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》宣称，数据已经成为一种新的经济资产类别。
2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告(第13版)》。

2011年12月，工信部发布的物联网十二五规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这些是大数据的重要组成部分。
2014年，“大数据”首次出现在当年的《政府工作报告》中。《报告》中指出，要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。
2015年，大数据上升到国家战略层面，我国政府于2015年8月通过了《关于促进大数据发展的行动纲要》。
2015年10月26日至29日，党的十八届五中全会召开，公报提出要实施“国家大数据战略”，这是大数据第一次写入党的全会决议，标志着大数据战略正式上升为国家战略，五中全会开启了大数据建设的新篇章。
2022年，中共中央国务院《关于构建数据基础制度更好发挥数据要素作用的意见》，初步搭建我国数据基础制度20条政策举措，简称“数据二十条”。
2023年10月，国家数据局正式挂牌成立，负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设。