头歌实践教学平台:数据科学与大数据技术导论(七上) 七、大数据第1关大数据时代任务描述本关任务根据相关知识内容完成右边选择题。相关知识为了完成本关任务你需要掌握1.第三次信息化浪潮2.信息科技为大数据时代提供技术支撑3.数据产生方式的变革促成大数据时代的来临4.大数据的发展历程5.世界各国的大数据发展战略。第三次信息化浪潮根据 IBM 公司前首席执行官郭士纳的观点IT领域每隔 15 年就会迎来一次重大变革。1980 年前后个人计算机PC开始普及计算机逐渐走入企业和千家万户大大提高了社会生产力也使人类迎来了第一次信息化浪潮Intel、AMD、IBM、苹果、微软、联想等企业是这个时期的标志。随后在 1995 年前后人类开始全面进入互联网时代互联网的普及把世界变成“地球村”每个人都可以自由遨游于信息的海洋由此人类迎来了第二次信息化浪潮。这个时期也缔造了雅虎、谷歌、阿里巴巴、百度等互联网“巨头”。时隔 15 年在 2010 年前后云计算、大数据、物联网的快速发展拉开了第三次信息化浪潮的大幕大数据时代的到来也必将涌现出一批新的市场标杆企业。三次信息化浪潮信息化浪潮 发生时间 标志 解决问题 代表企业第一次信息化浪潮 1980 年前后 个人计算机 信息处理 Intel、AMD、苹果、微软、联想、戴尔、惠普等第二次信息化浪潮 1995 年前后 互联网 信息传输 雅虎、谷歌、阿里巴巴、百度、腾讯等第三次信息化浪潮 2010 年前后 物联网、云计算和大数据 信息爆炸 亚马逊、谷歌、IBM、VMware、Palantir、Hortonworks、Cloudera、阿里云等信息科技为大数据时代提供技术支撑如果没有强大的数据存储、传输和计算等技术能力缺乏必要的设施、设备大数据的应用就无从谈起。从这个意义上说信息科技进步是大数据时代的物质基础。信息科技需要解决信息存储、信息处理和信息传输 3 个核心问题。人类社会在信息科技领域的不断进步为大数据时代提供了技术支撑。1、存储设备容量不断增加数据被存储在磁盘、磁带、光盘、闪存等各种类型的存储介质中。随着科学技术的不断进步存储设备制造工艺不断升级、容量大幅增加、读写速度不断提升价格却在不断下降如下图所示存储价格随时间的变化情况早期的存储设备容量小、价格高、体积大例如IBM公司在1956年生产的一个早期的商业硬盘容量只有 5MB不仅价格昂贵而且体积有一个冰箱那么大如下图所示IBM公司在1956年生产的一个早期的商业硬盘而今天容量为 1TB 的硬盘大小只有 3.5in典型外观尺寸为 147mm长×102mm宽×26mm厚读写速度达到 200MB/s而且价格低廉。现在高性能的硬盘存储设备不仅提供了海量的存储空间还大大降低了数据存储成本。总体而言数据量和存储设备容量二者之间是相辅相成、互相促进的。一方面随着数据不断产生需要存储的数据量不断增长人们对存储设备的容量提出了更高的要求促使存储设备生产商制造更大容量的产品满足市场需求另一方面更大容量的存储设备进一步加快了数据量增长的速度。在存储设备价格高企的年代由于成本问题一些不必要或当前不能明显体现价值的数据往往会被丢弃但是随着单位存储空间价格的不断降低人们开始倾向于把更多的数据保存起来以期在未来某个时刻可以用更先进的数据分析工具从中挖掘价值。2、CPU处理能力大幅提升CPU 处理性能的不断提升也是促使数据量不断增长的重要因素。CPU 的性能不断提升大大提高了处理数据的能力使我们可以更快地处理不断累积的海量数据。从 20 世纪 80 年代至今CPU 的制造工艺不断提升晶体管数目不断增加运行频率不断提高核心Core数量逐渐增多而用同等价格所能获得的 CPU 处理能力也呈几何级数上升如下图所示。CPU上晶体管数目随时间变化的情况3、网络宽带不断增加1977 年世界上第一个光纤通信系统在美国芝加哥市投入商用数据传输速率达到 45Mbit/s从此人类社会的数据传输速率不断被刷新。进入 21 世纪世界各国更是纷纷加大宽带网络建设力度不断扩大网络覆盖范围提高数据传输速率。以我国为例截至 2019 年 12 月底我国互联网宽带接入端口数量达 9.16 亿个其中光纤接入端口占互联网接入端口的比重达 91.3%光缆线路总长度已达 4750 万千米相当于在京沪高铁线上往返 1.8 万余次。目前移动通信 4G 基站数量也已接近 520 万个我国 4G 网络的规模全球第一并且 4G 的覆盖广度和深度也在快速发展。与此同时我国正全面加速 5G 网络建设截至 2020 年 2 月底全国建设开通 5G 基站达 16.4 万个5G 网络建设基础不断夯实。由此可以看出在大数据时代数据传输不再受网络发展初期的瓶颈的制约。数据产生方式的变革促成大数据时代的来临从采用数据库作为数据管理的主要方式开始人类社会的数据产生方式大致经历了 3 个阶段而正是数据产生方式的巨大变化才最终导致大数据的产生。1、运营式系统阶段。数据库的出现使得数据管理的复杂度大大降低在实际使用中数据库大多为运营系统所采用作为运营系统的数据管理子系统如超市的销售记录系统、银行的交易记录系统、医院病人的医疗记录等。人类社会数据量的第一次大的飞跃正是在运营式系统开始广泛使用数据库时开始的。这个阶段的最主要特点是数据的产生往往伴随着一定的运营活动而且数据是记录在数据库中的例如商店每售出一件产品就会在数据库中产生一条相应的销售记录。这种数据的产生方式是被动的。2、用户原创内容阶段。互联网的诞生促使人类社会数据量出现第二次大的飞跃但是真正的数据爆发产生于 Web 2.0 时代而 Web 2.0 的最重要标志就是用户原创内容。这类数据近几年一直呈现爆炸性的增长。主要有以下两个方面的原因。1是以博客、微博和微信为代表的新型社交网络的岀现和快速发展使得用户产生数据的意愿更加强烈。2是以智能手机、平板电脑为代表的新型移动设备的出现这些易携带、全天候接入网络的移动设备使得人们在网上发表自己意见的途径更为便捷。这个阶段的数据产生方式是主动的。3、感知式系统阶段。人类社会数据量第三次大的飞跃最终导致了大数据的产生今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。随着技术的发展人们已经有能力制造极其微小的带有处理功能的传感器并开始将这些设备广泛地布置于社会的各个角落通过这些设备来对整个社会的运转进行监控。这些设备会源源不断地产生新数据这种数据的产生方式是自动的。简单来说数据产生经历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源但其中自动式的数据才是大数据产生的最根本原因。大数据的发展历程从发展历程来看大数据总体上可以划分为 3 个重要阶段萌芽期、成熟期和大规模应用期。大数据发展的 3 个重要阶段重要阶段 时间 内容萌芽期 约为上世纪90年代至本世纪初 随着数据挖掘理论和数据库技术的逐步成熟一批商业智能工具和知识管理技术开始被应用如数据仓库、专家系统、知识管理系统等成熟期 约为本世纪前十年 Web2.0 应用迅猛发展非结构化数据大量产生传统处理方法难以应对带动了大数据技术的快速突破大数据解决方案逐渐走向成熟形成了并行计算与分布式系统两大核心技术谷歌的 GFS 和 MapReduce 等大数据技术受到追捧Hadoop 平台开始盛行大规模应用期 约为2010年以后 大数据应用渗透各行各业数据驱动决策信息社会智能化程度大幅提高世界各国的大数据发展战略进入大数据时代世界各国都非常重视大数据发展。以美国、英国等为代表的发达国家非常重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用把发展大数据上升到国家战略的高度视大数据为重要的战略资源大力抢抓大数据技术与产业发展先发优势积极捍卫本国数据主权力争在大数据时代占得先机。世界各国的大数据发展战略国家 战略美国 稳步实施“三步走”战略打造面向未来的大数据创新生态英国 紧抓大数据产业机遇应对脱欧后的经济挑战法国 通过发展创新性解决方案并应用于实践来促进大数据发展韩国 以大数据等技术为核心应对第四次工业革命日本 开放公共数据夯实应用开发基础中国 实施国家大数据战略加快建设数字中国编程要求根据相关知识完成右侧选择题有任何问题都可以随时关注私信