NumPy和Pandas的优势和使用场景
NumPy和Pandas的优势和使用场景
NumPy和Pandas是Python数据科学领域中两个最重要的库，它们分别在数值计算和数据分析方面发挥着核心作用。本文将详细介绍这两个库的优势、使用场景以及它们之间的关系，帮助读者更好地理解如何在实际项目中选择和使用它们。
一、简介
NumPy：
・numpy专为数值计算设计，提供了高效的数组对象（ndarray），支持广播机制，能够极大地提升数值计算的效率。
・numpy的核心数据结构是ndarray，它支持高维数组操作，非常适合处理大规模数值数据，ndarray中所有元素必须是相同类型。
・numpy提供了大量的数学函数和操作，如矩阵运算、向量运算、线性代数、傅里叶变换等，方便进行复杂的数值计算。
总结：Numpy作为Python中的第三方库，主要用于处理数值数据。
Pandas：
・pandas是Python中的一个数据分析库，它提供了一些用于处理数据的函数和数据结构。
・Pandas可以说是基于NumPy构建的含有更高级数据结构和分析能力的工具包。
・含有Series和DataFrame两个核心数据结构，分别代表一维的序列和二维的表结构。
・基于这两种数据结构，Pandas可以对数据进行导入、清洗、处理、统计和输出。
总结：pandas作为Python中的第三方库，主要是数据结构化，有助于数据分析和统计。
pandas和numpy的关系:
功能定位对比
NumPy（Numerical Python的简称）主要用于数值计算，它提供了多维数组对象、一系列派生对象以及用于快速操作数组的函数。NumPy数组是内存中的连续块，提供了高效的数组操作，是许多其他数据科学库（如Pandas、SciPy、Matplotlib等）的基础。
Pandas则是一个提供高性能、易于使用的数据结构和数据分析工具的Python库。它主要用于数据处理和分析，包括数据清洗、转换、聚合以及时间序列分析等。Pandas提供了两种主要的数据结构：Series（一维数组，带标签）和DataFrame（二维表格型数据结构，带行列标签），使得数据操作更加直观和灵活。
数据结构对比
NumPy的核心数据结构是ndarray（n-dimensional array），它是一个固定大小的同类型元素的多维数组。ndarray支持大量的数学运算，如矩阵运算、统计函数等，且运算速度非常快。
Pandas则提供了更加丰富的数据结构，包括Series和DataFrame。Series是一维数组，带有标签（轴索引），可以存储任何数据类型的数据。DataFrame是一个二维表格型数据结构，可以存储多种类型的数据，并且带有行索引和列标签。这种灵活的数据结构使得Pandas在处理实际数据问题时更具优势。
性能对比
NumPy由于其高度优化的底层实现和内存中的连续存储，使得它在数值计算方面表现出色。对于大规模的数值运算，NumPy通常比纯Python代码快几个数量级。
Pandas是基于numpy数组构建的，在数据处理方面同样具有高效的性能。虽然它的操作可能不如NumPy的数值计算那样快速，但Pandas提供了丰富的数据处理功能，使得开发者能够方便地进行数据清洗、转换和聚合等操作。此外，Pandas还支持并行计算和向量化操作，进一步提高了数据处理的速度。
数据处理能力对比
Pandas在数据处理方面具有显著的优势。它提供了丰富的数据处理函数和方法，包括数据清洗（缺失值处理、重复值处理等）、数据转换（类型转换、映射等）、数据聚合（分组、聚合函数等）以及时间序列分析等功能。这些功能使得Pandas成为数据分析和数据预处理领域的首选工具。
相比之下，NumPy虽然也提供了基本的数组操作和数据处理功能，但其主要关注于数值计算和科学计算领域。对于复杂的数据处理任务，NumPy可能不如Pandas那么直观和方便。
配合使用的优势
・数据导入与预处理
Pandas提供了多种数据导入功能，可以轻松读取CSV、Excel、SQL等多种格式的数据。一旦数据被导入为Pandas的DataFrame或Series对象，就可以利用NumPy的数组操作功能进行高效的数值计算。这种配合使得数据导入和预处理变得简单而高效。
・数值计算与统计分析
NumPy的数组操作功能使得它在进行数值计算和统计分析时具有显著的优势。例如，可以利用NumPy进行矩阵运算、线性代数计算、统计函数计算等。在处理完数值计算后，可以将结果转换回Pandas的数据结构，以便进行进一步的数据处理和分析。
・可视化与报告输出
Pandas和NumPy都可以与可视化库（如Matplotlib、Seaborn等）和报告输出工具（如Jupyter Notebook、Pandas的Excel输出功能等）无缝集成。通过结合这些工具，可以将数据分析的结果以直观、美观的方式呈现出来，方便与他人分享和交流。
为什么用pandas不用for循环?
性能优化：Pandas是专门为数据分析设计的，它使用C语言编写的底层代码来优化性能。相比之下，Python的for循环在数据处理时通常较慢，尤其是当处理大型数据集时。Pandas能够利用向量化操作（即对数据的批量操作）来显著提高数据处理的速度。
易于使用和可读性：Pandas提供了大量简洁、直观的函数和方法来处理数据，这些函数通常比手动编写for循环更易于理解和使用。Pandas的API设计得非常人性化，让数据分析和处理变得更加简单快捷。
减少代码量：使用Pandas，你可以用更少的代码行完成同样的任务。例如，你可能需要编写多行代码来用for循环遍历DataFrame的每一行，并应用一些函数或条件逻辑。而Pandas可能只需要一行或几行代码就能完成相同的任务。
减少错误：手动编写for循环时，很容易出现索引错误、类型错误或逻辑错误。Pandas提供了强大的数据结构和数据验证功能，可以减少这类错误的发生。
数据整合和分析：Pandas不仅提供了数据处理的基本功能，还内置了数据整合、分组、合并、筛选、排序等多种高级功能。这些功能对于数据分析师来说非常重要，而使用for循环实现这些功能会非常复杂且效率低下。
与NumPy等库的兼容性：Pandas与NumPy等科学计算库紧密集成，这使得在Pandas DataFrame中直接使用NumPy数组变得非常高效和方便。NumPy是Python中用于大规模数值计算的重要库，其性能非常优异。
数据清洗和预处理：Pandas提供了丰富的数据清洗和预处理功能，如缺失值处理、异常值检测、类型转换等。这些功能对于数据分析和机器学习模型训练前的数据准备非常重要。
综上所述，Pandas以其高性能、易用性、代码简洁性和丰富的功能集，在数据分析和处理领域成为了首选工具之一。尽管在某些特定情况下使用for循环可能是必要的或更合适的，但在大多数情况下，使用Pandas会是一个更好的选择。
注意：在转df时 进行分组聚合操作后 显示出的数据结构会使用元组的操作（对元组知识进行补充，会元组的不用看！）
Python 的元组与列表类似，不同之处在于元组的元素不能修改，也不能增加元素或删除元素，以上操作不能进行的原因:“元”的意义有最小单位，不可修改之意。
# 元组的创建
tup1 = ('a','b',1,2)
print(type(tup1))
#结果
<class 'tuple'>
# * 注意元组中只包含一个元素时，需要在元素后面添加逗号 , 否则括号会被当作运算符使用。
示例代码如下
tup1 = (50)
tup2 = (50,)
#结果：
<class 'int'>
<class 'tuple'>
# 元组的基本操作
# 元组的切片，索引用法跟列表相同
示例代码：
tup1 = ('a','b',1,2)
test = tup1[0:2]
print(test)
# 结果
('a', 'b')
#拼接生成新的元组
tup1 = ('a','b',1,2)
tup2 = ('e','f',6,7)
tup3 = tup1 + tup2
print(tup3 )
#结果
('a', 'b', 1, 2, 'e', 'f', 6, 7)
#重复
tup1 = ('a','b',1,2)
tup2 = tup1 *3
print(tup2 )
#结果
('a', 'b', 1, 2, 'a', 'b', 1, 2, 'a', 'b', 1, 2)
#获取长度
tup1 = ('a','b',1,2)
length = len(tup1 )
二、创建数据
1.数据结构
NumPy：
注意：numpy是通用的同构数据多维容器，其中的所有元素必须是相同类型的
Pandas：
注意：一维数据结构为Series，多维是Dataframe
Series：
由一组数据 和 索引组成，索引在左边，值在右边
DataFrame：
是一个表格型的数据结构，既有行索引（index）也有列索引（columns），它可以被看做由Series组成的字典（共用同一个索引）且每列可以是不同的值类型（