一个网站有多少网页网站部分链接做301跳转

一个网站有多少网页,网站部分链接做301跳转,自己做了个网站,自己编程怎么做网站教程复习#xff1a;在前面我们已经学习了Pandas基础#xff0c;知道利用Pandas读取csv数据的增删查改#xff0c;今天我们要学习的就是探索性数据分析#xff0c;主要介绍如何利用Pandas进行排序、算术计算以及计算描述函数describe()的使用。 本文引用数据信息#xff0c;及…复习在前面我们已经学习了Pandas基础知道利用Pandas读取csv数据的增删查改今天我们要学习的就是探索性数据分析主要介绍如何利用Pandas进行排序、算术计算以及计算描述函数describe()的使用。本文引用数据信息及文章内容来源请先阅读动手学数据分析一1 第一章探索性数据分析1.6 了解你的数据吗整体思路在这一部分你会从几个小任务出发体会「探索性数据分析EDA」的核心思路通过排序、算术运算和描述性统计逐步提出问题、验证直觉、发现数据中的模式。1.6.1 任务一用 DataFrame 练习排序升序在这一部分你会用np.arange()和pd.DataFrame()手动构造一个小数据表学习如何设置行索引和列索引如何使用sort_values()、sort_index()按不同维度进行排序理解按「数据内容」排序 vs 按「行/列标签」排序的区别。1.6.2 任务二按票价和年龄对泰坦尼克号乘客排序降序在这一部分你会对真实的泰坦尼克号数据用sort_values(by[票价, 年龄], ascendingFalse)做多列排序并尝试观察票价高的乘客在生存上的差异练习从排序结果中总结出「业务含义」而不只是看代码输出。1.6.3 任务三DataFrame 之间的算术计算与对齐在这一部分你会创建两个有重叠/不完全相同行列标签的 DataFrame并用frame1_a frame1_b等操作理解Pandas 算术运算如何按「行列标签」自动对齐没有对齐上的位置为什么会变成NaN算术运算不仅是“加减乘除”更是「自动对齐 缺失值处理」的一部分。1.6.4 任务四计算泰坦尼克号上“最大家族人数”在这一部分你会通过text[兄弟姐妹个数] text[父母子女个数]来构造“家族规模”这一新特征并用max()找出船上最大家族的人数体验如何通过列之间的运算构造新特征如何用一个简单指标家族人数帮助理解数据中的人物关系。1.6.5 任务五用describe()获取数据的基本统计信息在这一部分你会对一个带缺失值的小型 DataFrame 使用describe()并理解count, mean, std, min, 25%, 50%, 75%, max各统计量的含义为什么describe()默认只统计数值型列如何通过.T转置让结果更方便阅读。1.6.6 任务六分析票价和“父母子女个数”的统计特征在这一部分你会对真实的泰坦尼克号数据使用text[票价].describe()分析票价分布和波动情况text[父母子女个数].describe()、(text[父母子女个数] ! 0).sum()观察有家属同行的乘客数量info()、value_counts()、nunique()等函数快速摸清数据的列类型、缺失情况、类别分布和唯一值数量。本章小结从函数到“分析思维”在这一部分你会意识到探索性分析不仅是熟悉 API更重要的是学会从结果中提出问题为后续的数据清洗和建模打下「理解数据」的基础开始之前导入numpy、pandas包和数据# 加载所需的库importnumpyasnpimportpandasaspd# 载入之前保存的train_chinese.csv数据关于泰坦尼克号的任务我们就使用这个数据textpd.read_csv(train_chinese.csv)text.head()1.6 了解你的数据吗教材《Python for Data Analysis》第五章1.6.1 任务一利用Pandas对示例数据进行排序要求升序# 具体请看《利用Python进行数据分析》第五章 排序和排名 部分#自己构建一个都为数字的DataFrame数据framepd.DataFrame(np.arange(8).reshape((2,4)),index[2,1],columns[d,a,b,c])frame【代码解析】pd.DataFrame() 创建一个DataFrame对象np.arange(8).reshape((2, 4)) :生成一个 2 行 4 列的二维数组第 1 行是 0,1,2,3第 2 行是 4,5,6,7。并重塑为2行4列的二维数组作为DataFrame的数据内容。index[‘2’, ‘1’] DataFrame 对象的行索引columns[‘d’, ‘a’, ‘b’, ‘c’] DataFrame 对象的列索引。# 大多数时候我们都是想根据列的值来排序,所以将你构建的DataFrame中的数据根据某一列升序排列frame.sort_values(byc,ascendingTrue)可以看到sort_values这个函数中by参数指向要排列的列ascending参数指向排序的方式升序还是降序ascendingTrue指定排序方式为升序从小到大。注意:原始的 frame 不会被修改除非加上 inplaceTrue 参数。【总结】下面将不同的排序方式做一个小总结# 让行索引升序排序frame.sort_index()# 让列索引降序排序frame.sort_index(axis1,ascendingFalse)# 让任选两列数据同时降序排序frame.sort_values(by[a,c],ascendingFalse)下面对这几种排序方式进行对比分析frame.sort_values(byc,ascendingTrue)# 按列 c 的值升序排序frame.sort_index()# 按行索引升序排序frame.sort_index(axis1)# 按列索引升序排序frame.sort_index(axis1,ascendingFalse)# 按列索引降序排序frame.sort_values(by[a,c],ascendingFalse)# 先按 a再按 c都降序排序1.frame.sort_values(byc, ascendingTrue)排序对象数据内容某一列的值排序依据先比较c列的值值小的排前面常用场景想按某一列的实际数据大小排序2.frame.sort_index()排序对象行索引index排序依据行标签如 ‘1’, ‘2’, …的字母或数字顺序常用场景想让行的顺序变得有序如从小到大3.frame.sort_index(axis1)排序对象列索引columns排序依据列标签如 ‘a’, ‘b’, …的字母或数字顺序常用场景让列的顺序变得有序如从 a 到 z4.frame.sort_index(axis1, ascendingFalse)排序对象列索引columns排序依据列标签的逆序如 z 到 a常用场景想让列从大到小排列5.frame.sort_values(by[a, c], ascendingFalse)排序对象数据内容多列的值排序依据先按a列降序排如果a相同再按c列降序排常用场景需要多重排序比如先按成绩再按年龄总结sort_index是按标签行或列名排序适合整理表头顺序。sort_values是按数据内容排序适合分析和查找极值、排名等。by[a, c]支持多列排序优先级从左到右。axis1控制是对行还是对列排序0为行1为列。ascending控制升序还是降序。实际应用时按内容排序更常用于数据分析按索引排序更常用于数据展示和整理。1.6.2 任务二对泰坦尼克号数据trian.csv按票价和年龄两列进行综合排序降序排列从数据中你能发现什么 在开始我们已经导入了train_chinese.csv数据而且前面我们也学习了导入数据过程根据上面学习我们直接对目标列进行排序即可 head(20) : 读取前20条数据 text.sort_values(by[票价,年龄],ascendingFalse).head(20)【思考】排序后如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好所以我们会明显看出票价前20的乘客中存活的有14人这是相当高的一个比例那么我们后面是不是可以进一步分析一下票价和存活之间的关系年龄和存活之间的关系呢当你开始发现数据之间的关系了数据分析就开始了。当然这只是我的想法你还可以有更多想法欢迎写在你的学习笔记中。1.6.3 任务三利用Pandas进行算术计算计算两个DataFrame数据相加结果# 具体请看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分#建立一个例子frame1_apd.DataFrame(np.arange(9.).reshape(3,3),columns[a,b,c],index[one,two,three])frame1_bpd.DataFrame(np.arange(12.).reshape(4,3),columns[a,e,c],index[first,one,two,second])frame1_aframe1_b#将frame_a和frame_b进行相加frame1_aframe1_b【提醒】两个DataFrame相加后会返回一个新的DataFrame对应的行和列的值会相加没有对应的会变成空值NaN。当然DataFrame还有很多算术运算如减法除法等有兴趣的同学可以看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分多在网络上查找相关学习资料。1.6.4 任务四通过泰坦尼克号数据如何计算出在船上最大的家族有多少人 还是用之前导入的chinese_train.csv如果我们想看看在船上最大的家族有多少人‘兄弟姐妹个数’‘父母子女个数’我们该怎么做呢 max(text[兄弟姐妹个数]text[父母子女个数])是的如上很简单我们只需找出兄弟姐妹个数和父母子女个数之和最大的数就行先让这两列相加返回一个Series然后用max函数求出最大值当然你还可以想出很多方法和思考角度欢迎你来说出你的看法。1.6.5 任务五学会使用Pandas describe()函数查看数据基本统计信息#(1) 关键知识点示例做一遍简单数据# 具体请看《利用Python进行数据分析》第五章 汇总和计算描述统计 部分#建立一个例子frame2pd.DataFrame([[1.4,np.nan],[7.1,-4.5],[np.nan,np.nan],[0.75,-1.3]],index[a,b,c,d],columns[one,two])frame2# 调用 describe 函数观察frame2的数据基本信息frame2.describe() count : 该列中非空非 NaN数据的数量。 mean : 样本数据的平均值 std : 样本数据的标准差 min : 样本数据的最小值 25% : 样本数据25%的时候的值 50% : 样本数据50%的时候的值 75% : 样本数据75%的时候的值 max : 样本数据的最大值 # frame2.describe().T# .T 是 DataFrame 的转置transpose操作会把行和列互换。1.6.6 任务六分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据你能发现什么 看看泰坦尼克号数据集中 票价 这列数据的基本统计数据 text[票价].describe()【思考】从上面数据我们可以看出一共有891个票价数据平均值约为32.20标准差约为49.69说明票价波动特别大25%的人的票价是低于7.91的50%的人的票价低于14.4575%的人的票价低于31.00票价最大值约为512.33最小值为0。当然这只是我的想法你还可以有更多想法欢迎写在你的学习笔记中。 通过上面的例子我们再看看泰坦尼克号数据集中 父母子女个数 这列数据的基本统计数据然后可以说出你的想法 text[父母子女个数].describe()(text[父母子女个数]!0).sum()查看数据基本信息info()非常强大可以一次性看到每一列的名称非空值的数量可以间接看出缺失值数据类型int, float, object 等内存占用text[父母子女个数].info()统计唯一值value_counts()统计某一列中每个值出现的次数非常适合分类数据比如性别、登船港口text[父母子女个数].value_counts()nunique()统计每一列有多少个不同的值。text.nunique()【思考】有更多想法欢迎写在你的学习笔记中。【总结】本节中我们通过Pandas的一些内置函数对数据进行了初步统计查看这个过程最重要的不是大家得掌握这些函数而是看懂从这些函数出来的数据构建自己的数据分析思维这也是第一章最重要的点希望大家学完第一章能对数据有个基本认识了解自己在做什么为什么这么做后面的章节我们将开始对数据进行清洗进一步分析。