特征工程中的缩放和编码的方法总结

通过这样的处理，训练集和测试集的特征数据会按照相同的缩放方式进行处理，从而保持一致性。这有助于在训练模型时避免特征数据的量纲差异对模型产生不良影响。这一步使用训练集的均值和标准差来对测试集进行标准化处理，确保使用相同的缩放参数。对训练集和测试集的特征数据进行缩放是一个常见的做法。这一步会计算训练集的均值和标准差，并将训练集进行标准化处理。

可以看到，这时候4，被编码成[0,0,0,0]，这样虽然不会报错，但是会造成一定的信息损失，因此，如果需要构建模型，之前踩坑场景：GBDT+LR复合模型，对数据落在GBDT中每颗树的叶子结点下标进行独热编码，再放入LR中构建模型；2、使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。这个方法其实和OneHotEncoder差不多，但是不能训练数据，因此无法入模使用，只能用于数据分析。注意：Quantity列为数值型，并没有编码，编码的都是字符串型。

最近学习机器学习，接触到独热编码相关内容，参考了一些资料，加上自己的思考，做出了如下总结。

sklearn.preprocessing包提供了几个常见的实用函数和转换类，将原始特征向量改变为更适合下游机器学习的表示。 2. MinMaxScaler 3.MaxAbsScaler 4.QuantileTransformer 5.Normalization 6.序数编码 7.热独编码 8.PolynomialFeatures 9.FunctionTransformer 参考：https://zhuanlan.zhihu.com/p..

前些天在100-Days-Of-ML-Code上回答了一个关于数据拆分与特征缩放的顺序先后的一个issue，感觉挺有争议性的，故单独拎出来做下笔记说明。我的观点是：机器学习工程中，应该先进行数据划分，再进行特征缩放。出于严谨性，本篇文章是从机器学习-数据挖掘方面进行数据拆分与特征缩放的顺序问题阐述，同时也欢迎大家一起讨论这个问题。 问题阐述 关于数据拆分与特征缩放的顺序先后问题，一般会在工...

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货译者：张峰 ，Datawhale成员结构总览特征工程传统编程的关...

Scikit-learn 数据预处理之健壮缩放RobustScaler 1 声明 本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。 2 RobustScaler简介 RobustScaler通过中位数和四分位距来缩放。使用于对异常值比较敏感的情况。 应用场景： 离群值较多的数据时。 3 RobustScaler import pandas as pd from skle...

做数据分析，尤其是数据建模，一半的时间都会花费在数据预处理上。但不进行预处理又不可行，因为不处理就不能很好地进行数据压缩和可视化，也不能满足模型对数据的要求。数据预处理重要又费时，如何提高数据预处理的效率呢？数据去量钢化预处理四大方法来了， python帮你轻松实现。一、去量钢化四大方法1. 标准化（StandardScaler）StandardScaler使每个特征的平均值为0，方差为1。优点是...

做数据分析，尤其是数据建模，一半的时间都会花费在数据预处理上。但不进行预处理又不可行，因为不处理就不能很好地进行数据压缩和可视化，也不能满足模型对数据的要求。 数据预处理重要又费时，如何提高数据预处理的效率呢？数据去量钢化预处理四大方法来了， python帮你轻松实现。 01.去量钢化四大方法 标准化（StandardScaler） StandardScaler使每个特征的平均值为0，方差为1。优点是确保每一个特征都在同一个数量级上，缺点是不能保证每个特征的最大值和最小值。 鲁棒标量化（RobustS

1. sk.preprocessing 预处理模块 1.1 无量纲化 使不同规格数据转换成同一规格，包括标准化和区间缩放法 1.1.1 标准化 标准化前提是其特征值服从正态分布。因此将其标准化后转换成标准正太分布。 标准化需要计算特征均值和标准差，直接调用sklearn.preprocessing.StandardScaler即可 from sklearn.preprocessing import StandardScaler #标准化，返回值为标准化后的数据 StandardScaler

数值特征是结构化竞赛中重要的特征，也是需要处理的特征。一般而言数值特征的操作，包括如下几个方面：离群点处理缺失值填充缩放处理编码处理缺失值填充如果使用非树模型，则需要考虑对数值特征进行填充...

这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。 9.为什么归一化能提高求解最优解速度？ 如下图所示，两张图代表数据是否均一化的最优解寻解过程（圆圈可以理解为等高线）。左图表示未经归一化操作的寻解过程，右图表示经过归一化后的寻解过程。 当使用梯度下降法寻求最优解时，很有可能走“之字形”路线（垂直等高线走），从而导致需要迭代很多次才能收敛；而右图对两个原始特...

scikit-learn中RobustScaler的计算方法如下： 其中viv_ivi​表示样本的某个值。medianmedianmedian是样本的中位数，IQRIQRIQR是样本的 四分位距

学习目标： 1、无量纲化：最值归一化、均值方差归一化及sklearn中的Scaler 2、缺失值处理 3、处理分类型特征：编码与哑变量 4、处理连续性特征：二值化与分段 知识整理： 【1】 数据归一化/标准化（normalization），是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于...