机器学习是大数据、人工智能的核心，是从事这个领域的必经之路。但是懂得算法还远远不能体现机器学习的价值所在。如果你是开发者，方便的机器学习，为你涉入该领域提供了便捷。不过，能够确定一套高商业价值的模型，你需要很长的积淀。总结八个机器学习的核心能力以供把控方向。

　　1、问题模型化能力

　　机器学习的最终目的是实现某种问题的利益最大化，所有实际问题最终都会转化为一个数据科学的优化问题，那么就需要你有较好的行业背景认识。尽管海量数据会大量缩小你对行业熟知知识的要求，但数据往往不全是海量的，且熟悉的行业背景知识可大大提高效率。

　　2、复杂数据结构化能力

　　喂入算法是数据是设计好的，结构化了的数据，但实际数据往往有各种来源，如图像数据、文本数据、空间、事件序列。..故而合理的结构化数据的能力是很有必要的。

　　3、数据量、数据结构与数据合理预处理的能力

　　1）数据量VS异常值

　　所谓异常值，即不是缺失值，也不是错误值，同样是真实情况的表现，之所以觉得一个数据异常，是因为我们能够用到的数据量不够大，无法准确地代表整个此类数据的分布。故当数据量足够大时，异常值不再异常，且提升了数据的覆盖面，如个性化推荐。

　　2）数据平衡VS采样

　　如果数据分布均衡，应尽可能避免采样；因为上下采样都有其不利影响，上采样不得当，使得数据中存在大量相同的数据，会导致模型过拟合；下采样则必然减少数据信息量。

　　数据不平衡时，常见的处理方式有：

　　简单粗暴地复制小样本数量的样本——容易过拟合；

　　调整权重——其效果基本近似于上一种；

　　随机森林，使每棵树训练时的样本均衡；

　　观察导致样本不均衡的因素，或可在该因素下先分类，再分别训练模型。

　　4、理解特征、并可以有效转换特征的能力

　　海量数据特征中，必然有很多特征存在相关性，常常通过降维有效合并相关数据，这样，在防止了过拟合的同时，也缓解了计算机的负担；

　　有时特征经过转换后，预测效果更佳。如连续变量离散化、重新划分离散区间。..。

　　也可对特征重要性排序，绘制特征数量增加与模型预测结果的关系曲线。

　　5、选择适当算法的能力

　　1） 算法不是越复杂越好的，记住：同样的数据下，当所有模型拟合效果相近时，复杂度越小的算法，带来不必要的麻烦越小，可解释性也相对更高。

　　2） 在相同算法下，训练的效果会随着数据的增加而增加，但超过一定程度后，训练效果将趋于稳定，此时应该考虑更换复杂度较高的算法。

　　可以参考下图为数据选择合理的算法。

　　解析关于机器学习的八个核心

　　6、优化损失函数的能力

　　当数据分布不均、或需要为某个类别增加权重时，就需要调整损失函数的权值参数，或增加惩罚项。如通过在特定的错误类型上，增加更多的惩罚来解释它们的权重

　　7、模型训练与模型融合的能力

　　想要训练出一个好的模型参数也不简单，最好对算法参数有较深的理解。可以使用栅格搜索（GridSearchCV）辅助调参，但真正得到的好的参数，还需要与你长期的经验相结合。

　　有时单一的模型不能很好的拟合数据，此时可以将多个模型融合做训练，常见的模型融合有Boosting、Bagging两种。典型的如Adaboost、随机森林

　　8、区分经验误差与泛化误差

　　训练集上的效果不能代表实际效果，要得到好的实际预测效果，及减小泛化误差。交叉验证可以实现这一目的，不过最好还要准备一套测试数据来验证。通俗理解：交叉验证是高考前的各种模考，而最终测试数据的结果就是高考结果。

　　此外可以使用正则化来减小泛化误差。
第三十八届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。