• 0
  • 0
分享
  • 学习大数据需要具备的数学基础——软件测试圈
  • 北极 2021-12-22 14:41:43 字数 1163 阅读 602 收藏 0

提到大数据,很多人首先联想到的是每天要和一堆数据相处,数学必须要很好,当然,大数据的学习确实需要一定的数学基础,但是也有一定的侧重点。

大数据有很多细分方向,如大数据开发、大数据分析、大数据挖掘、大数据运维等,不同方向对数学的要求是不同的,但是如果想更好的学习大数据,还是需要有一定的数学基础。

1. 概率论与数理统计

这部分与大数据技术开发的关系非常密切,条件概率、独立性等基本概念、随机变量及其分布、多维随机变量及其分布、方差分析及回归分析、随机过程(特别是Markov)、参数估计、Bayes理论等在大数据建模、挖掘中就很重要。大数据具有天然的高维特征,在高维空间中进行数据模型的设计分析就需要一定的多维随机变量及其分布方面的基础。Bayes定理更是分类器构建的基础之一。除了这些这些基础知识外,条件随机场CRF、隐Markov模型、n-gram等在大数据分析中可用于对词汇、文本的分析,可以用于构建预测分类模型。

当然以概率论为基础的信息论在大数据分析中也有一定作用,比如信息增益、互信息等用于特征分析的方法都是信息论里面的概念。

2. 线性代数

这部分的数学知识与大数据技术开发的关系也很密切,矩阵、转置、秩 分块矩阵、向量、正交矩阵、向量空间、特征值与特征向量等在大数据建模、分析中也是常用的技术手段。

在互联网大数据中,许多应用场景的分析对象都可以抽象成为矩阵表示,大量Web页面及其关系、微博用户及其关系、文本集中文本与词汇的关系等等都可以用矩阵表示。比如对于Web页面及其关系用矩阵表示时,矩阵元素就代表了页面a与另一个页面b的关系,这种关系可以是指向关系,1表示a和b之间有超链接,0表示a,b之间没有超链接。著名的PageRank算法就是基于这种矩阵进行页面重要性的量化,并证明其收敛性。

以矩阵为基础的各种运算,如矩阵分解则是分析对象特征提取的途径,因为矩阵代表了某种变换或映射,因此分解后得到的矩阵就代表了分析对象在新空间中的一些新特征。所以,奇异值分解SVD、PCA、NMF、MF等在大数据分析中的应用是很广泛的。

3. 最优化方法

模型学习训练是很多分析挖掘模型用于求解参数的途径,基本问题是:给定一个函数f:A→R,寻找一个元素a0∈A,使得对于所有A中的a,f(a0)≤f(a)(最小化);或者f(a0)≥f(a)(最大化)。优化方法取决于函数的形式,从目前看,最优化方法通常是基于微分、导数的方法,例如梯度下降、爬山法、最小二乘法、共轭分布法等。

4. 离散数学

离散数学的重要性就不言而喻了,它是所有计算机科学分支的基础,自然也是大数据技术的重要基础。

大数据正在悄然改变我们的世界,搜索引擎、交通出行、金融分析、医疗健康、娱乐消费、数据挖掘等领域,无处不在,因此,现在选择选择学习大数据正当时!


文章来源:百度文库

  • 【留下美好印记】
    赞赏支持
登录 后发表评论
+ 关注

热门文章

    最新讲堂

      • 推荐阅读
      • 换一换
          •   根据韩联社报道,三星和百思买在美国遭遇集体诉讼,原因是他们涉嫌虚假宣传部分三星 QLED 4K 电视的功能,这起诉讼是由加州中区法院的 Ray Kim Law 律师事务所于周一提起的。  据诉讼文件显示,三星的部分 QLED 4K 电视并未配备该公司和百思买所宣传的 Motion Xcelerator Turbo+、FreeSync 或 HDMI 2.1 端口。通常情况下,一些电视较小尺寸的版本缺乏某些功能。例如,43 英寸版本的 The Frame TV 不支持 120Hz 刷新率,而其他尺寸的电视则具有该功能。  Motion Xcelerator Turbo + 是一种通过插帧提高内...
            0 0 676
            分享
          • 1.什么是接口?接口测试主要用于外部系统与系统之间以及内部各个子系统之间的交互点,定义特定的交互点,然后通过这些交互点来,通过一些特殊的规则也就是协议,来进行数据之间的交互。2.接口都有哪些类型?接口一般分为两种:程序内部的接口系统对外的接口系统对外的接口:比如你要从别的网站或服务器上获取资源或信息,别人肯定不会把数据库共享给你,他只能给你提供一个他们写好的方法来获取数据,你引用他提供的接口就能使用他写好的方法,从而达到数据共享的目的。程序内部的接口:方法与方法之间,模块与模块之间的交互,程序内部抛出的接口,比如bbs系统,有登录模块、发帖模块等等,那你要发帖就必须先登录,那么这两个模块就得有...
            8 8 707
            分享
          •   靠谱测试人员除了需要具备业务分析能力、洞察BUG能力等,还需要具备一定的硬实力,也就是常说的专业技术能力。比如:测试用例设计、抓包工具、性能测试功能、数据库、测试服务器维护等等。  1.掌握测试基础知识  基础知识就是根基,根基打好了,你才能够更有效地往后期发展,也就是为了以后的学习做一个铺垫。如果根基都没打好,功能测试不会,就想直接学性能,那性能是做不好的。  2.娴熟运用测试工具  熟悉工具和熟练使用工具完全是两个概念,熟悉工具基本上等同于不会,遇到过很多简历上写会使用什么什么工具,都没有实际能力。比如loadrunner只会一个简单的录制,增强一下脚本,觉得会用了,那知识会用了1/5...
            0 0 771
            分享
          •   以下准则出自Ron Patton《Software Testing》一书,在测试职位工作多年后,对其中的准则体会颇深,分享以下10条实用性超强的准则及其在工作中的实践,建议在工作中多加参考:  1、完全测试一个程序是不可能的。(It’s Impossible to Test a Program Completely.)  实践:根据项目时间、资源、风险、用户要求等,有选择地去测试。  2、软件测试是一种基于风险的活动。(Software Testing Is a Risk-Based Exercise.)  实践:一般新功能、常用功能、默认配置属于高风险,需要优先测试,分配较多资源,而回归...
            0 0 438
            分享
          •   春节刚过,ChatGPT便快速引爆了资本圈与AI圈,很多从业者把它“吹爆了”。  OneFlow深度学习框架创始人袁进辉告诉新浪财经,ChatGPT的技术进步,可比作首次“登月”,这样的进步令行业感到震惊。但出门问问创始人兼CEO李志飞虽然也肯定了ChatGPT的变革,但表示“它所知道的答案是缺乏逻辑起点和推理规则,只是一个空中楼阁。“  为此,新浪财经开通了“chat.openai.com”官网账号上,对ChatGPT进行了实测,看看它究竟有没有那么神奇?能引领AI风口,还是昙花一现?  实测ChatGPT,究竟有没有那么神奇?  “ChatGPT的体验已经是目前最好的了,甚至可以当作谷...
            0 0 1218
            分享
      • 51testing软件测试圈微信