-
用于文档关键字提取的TFIDF指标
关键字提取问题 在大规模网络文章整合的过程中，我们经常需要对某一篇文章提取关键字。比如对于某一篇关于计算机的文章，我们应该提取出类似于“计算机”、“编程”、“CPU”之类的符合人类认知习惯的关键词，但是这个过程却不是那么容易。现在，我们把问题归结为，在不使用机器学习方法的情况下，给定一个文档集，仅从单词频率等角度对文档集当中的某一篇文档进行考虑，期望能够对于该篇文章，我们能从文章中依次提取出最有代表性的关键词。 我们很容易想到的方法就是统计每个词的词频了，但是对于任何文章而言，出现频率最多的…
-
用投影法矫正字符旋转
这是段简单的代码，目的是处理旋转验证码的问题，主要思想就是通过将字符以45°到135°的角度投影下来，得到一系列的投影范围，然后得到这当中投影长度最小的一个角度。这个角度我们就可以简单的把他看成是字符的偏转角。然后用这个角度通过仿射变换得到矫正后的字符。 代码 #coding=utf-8 import cv2,os,sys,Image,math import numpy as np from pylab import * %matplotlib inline def getBinary(…
-
机器学习中分类准确率的评估方法
对机器学习的分类结果进行分析是一个很重要的过程，之前一直忽略了这一个过程，一直到使用了Scikit-learn之后才发现有一堆不懂的名词需要学习。下面主要解释下混淆矩阵、准确率、召回率、f1-score等概念。这些概念其实也是模式识别和信息检索里面经常碰到的东西。 混淆矩阵（Confusion Matrix） 混淆矩阵其实很好理解，就是把预测值和实际值写在同一个矩阵里。假设总共需要分为两类，那么混淆矩阵就是2x2的大小。每一行就是每一类的实际值，每一列就代表的是每一类的预测值。具体含义见下…
-
Scikit-learn包基本使用
Scikit-learn的包是机器学习使用的最全也是实用的包，封装了许多机器学习算法，包括各种分类、回归、聚类、降维、模型选择、预处理等许多方面的内容，提供了相当于黑盒的接口，非常适合初学者使用。 在朋友的推荐下发现了Kaggle这个网站，这里面有很多的机器学习的数据和基本的题目，通过这些练习可以比较好的掌握机器学习的算法。因此就在这当中拿了Titanic号遇难人员的预测做了个实验。其实做法十分简单，权当熟悉框架了。 题目要求 题目给定了Titannic号上人员的信息（包括阶层、姓名、性…
-
朴素贝叶斯分类器
简述 朴素贝叶斯分类器是机器学习中最基础的分类算法了，之前一直忽视这个算法，感觉这种简单利用贝叶斯公式的方法的确很Naive。但是事实上这个算法在对于特征相互独立的分类问题来说还是非常好用的。其基本思想就是在给定在各种情况下一个事件发生的先验概率的情况下，套用贝叶斯公式求出给定各种情况下给定事件发生的后验概率。思想非常简单，但是在某些情况下效果还是非常好的，值得掌握。 贝叶斯公式 贝叶斯公式很简单了，对于事件A和事件B，下面的公式显然成立： $$P(A|B)=\frac{P(A)P(B…
-
利用Caffe与lmdb读写图像数据
由于有关caffe的开发资料实在太少，单单是这个问题就困扰了我半天。最后终于找到了一个大腿----beenfrog，也是一个正在学习caffe框架的研究人员。博客mark下，以后有问题可以去这里找。 本文代码部分主要参考于此文。 简述 lmdb是一种轻量级的数据库，caffe中主要就是使用lmdb模块来进行图像数据集的保存。据说是因为lmdb有读取速度快，支持多线程、多进程并发，等这样那样的优点（具体见官网，虽然我暂时没有看出来，据我所知网上查找lmdb文档的人大都仅仅是为了使用caff…
-
Caffe深度学习框架搭建
前言 在整理最近学习的知识时，突然意识到机器学习与深度学习的差别。之前学的gd算法，logistic回归算法，svm算法等都属于机器学习的范畴，而深度学习与他们其实是并列的关系，同属机器学习这个大的范畴。个人认为深度学习其实是曾经没落的BP神经网络的发展，可以说神经网络就是趁着深度学习的浪潮借尸还魂的。不过，深度学习想要理解起来也不是那么容易的。既然如此，我们何不搭建一个黑盒环境，先直观感受一下深度学习的魅力再慢慢研究呢？这里我们用到的工具就是Caffe深度学习框架。 简介 说道Caff…
-
最小二乘法简述
最小二乘法，说白了其实就是解决线性回归问题的一个算法。这个算法最早是由高斯和勒让德分别独立发现的，也是当今十分常见的线性拟合算法，并不复杂。 我们常用的最小二乘法有两种，一种是普通方程表示的简单线性拟合问题，另一种是矩阵表示的高维度的线性拟合问题。 普通最小二乘法 他解决的基本问题其实就是给定一些数对$(x_1,y_1),(x_2,y_2),(x_3,y_3),....$，让你求出参数$\beta_0,\beta_1$，使得直线$y=\beta_0+\beta_1 x$能够最好的拟合这个…
-
libsvm库的使用
看了下svm（支持向量机）的实现原理，感觉基础的部分还是不难懂的，但是如果要自己动手实现的话还是有很大难度的，况且自己写的效果肯定不太好。于是就在网上找了一个大牛写的svm库，实现了多种分类方式，而且涵盖了几乎所有常见语言的接口，用起来方便而且效果也很好。 概述 LIBSVM是台湾大学林智仁(Lin Chih-Jen)教授等开发设计的，综合使用了包括线性函数，多项式函数，径向基函数，sigmoid函数等在内的不同分类方式，而且支持包括C/C++，python，java，matlab，Oct…
-
自制正方软件系统验证码的识别程序（4/4）
效果 最后总的效果还是不错的，从测试集上面看，单个字符的识别准确率平均能达到90%左右，最好的时候达到过93%。我想这也差不多达到了优化的极限了，毕竟在图片样子不标准，位置更不标准。而且仅仅在截取子图这一步上就会与实际情况有些出入，况且一些细微的差别就算是人脑也容易出错，比如1和7、i和j等等。加上我使用整个数据集的量不算大，满打满算也就500张图，所以能进行33个字符的识别已经挺不错的了。官网上60000张图的数据集的学习也差不多达到了93%而已。 总结 代码就是这样了，不算多，也就小…