剖析IForest:用于金融风控中的反欺诈算法

 

iForest用于挖掘异常数据,如网络安全中的攻击检测和流量异常分析。我们主要使用它在风控场景中做欺诈行为挖掘,算法对内存要求很低,且处理速度很快,其时间复杂度也是线性的。可以很好的处理高维数据和大数据,并且也可以作为在线异常检测。
继续阅读剖析IForest:用于金融风控中的反欺诈算法

感知机、逻辑回归、支持向量机- 伯克利机器学习入门教程 翻译二

原文:Machine Learning Crash Course: Part 2

在这一节中我们将介绍机器学习算法中的一个:感知机算法,这个算法是现在大多机器学习算法的基础,最知名的神经网络也在内,此外,我们还将探讨感知机算法的兄弟-逻辑回归算法,然后我们会简单介绍一下支持向量机(这可能是如今使用的最灵活的算法)

继续阅读感知机、逻辑回归、支持向量机- 伯克利机器学习入门教程 翻译二

分类、回归-伯克利机器学习入门教程翻译一

原文:Machine Learning Crash Course: Part 1

什么是机器学习?

几乎所有的机器学习算法都是在完成一个任务:画线。 机器学习从一堆数据中学习,画一条线(或面..)以区分或者预测未知的输入。
继续阅读分类、回归-伯克利机器学习入门教程翻译一

vsftpd + iptables设置

以前配置的vsftpd是无防火墙的版本, 只要常规配置就行,不用管iptables,直到最近又有公司内部需求需要使用ftp时,重启该台服务器的vsftpd服务,发现怎么都用不了,才惊觉因为该台服务器部署了应用的原因,开启了iptables。

一开始我只在iptables设置了21、20端口的开放,并不能用。

才想起来ftp有主动模式和被动模式.在服务端开21端口是让客户端进来,并没有出去的端口,还在服务端开启出去的端口,最后还要添加ftp相应的模块,把整个操作记一下,加深自己的理解,也备个份。

1、开启被动模式并设置端口

vim /etc/vsftpd/vsftpd.conf

 

pasv_enable=YES                        –开启被动模式

pasv_min_port=30000                    –被动模式最小端口

pasv_max_port=31000                  –被动模式最大端口

 

2、端口过滤

vim /etc/sysconfig/iptables

-A INPUT -p tcp -m multiport –dport 20,21  -m state –state NEW -j ACCEPT  –开启20,21端口
-A INPUT -p tcp -m state –state NEW -m tcp –dport 21 -j ACCEPT            –开启21主动端口
-A INPUT -p tcp –dport 30000:31000 -j ACCEPT            –开启被动端口

tomcat 7.x查询乱码

做过爬虫,所以看出来是gbk乱码..

7.x和8.x的的默认配置应该不同,8,x没有这个问题

配置tomcat / conf/ server.xml

所有涉及connector的加上资源定位符的编码 URIEncoding=”UTF-8″ ,比如:

<Connector port=”7080″ protocol=”HTTP/1.1″ connectionTimeout=”20000″ redirectPort=”7443″ URIEncoding=”UTF-8″ />

jsonp跨域实践

前端:(利用jquery)
var fd = new FormData();
        $.ajax({
            async: false,
	    type: "get",
            url: action , //action
            dataType : 'jsonp',
	    jsonp: 'jsoncallback', //回调函数,作get参数传给后台
        }).done(function (rst) {
            //....do something,回调函数,写处理传回数据的方法

        });
后台:
打印response格式:
request.args.get('jsoncallback') + '(' + jsondata ')' ;
//python的方法,打印get请求中jsoncallback的值以及用()包含你要传回的数据。

整个原理很简单:
ajax不允许跨域,
前端其实是运行了一个js脚本,
而后台对应的内容就是一段js代码
$(jsoncallback)(data);
那么就会运行前端预置的jsoncallback函数,通过回调的方式,把数据传回来了,你再在jsoncallback中写好处理的方法。

MySQL全文搜索-布尔全文搜索

一个SELECT查询中的LIKE语句来执行这种查询,尽管这种方法可行,
但对于全文查找而言,这是一种效率极端低下的方法,尤其在处理大量数据的时候。

从5.6以后的版本。innodb也支持full text,之前只有myiasm支持full text, 当操作是大量读的时候,可使用myiasm,性能比innodb优越,但涉及事务的话,还是要选择innodb的。

继续阅读MySQL全文搜索-布尔全文搜索