Nutch 命令

http://blog.csdn.net/east271536394/article/details/8962720

/usr/local/hbase/bin/stop-hbase.sh

/usr/local/hbase/bin/start-hbase.sh

 bin/nutch inject urls

bin/nutch generate -topN 20
bin/nutch fetch -all
bin/nutch parse -all
bin/nutch updatedb

最新爬取内容 命令

bin/nutch inject urls

bin/nutch generate -topN 2000

bin/nutch fetch -all

bin/nutch parse -all

bin/nutch updatedb

 bin/nutch  solrindex http://127.0.0.1:8080/solr/  -reindex

2.

./bin/nutch inject urls

bin/nutch crawl urls -dir urls -depth 20 -topN 500000 -threads 4&>crawl.log &

bin/nutch crawl urls -dir urls -depth 6 -topN 2000 -threads 2&>crawl.log &

bin/nutch crawl urls -dir urls -depth 6 -topN 1000 -threads 1>crawl.log &

bin/nutch crawl urls -dir crawl.demo -depth 2 -threads 4 >& crawl.log

bin/nutch crawl urls -dir urls  -depth 2 -threads 4 >& crawl.log

 bin/nutch  solrindex http://127.0.0.1:8080/solr/  -reindex

./bin/nutch solrindex http://127.0.0.1:8080/solr/ -reindex

php对mongodb的扩展(初出茅庐)_php技巧

http://blog.leeio.com/index.php/index/view/1226.html
php对mongodb的扩展(初出茅庐)_php技巧
我们的php mongodb也能做mysql、sqlserver能做的几乎所有功能,本文将详细介绍
一、操作符
操作符相信大家肯定都知道了,就是等于、大于、小于、不等于、大于等于、小于等于,但是在mongodb里不能直接使用这些操作符。在mongodb里的操作符是这样表示的:
(1) $gt > (大于)
(2) $lt  < (小于)
(3) $gte  >= (大于等于)
(4) $lt  <= (小于等于)
(5) $ne  != (不等于)
(6) $in  in (包含)
(7) $nin  not in (不包含)
(8) $exists  exist (字段是否存在)
(9) $inc  对一个数字字段field增加value
(10) $set  就是相当于sql的set field = value
(11) $unset  就是删除字段
(12) $push  把value追加到field里面去,field一定要是数组类型才行,如果field不存在,会新增一个数组类型加进去
(13) $pushAll  同$push,只是一次可以追加多个值到一个数组字段内
(14) $addToSet  增加一个值到数组内,而且只有当这个值不在数组内才增加。
(15) $pop  删除最后一个值:{ $pop : { field : 1 } }删除第一个值:{ $pop : { field : -1 } }注意,只能删除一个值,也就是说只能用1或-1,而不能用2或-2来删除两条。mongodb 1.1及以后的版本才可以用
(16) $pull  从数组field内删除一个等于value值
(17) $pullAll  同$pull,可以一次删除数组内的多个值
(18) $ 操作符  是他自己的意思,代表按条件找出的数组里面某项他自己。这个比较坳口,就不说了。
二、CURD 增、改、读、删
增加
复制代码 代码如下:
db.collection->insert({‘name’ => ‘caleng’, ’email’ => ‘admin#admin.com’});
是不是灰常简单呀,对就是这么简单,它没有字段的限制,你可以随意起名,并插入数据
修改
复制代码 代码如下:
db.collection.update( { “count” : { $gt : 1 } } , { $set : { “test2” : “OK”} } ); 只更新了第一条大于1记录
db.collection.update( { “count” : { $gt : 3 } } , { $set : { “test2” : “OK”} },false,true ); 大于3的记录 全更新了
db.collection.update( { “count” : { $gt : 4 } } , { $set : { “test5” : “OK”} },true,false ); 大于4的记录 只加进去了第一条
db.collection.update( { “count” : { $gt : 5 } } , { $set : { “test5” : “OK”} },true,true ); 大于5的记录 全加进去
查询
复制代码 代码如下:
db.collection.find(array(‘name’ => ‘bailing’), array(’email’=>’email@qq.com’))
db.collection.findOne(array(‘name’ => ‘bailing’), array(’email”email@qq.com’))
大家可以看到查询我用了两种不同的写法,这是为什么,其实这跟做菜是一样的,放不同的调料,炒出的菜是不同的味道。下面给大家说一下,这两种调料的不同作用。
findOne()只返回一个文档对象,find()返回一个集合列表。
也就是说比如,我们只想查某一条特定数据的详细信息的话,我们就可以用findOne();
如果想查询某一组信息,比如说一个新闻列表的时候,我们就可以作用find();
那么我想大家这时一定会想到我想对这一个列表排序呢,no problem mongodb会为您全心全意服务
复制代码 代码如下:
db.collection.find().sort({age:1}); //按照age正序排列
db.collection.find().sort({age:-1}); //按照age倒序排列
db.collection.count(); //得到数据总数
db.collection.limit(1); //取数据的开始位置
db.collection.skip(10); //取数据的结束位置
//这样我们就实现了一个取10条数据,并排序的操作。
删除
删除有两个操作 remove()和drop()
复制代码 代码如下:
db.collection.remove({“name”,’jerry’}) //删除特定数据
db.collection.drop() //删除集合内的所有数据
distinct操作
复制代码 代码如下:
db.user.distinct(‘name’, {‘age’: {$lt : 20}})
噢!一口气写太多了,大家看太多也不易消化。今天就到这里吧,明天接着写php对mongodb的操作,尽请期待哦!不能再写了,不然的话明天会变熊猫。good night. have a good dream.

MariaDB+Keepalived双主高可用配置MySQL-HA

http://www.cnblogs.com/wander1129/p/mariadb-ha.html

MariaDB+Keepalived双主高可用配置MySQL-HA

利用keepalived构建高可用MySQL-HA,保证两台MySQL数据的一致性,然后用keepalived实现虚拟VIP,通过keepalived自带的服务监控功能来实现MySQL故障时自动切换。
硬件拓扑如下:
VIP:192.168.1.200
mysql1:192.168.1.201
mysql2:192.168.1.202
操作系统:CentOS release 6.3(32位)
MySQL版本:MariaDB 5.5.31 Stable
下载地址(64位请下载64版本):https://downloads.mariadb.org/f/mariadb-5.5.31/kvm-tarbake-jaunty-x86/mariadb-5.5.31.tar.gz/from/http:/mirrors.scie.in/mariadb
Keepalived版本:Version 1.2.7
下载地址:http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
一、配置Centos运行环境:
执行:
rpm -qa|grep mysql
rpm -e mysql
yum -y remove mysql-server mysql
yum -y remove php-mysql
移除系统自带的mysql
yum -y install yum-fastestmirror
yum -y update
更新系统软件;
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
yum install -y ntp
ntpdate -d cn.pool.ntp.org
date
设置时区并同步系统时间
#Disable SeLinux
if [ -s /etc/selinux/config ]; then
sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/config
fi
ldconfig
关闭安全增强
cat >>/etc/security/limits.conf<<eof
* soft nproc 65535
* hard nproc 65535
* soft nofile 65535
* hard nofile 65535
eof
cat >>/etc/sysctl.conf<<eof
fs.file-max=65535
eof
修改文件句柄的最大数量
安装一些必备软件
yum -y install gcc gcc-c++ gcc-g77 ncurses-devel bison libaio-devel cmake libnl* libpopt* popt-static openssl-devel
二、安装maridDB:
1、下载相关软件源码包
[root@localhost down]# wget https://downloads.mariadb.org/f/mariadb-5.5.31/kvm-tarbake-jaunty-x86/mariadb-5.5.31.tar.gz/from/http:/mirrors.scie.in/mariadb
2、配置编译器,提高性能
CFLAGS=”-O3″
CXX=gcc
CXXFLAGS=”-O3 -felide-constructors -fno-exceptions -fno-rtti”
3、开始安装mariadb
添加mysql用户和用户组
[root@localhost down]# groupadd mysql
[root@localhost down]# useradd -s /sbin/nologin -M -g mysql mysql
解压mariadb
[root@localhost down]# tar -zxvf mariadb-5.5.31
[root@localhost down]# cd mariadb-5.5.31
安装到/usr/local/mariamysql目录:
[root@localhost down]# cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mariamysql -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_FEDERATED_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1 -DEXTRA_CHARSETS=all -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_DEBUG=0 -DBUILD_CONFIG=mysql_release -DFEATURE_SET=community -DWITH_EMBEDDED_SERVER=OFF && make && make install
复制配置文件到/etc/my.cnf
[root@localhost down]# cp /usr/local/mariamysql/support-files/my-huge.cnf /etc/my.cnf
设置mariamysql为系统服务
[root@localhost down]# cp /usr/local/mariamysql/support-files/mysql.server /etc/init.d/mariamysql
初始化mariaDB数据库:
[root@localhost down]# /usr/local/mariamysql/scripts/mysql_install_db –basedir=/usr/local/mariamysql/ –datadir=/usr/local/mariamysql/data/ –user=mysql
至此mariaDB安装完成。
三、keepalived安装:
1、下载源码包:
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
2、安装:
[root@localhost down]# tar -zxvf keepalived-1.2.7.tar.gz
[root@localhost down]# cd keepalived-1.2.7
[root@localhost keepalived-1.2.7]# ./configure –prefix=/usr/local/keepalived
安装到/usr/local/keepalived目录下;
至此keepalived安装完毕。
四、分别在201和202两台机器上都重复二,三安装好mariaDB和keepalived。
五、配置201数据库服务器:
1、设置mariaDB数据库配置文件:
[root@localhost /]# vi /etc/my.cnf
确保/etc/my.cnf中有如下参数,没有的话需手工添加,并重启mysql服务。
[mysqld]
log-bin=mysql-bin
#启动二进制文件
server-id=1
#服务器ID
设置完毕启动mariaDB服务器
[root@localhost /]# service mariamysql start
2、登录mysql,然后在增加一个账号专门用于同步,如下:
[root@localhost /]# /usr/local/mariamysql/bin/mysql -uroot -p #初始密码为空到Enter password:处直接回车即可

MariaDB [(none)]> grant replication slave on *.* to ‘backup’@’192.168.1.202’ identified by ‘backup’; flush privileges;

显示master状态:
MariaDB [(none)]> show master status;
记录下File和Position然后在202上面设置从201同步。
六、配置202数据库服务器:
[root@localhost /]# vi /etc/my.cnf
确保/etc/my.cnf中有如下参数,没有的话需手工添加,并重启mysql服务。
[mysqld]
log-bin=mysql-bin
#启动二进制文件
server-id=10(此处要设置的跟201不同)
#服务器ID
设置完毕启动mariaDB服务器。
[root@localhost /]# service mariamysql start
登录数据库:
[root@localhost /]# /usr/local/mariamysql/bin/mysql -uroot -p
输入:
MariaDB [(none)]> change master to master_host=’192.168.1.201′,master_user=’backup’,master_password=’backup’,master_log_file=’mysql-bin.000010′,master_log_pos=245;
注意:245对应上面在201上面记下的Position,mysql-bin.000010对应201上面记录的File
执行成功后,输入命令显示从库状态:
MariaDB [(none)]> show slave status \G;

Slave_IO_Running: Yes
Slave_SQL_Running: Yes
两项都显示Yes时说明从201同步数据成功。
至此201为主202为从的主从架构数据设置成功!
七、设置201和202互为主从:
1、202机器上增加一个帐号专门用于同步数据:
MariaDB [(none)]> grant replication slave on *.* to ‘backup’@’192.168.1.201’ identified by ‘backup’; flush privileges;
2、显示202做为主库时的状态:
MariaDB [(none)]> show master status;
3、在201数据库服务器上:
MariaDB [(none)]> change master to master_host=’192.168.1.202′,master_user=’backup’,master_password=’backup’,master_log_file=’mysql-bin.000005′,master_log_pos=5005;
注意:5005对应上面在202上面记下的Position,mysql-bin.000005对应202上面记录的File
显示状态:
MariaDB [(none)]> show slave status \G;
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
两项都显示Yes时说明从202同步数据成功。
至此201、202互为主从设置成功!
可以试试在这两台服务器上任何一台增加一个数据库,并建个表,增加一些数据看看,互为主从同步的状态是否成功!
首先在201上面:
MariaDB [(none)]> create database mysqltest;
MariaDB [(none)]> use mysqltest;
MariaDB [mysqltest]> create table user(id int(5),name char(10));
MariaDB [mysqltest]> insert into user values (00001,’zhangsan’);
在202上面验证一下:
MariaDB [(none)]> use mysqltest;
MariaDB [mysqltest]> select * from user;
会发现201上面的数据已经自动同步到202上面了
同样在202上面:
MariaDB [mysqltest]> insert into user values (00002,’wander’);
在201上面验证一下:
MariaDB [mysqltest]> select * from user;
互为主从结构设置完毕
注意:如果同步不成功,首先要确保服务器3306端口打开的。
centos可以用service iptables stop关闭防火墙。
八、利用keepalived实现高可用
keepalived实现虚拟IP,通过keepalived自带的服务监控功能来实现MySQL故障时自动切换;
1、keepalived设置:
201服务器上面,编辑keeplaived.conf配置文件:
[root@localhost /]# vi /usr/local/keepalived/etc/keepalived/keepalived.conf
配置文件内容如下:
! Configuration File for keepalived

global_defs {
router_id mysql-ha
}

vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 201
priority 100 #优先级,高优先级竞选为master
advert_int 1
nopreempt #设置为不抢占 注:这个配置只能设置在backup主机上,而且这个主机优先级要比另外一台高,另一台不要设置这个选项
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.1.200
}
}

virtual_server 192.168.1.200 3306 {
delay_loop 2
lb_algo rr
lb_kind DR
persistence_timeout 60
protocol TCP
real_server 192.168.1.201 3306 {
weight 1
notify_down /usr/local/keepalived/etc/keepalived/mysql.sh
TCP_CHECK {
connect_port 3306
connect_timeout 3
nb_get_retry 2
delay_before_retry 1
}
}
}
~

编辑mysql服务停止后的切换脚本:mysql.sh
[root@localhost /]# vi /usr/local/keepalived/etc/keepalived/mysql.sh
内容如下:
#!/bin/bash
pkill keepalived
2、启动201上面的keepalived
[root@localhost /]# /usr/local/keepalived/sbin/keepalived -f /usr/local/keepalived/etc/keepalived/keepalived.conf -D
查看:
启动成功后会有三个keepalived进程
此是在任一局域机器上面ping 192.168.1.200发现已经可以ping通,并且用192.168.1.200这个IP也能够连接到数据库服务器。
3、在202机器上面重复1、2步骤;
配置keepalived.conf文件的时候注意要把
real_server 192.168.1.201 3306改为 real_server 192.168.1.202 3306
virtual_router_id 201 改为virtual_router_id 202
priority 100改为priority 90
去掉nopreempt
至此MariaDB+Keepalived双主高可用配置MySQL-HA设置完毕。
可以试着把201上面的mariaDB停止
[root@localhost /]# service mariamysql stop;
会发现连接192.168.1.200还是可以连接上去的,keepalived会自动切换到202的服务器上面去。这样,当一台数据库服务器发生故障时,另一台服务器可以立即切换过来,保证高可用。