DBA 数据库 db4 写入、查询测试

可以先看看这里的简介 DBA数据库 (这里没有提到db4,现在应该使用db4)

安装:

打开php.ini 确定 php_dba.dll 已经载入。

之后就可以使用dba函数库了。

这个数据,就是简单的 key=>value模式,和memcache差不多。

写入和查询速度都是非常快的。

如果是本机简单测试,可以使用 inifile 模式。

不过正式服务器上,一定要使用db4模式读写,因为其他模式比较慢,inifile就更慢了,还没有fopen快,所以inifile只能测试。

现在测试一下dba数据库的写入速度

每条数据是1k,写入速度分别是: 
10000条       1.71057009697
100000条      21.7869038582
1000000条    765.130697012

每条数据是2k,写入速度分别是: 
10000条       1.13584280014
100000条      25.066011906
1000000条     704.676019907

每条数据是3k,写入速度分别是: 
10000条       0.865121126175
100000条      24.7635490894
1000000条     745.992260933

每条数据是6k,写入速度分别是: 
10000条       4.17641997337
100000条      102.979793072
1000000条     1891.55883002

 可以看出,如果每条数据不超过3k的情况下,写入速度还是非常快的,而且大致都在一个范围内。(当然,这个速度还和服务器性能有关系)

 这是对测试结果做出的压力测试:

读取1000000数据的bdb库(3.9G左右),每次读取10-100条数据,每条数据的键,分别是1-1000000之间

This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking si.adtest.com (be patient)
Server Software:        Apache/2.2.9
Server Hostname:        si.adtest.com
Server Port:            80

Document Path:          /test_bdb/r.php
Document Length:        37 bytes

Concurrency Level:      700
Time taken for tests:   2.558 seconds
Complete requests:      700
Failed requests:        555
   (Connect: 0, Receive: 0, Length: 555, Exceptions: 0)
Write errors:           0
Total transferred:      193705 bytes
HTML transferred:       26405 bytes
Requests per second:    273.62 [#/sec] (mean)
Time per request:       2558.262 [ms] (mean)
Time per request:       3.655 [ms] (mean, across all concurrent requests)
Transfer rate:          73.94 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    2   1.4      2       7
Processing:    82  471 118.6    517     559
Waiting:       26  443 118.9    484     544
Total:         82  473 119.2    519     559

Percentage of the requests served within a certain time (ms)
  50%    519
  66%    524
  75%    528
  80%    533
  90%    539
  95%    542
  98%    547
  99%    552
 100%    559 (longest request)

发表在 数据库 | 留下评论

低科技圣经

在忙碌的都市中已经习惯这样生活,我们一直被这样教育着:“要跟上时代的步伐,要让生活变得充实。”

远离都市,会让你变得空虚,难道真的是空虚吗?只是那颗 焦躁不安的心,并没有沉淀下来,去享受原始的安宁。

有时候怀念那种原始,又希望原始中,能有现代化的东西相伴。

  低科技圣经

  《Better Off:Flipping the Switch on Technology》

  作者艾瑞克·布兰迪(Eric Brende)原本在麻省理工学院攻读“科学、技术与社会”。五年前的一天,他关上电脑,突然问了自己一个问题,“我上瘾了吗?”不是对药物,而是对技术。这位虔诚的天主教徒开始怀疑,文明社会层出不穷的高科技,到底有多少是人们真正需要的?那些节省劳动力的高科技设备,真的减轻工作吗?还是让我们变得更累?到底是技术改善人的生活,还是现代人在拿自己的生命去适应机器?人和机器之间到底应该保持什么样的关系?

  为了回答这些问题,他带着新婚妻子玛丽,从高科技的大本营MIT搬到一个原始的阿门宗派社区,那里没有文明社会最基本的动力——电。他们在那里住了18个月,没有电视、电脑,没有空调、暖气,但夏天有凉风,冬天烧壁炉,他们几乎不开汽车,也没有洗衣机,连肥皂都是自己动手做的。他妻子喜欢用手洗衣,这是一项不错的有氧运动。他们自己种南瓜,看着第一个孩子出生。他们发现,这种近乎原始人的生活是一种解脱,而不是束缚,在城市里疯狂赚钱大把消费的快感远远比不上这里自食其力,以低收入支付低开销所获得的闲适感和愉悦感。现代技术不断创造新的虚假需求——对燃油、空间、金钱和时间,但让人们遗忘了更重要的精神追求,对于家庭,对于社会,甚至思考本身。现在艾瑞克·布兰迪住在圣·路易斯的一幢简朴公寓里,维持城市里最低的技术需求,靠造肥皂和拉旅游人力车维持生机。

  技术极简主义

  一个叫迈克·马恩的软件工程师,30岁,德州人,有两台笔记本电脑,两台台式电脑,8个电子邮箱,3个不同版本的Outlook,还在各大门户散落着多个冲突的日程表。有一天,他终于无法忍受这种邋遢的数字生活,咬咬牙卖掉了一台笔记本电脑和两台台式电脑,注销了7个E-mail邮箱,只保留了Gmail账号,取消了邮箱里所有无用的订阅杂志,把书签都存在 del.icio.us上,所的日程安排统统归到Yahoo的在线日程表上。他甚至卸掉了Word程序,转用Dos系统下的文本文件,蓝色背景下输入灰色字符,没有任何窗口,甚至不需要鼠标,速度奇快,从不死机。

  简化复杂的数字生活,提倡技术的“极简主义”原则,重新启用低科技,在如今的极客圈内颇为流行。2003年年底,一个叫丹尼·布赖恩的技术专栏作家给70个“变态工作狂”写信(大部分为软件工程师),问他们为什么能保持这么高的工作效率?结果他发现,这些人的工作方法都相当“低科技”——没有PDA,没有日程规划软件,只是在写字板上写下自己一天要做的事情,或者给自己发一封邮件,提醒自己一天要注意的事情,还有人干脆在桌上贴一张黄色的小报事贴。一年后,丹尼·布赖恩在麻省理工学院的一次新兴技术展会上做了一次非常轰动的演讲,“我们的生活已经被乱七八糟的高新科技搞得越来越复杂,是提倡低科技的时候了”。但他并不全盘否定新技术,所谓低科技,只是崇尚“简单”和“舒服”。

  高科技的本意是提高工作效率,但讽刺的是,IT精英们往往最容易被周围环境所干扰。一些我们认为能大大提高工作效率的东西,最终往往证明最浪费时间。两年前,一家美国公司禁止员工使用E-mail,因为它比面对面谈话,或者打电话要费时费力得多,据称这一举措能让那家公司每年节省2000万美元。其实,只要你坐在一台计算机前,就不可避免干扰和分心,尤其在网络上,层层链接就像无底洞一样让你没完没了地点下去。本来你只打算花10分钟时间写一封邮件,但一个小时后,你发现自己什么都没做,只打开了七八个莫名其妙的窗口,还有几个MSN聊天窗口在闪烁着一些无关紧要的闲话。

  复古设计的情绪

  2003年阿迪达斯的三叶草重上鞋架时,鞋底镶嵌微型芯片的智能跑鞋阿迪达斯1号已经在实验室测试完毕了。苹果的袖珍桌面音箱iPod Hi-Fi标价349美元时,木头外壳的电子管音响却开始悄悄在发烧友中流行。模拟技术到数字技术的转变曾经被当作90年代全球商业格局变化的内因,电加热座椅,倒车雷达,感性式空调,汽车制造商在最近10年间疯狂地往汽车4个轮子上装电子部件,而电子产品本身在延续18个月升级一次的摩尔定律,以及8个月酝酿一种新潮流的手机设计方针,已经让全球年轻一代对所谓的新潮和时尚刺激不再有反应,复古反而成了小众口味的大趋势。

  一个叫尼古拉斯·若普的英国青年早就玩起了科技复古,他的Pokia被《纽约时报》家庭版策划人阿斯鲁·萨拉斯视作复古情绪的新电子玩具。不仅仅是因为Pokia取了一个挑逗诺基亚的名字,尼古拉斯·若普利用各种老旧电话的听筒,将其连接到各种新款手机之上,黑色的电话线耷拉在外套口袋边缘,看起来就如同20年前朋克腰间的狗链一样。之所以他用P替代诺基亚开头的N,正是寓意着低科技含量版的Nokia,从耳机与话筒分离的古董电话到二战中盟军的无线电台,各种传统电话听筒都被他重新改装,30美元起价一套Pokia。他接受《纽约时报》家庭版采访时解释道:“我用手机也已经有将近10年了,它们变得越来越小,功能越来越多,但设计却在倒退。那种简单、耐用、专注、单一的设计思想已经迷失了。”很多数字技术时代的复古技术,正是希望找回简单的感觉。这恰恰与罗马俱乐部那本著名的《增长的极限》相吻合,人口、工业发展、粮食、不可再生的自然资源和污染,这五项罗马俱乐部在1968年成立时的研究指标,早已经不再仅仅是寻找人类出路的衡量坐标,纠正现有问题的新态度、新政策和新制度彻底被用在了产品设计上,复古设计暗含的可持续发展情绪被人为放大了。

发表在 生活工作 | 留下评论

定时备份网站、数据的shell脚本

加入crontab -e后,每天早上5定时,开始开始执行备份脚本。
#0 5 * * * /bak/bak.sh

以下是bak.sh 备份脚本,只保留最近7天的备份
假设 网站目录为: /var/www/d5s/, 备份目录为: /bak/


#!/bin/bash
cd /var/www/
/bin/tar -czf /bak/$(date +%F)_d5s.tar.gz d5s
/bin/rm -f /bak/$(date +%F –date=’7 days ago’)_d5s.tar.gz

/usr/bin/mysqldump –opt -uusername -ppassword your_data > /bak/$(date +%F)_d5s.sql
/bin/rm -f /bak/$(date +%F –date=’7 days ago’)_d5s.sql

发表在 服务器&PC | 留下评论

利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统

转自:http://blog.s135.com/read.php/362.htm

这么牛X的数据库,为什么没人广泛采用呢?

估计

1、大部分人 不了解这东西;

2、项目管理层的人也许了解,但不敢尝试。

希望能有机会用到这样的好东西。

Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库,该数据库读写非常快,哈希模式写入100万条数据只需0.643秒,读取100万条数据只需0.773秒,是 Berkeley DB 等 DBM 的几倍。

点击在新窗口中浏览此图片


Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议,也可以通过HTTP协议进行数据交换。

Tokyo Tyrant 加上 Tokyo Cabinet,构成了一款支持高并发的分布式持久存储系统,对任何原有Memcached客户端来讲,可以将Tokyo Tyrant看成是一个Memcached,但是,它的数据是可以持久存储的。这一点,跟新浪的Memcachedb性质一样。

相比Memcachedb而言,Tokyo Tyrant具有以下优势:

1、故障转移:Tokyo Tyrant支持双机互为主辅模式,主辅库均可读写,而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离,支持“主服务器可读写、辅助服务器只读”模式。

点击在新窗口中浏览此图片

这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器,是因为当 Memcache 客户端使用 addServer 服务器池时,是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的,PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制,当 addserver 了2台 Memcached 服务器,而其中1台宕机了,那么 current_server_num 会由原先的2变成1。

引用 memcached 官方网站和 PHP 手册中的两段话:

引用

http://www.danga.com/memcached/
If a host goes down, the API re-maps that dead host’s requests onto the servers that are available.

http://cn.php.net/manual/zh/function.Memcache-addServer.php
Failover may occur at any stage in any of the methods, as long as other servers are available the request the user won’t notice. Any kind of socket or Memcached server level errors (except out-of-memory) may trigger the failover. Normal client errors such as adding an existing key will not trigger a failover.


2、日志文件体积小:Tokyo Tyrant用于主辅同步的日志文件比较小,大约是数据库文件的1.3倍,而Memcachedb的同步日志文件非常大,如果不定期清理,很容易将磁盘写满。


3、超大数据量下表现出色:

点击在新窗口中浏览此图片

但是,Tokyo Tyrant 也有缺点:在32位操作系统下,作为 Tokyo Tyrant 后端存储的 Tokyo Cabinet 数据库单个文件不能超过2G,而64位操作系统则不受这一限制。所以,如果使用 Tokyo Tyrant,推荐在64位CPU、操作系统上安装运行。


一、安装
1、首先编译安装tokyocabinet数据库

wget http://blog.s135.com/soft/linux/memcached/tokyocabinet-1.3.1.tar.gz
tar zxvf tokyocabinet-1.3.1.tar.gz
cd tokyocabinet-1.3.1/
./configure
make
make install
cd ../

2、然后编译安装tokyotyrant

wget http://blog.s135.com/soft/linux/memcached/tokyotyrant-1.0.0.tar.gz
tar zxvf tokyotyrant-1.0.0.tar.gz
cd tokyotyrant-1.0.0/
./configure
make
make install
cd ../


二、配置
1、创建tokyotyrant数据文件存放目录

mkdir -p /ttserver/

2、启动tokyotyrant的主进程(ttserver)
(1)、单机模式

ulimit -SHn 51200
ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch

(2)、双机互为主辅模式
服务器192.168.1.91:

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tch

服务器192.168.1.92:

ulimit -SHn 51200
ttserver -host 192.168.1.92 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tch

(3)、参数说明
ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
-port num : 指定需要绑定的端口号。默认端口号为1978
-thnum num : 指定线程数。默认为8个线程。
-tout num : 指定每个会话的超时时间(单位为秒)。默认永不超时。
-dmn : 以守护进程方式运行。
-pid path : 输出进程ID到指定文件(这里指定文件名)。
-log path : 输出日志信息到指定文件(这里指定文件名)。
-ld : 在日志文件中还记录DEBUG调试信息。
-le : 在日志文件中仅记录错误信息。
-ulog path : 指定同步日志文件存放路径(这里指定目录名)。
-ulim num : 指定每个同步日志文件的大小(例如128m)。
-uas : 使用异步IO记录更新日志(使用此项会减少磁盘IO消耗,但是数据会先放在内存中,不会立即写入磁盘,如果重启服务器或ttserver进程被kill掉,将导致部分数据丢失。一般情况下不建议使用)。
-sid num : 指定服务器ID号(当使用主辅模式时,每台ttserver需要不同的ID号)
-mhost name : 指定主辅同步模式下,主服务器的域名或IP地址。
-mport num : 指定主辅同步模式下,主服务器的端口号。
-rts path : 指定用来存放同步时间戳的文件名。

如果使用的是哈希数据库,可以指定参数“#bnum=xxx”来提高性能。它可以指定bucket存储桶的数量。例如指定“#bnum=1000000”,就可以将最新最热的100万条记录缓存在内存中:

ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

如果大量的客户端访问ttserver,请确保文件描述符够用。许多服务器的默认文件描述符为1024,可以在启动ttserver前使用ulimit命令提高这项值。例如:

ulimit -SHn 51200

3、停止tokyotyrant(ttserver)

ps -ef | grep ttserver

找到ttserver的进程号并kill,例如:

kill -TERM 2159


三、调用
1、任何Memcached客户端均可直接调用tokyotyrant。

2、还可以通过HTTP方式调用,下面以Linux的curl命令为例,介绍如何操作tokyotyrant:
(1)、写数据,将数据“value”写入到“key”中:

curl -X PUT http://127.0.0.1:11211/key -d “value”

(2)、读数据,读取“key”中数据:

curl http://127.0.0.1:11211/key

(3)、删数据,删除“key”:

curl -X DELETE http://127.0.0.1:11211/key

发表在 数据库 | 留下评论

MYSQL 主从服务器配置

mysql服务器的主从配置,本来是一件很简单的事情,无奈不是从零开始,总是在别人已经安装好的mysql服务器之上 ,这就会牵扯到,mysql的版本,启动文件,等一些问题。

不过没关系,先问清楚两点

1、mysql配置文件my.cnf的位置

2、如何启动、停止mysql,找好启动文件

假设有两台机器,已经安装好了mysql(尽量同版本,且两台机器同一网络,可以ping通)

有朋友说:“从服务器,不能低于主服务器的版本”,不过我是低于的,没有出现问题。

主机A: 192.168.1.100

从机B:192.168.1.101

可以有多台从机

1、先登录主机 A

mysql>GRANT REPLICATION SLAVE ON *.* TO ‘backup’@’192.168.1.101‘ IDENTIFIED BY ‘123456’;

赋予从机权限,有多台丛机,就执行多次

2、 打开主机A的my.cnf,输入

server-id               = 1    #主机标示,整数
log_bin                 = /var/log/mysql/mysql-bin.log   #确保此文件可写
read-only       =0  #主机,读写都可以
binlog-do-db    =test   #需要备份数据,多个写多行
binlog-ignore-db=mysql #不需要备份的数据库,多个写多行

3、打开从机B的my.cnf,输入

server-id               = 2
log_bin                 = /var/log/mysql/mysql-bin.log
master-host     =192.168.1.100
master-user     =backup
master-pass     =123456
master-port     =3306
master-connect-retry=60 #如果从服务器发现主服务器断掉,重新连接的时间差(秒)
replicate-do-db =test #只复制某个库
replicate-ignore-db=mysql #不复制某个库

4、同步数据库

有多种方法,我说最笨的一种,先mysqldump导出主机A的数据test为 test.sql

然后在,从机B上建立数据库test,mysql导入 test.sql到test库中

5、先重启主机A的mysql,再重启从机B的mysql

6、验证

在主机A中,mysql>show master status\G;

在从机B中,mysql>show slave status\G;

能看到大致这些内容

File: mysql-bin.000001
Position: 1374
Binlog_Do_DB: test
Binlog_Ignore_DB: mysql

可以在主机A中,做一些INSERT, UPDATE, DELETE 操作,看看主机B中,是否已经被修改
以下是一些其他朋友写的,我也做了参考

http://www.ningoo.net/html/2007/mysql_replication_configuration.html

http://leftleg.hzpub.com/post/645/

http://blog.zhangjianfeng.com/article/705

发表在 数据库 | 3 条评论

让老插件在firefox3.x上正常运行的简易方法

虽然firefox3出来有一段时间了,但是它的一些插件并没有跟上更新,尤其是鼠标手势,没这个,简直是干什么都不爽。

以下方法,试用了,好像没发现任何问题。

打开firefox3.0
在地址栏输入  about:config   回车
这时firefox会有一个风险确认提示,点击继续执行按钮。

在界面上 点击鼠标右键 新建一个布尔值 boolean
名称为 extensions.checkCompatibility
值为 false
确认

现在重新启动firefox,你会发现之前在3.0下被禁用的 extensions 重新生效了

转自:http://www.lupaworld.com/43/viewspace_61075.html

发表在 服务器&PC | 留下评论