部署一个Redis作为缓存进行验证，记录部署过程。 官网： http://redis.io/ 目前最近稳定版为2.6.14。解压，进入目录。按照README文件的指引进行编译和验证。 在解压后的根目录执行 $>make 执行后，可以通过 $>make test 进行验证,基本看到的就是一堆OK。 编译完成，启动Redis服务。进入src...

Storm是Twitter开源的一个实时计算框架，它需要依赖Zookeeper，ZeroMQ；同时还需要你的系统环境中有Java和Python。所以整个搭建步骤如下： 1. 搭建Zookeeper集群。 2. 在控制节点机[ Nimbus ]和工作节点机[ Supervisor ]上安装相同的环境（ZeroMQ，JZMQ，Java，Python等） 3. 在控制节点机[ N...

利用JPPF进行并行计算，计算任务运行在远端节点上，那么如何收集运行在远端的任务日志，用于跟踪和分析呢？ JPPF框架对此也有封装，主要的实现思路是，通过自定义实现一个log4j的appender，对外提供JMX服务。客户端（监控端）实现一个监听器，监听远端日志，这样即可把远端日志采集到本地进行统一的管理。这对于我们收集和管理并行计算实时日志是非常有用的。具体看一下： 在没个执行任务...

不算什么深入的研究，主要是了解下JPPF中类的加载和隔离机制。 JPPF中类的加载采用的是分布式类加载技术。这样既可在Node节点运行在node上并不存在的类。也就是类可以仅在用户的Client端存在。 如图，JPPF的class loader大致分三层。 System class loader是由JVM控制的加载器，用于启动node节点。在大多数JVM中是，该loader是...

先说一个挺有意思的事情，就在OneCoder准备记录试用过程的时候，给大家截图下载页面的时候，发现最新版本变成3.3.4了。于是，我也只好重新下载了：） 关于JPPF的介绍，可访问其官网：http://www.jppf.org 下载页面：http://www.jppf.org/downloads.php 想要运行JPPF并行计算任务，需要至少一个Node节点(执行任务的节点)，一个...

最近用Hessian4.0.7做文件上传，先给出自己做试验的样例代码，写在tomcat7下，采用servlet3.0，配置代码如下： ** * 基于Servlet3.0的，相当于以前<b>web.xml</b>配置文件的配置类 * * @author OneCoder * @Blog http://www.coderli.com * @date 2012...

记录卸载过程和问题。现有环境Cloudera Manager + (1 + 2 )的CDH环境。 1、先在Manage管理端移除所有服务。 2、删除Manager Server 在Manager节点运行 $ sudo /usr/share/cmf/uninstall-cloudera-manager.sh 如果没有该脚本，则可以手动删除，先停止服务： sudo servi...

1、安装JDK。之前在部署Hadoop的时候已经安装完成。 2、下载解压HBase。 3、配置HBase数据存储路径，虽然单机模式可以使用本地文件系统，不过OneCoder还是配置HDFS文件系统。 修改hbase-site.xml <configuration> <property> <name>hbase.rootdir...

事务日志使得事务更加高效。每次数据改变的时候，存储引擎可以在内存中修改数据拷贝而不用每次都修改磁盘上数据。这速度很快。随后存储引擎会修改记录写入事务日志，该日志是在磁盘上的从而完成持久化。这也是相对高效的过程。因为，追加日志事件产生的是连续的小范围磁盘上的I/O操作，而不是大范围的随机I/O操作。然后，在随后的某时刻一个进程会更新磁盘上的表。因此，更多存储引擎都采用该技术(被称作：write...

当多个事务同时持有和请求同一资源上的锁而产生循环依赖的时候就产生了死锁。死锁发生在事务试图以不同的顺序锁定资源。以StockPrice表上的两个事务为例： 事务1 START TRANSACTION; UPDATE StockPrice SET close = 45.50 WHERE stock_id = 4 and date = '2002-05-01';...