承接之前的初测，题目本来想叫深入测试的，不过想想太大了，就还叫使用的一个小结吧。 在扩充数据节点之前，OneCoder向数据库中又写入900w的数据，总量达到1kw。每批次写入20w的数据，写入时间大致如下： …… It's up to batch count: 200000 Batch data commit finished. T...

基于上篇搭建的环境，验证一些基本功能和性能需求。这里先说一下功能使用的问题。OneCoder也是第一次用。摸索着来，仅做一个记录。 从部署图就可知道，对数据库的请求操作发生在SQL节点上。为了达到试验效果，这里又追加了一个sql节点。现在集群环境如下： 在追加的过程中，发现MySQL Cluster对启动顺序要求严格，在没考虑热部署方案的情况下，必须停止了所有节点，重新按照ma...

实验需要，OneCoder打算亲自部署一下MySQL Cluster环境。VMware环境中，虚拟化三台CentOS5.4 x64虚拟机。 10.4.44.201 SQL 10.4.44.202 Data 10.4.44.203 Manager 用于部署。 官方文档自然是最好的部署手册，先简单了解一下。 MySQL Cluster构成 Each...

OneCoder最近入手一台Mac Pro。其实这个话题本来没什么可写的。但是考虑确实自己开始是不知道的，哪怕是一丁点的收获，也应该记录下来。 其实Java开发环境无非就是安装JDK，安装IDE，配置环境变量。JDK自然从官网下载Mac版的，IDE，OneCoder也从Eclipse的官网下载了。安装也是一键安装和解压即可。而且发现JDK安装后，在命令行运行java -version和ja...

这也是OneCoder在数据测试过程中遇到的问题，不一定有多少普试性，但是也许可以解决你的问题。 海量数据测试，数据导入一般是非常耗时的过程。OneCoder这里面对大约2T左右数据的导入问题，头疼不已，时间有限。本来准备的方式是将事先生成好的数据文件导入HBase中，这里有两个比较耗时的过程，put到hdfs和import到HBase中，昨天测试5G数据导入到HBase中，居然用了20m...

其实这个本来没什么可写的，只是OneCoder恰巧用到又不会，在网上查了一下找到了答案，所以记录一下，也做分享。 很简单，一句话，执行： mvn dependency:copy-dependencies -DoutputDirectory=lib -DincludeScope=compile 会将依赖的包拷贝到工程的lib目录下。

OneCoder只是一个初学者，记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据，用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入，当然也可以直接导入HFile文件。所以OneCoder最开始考虑的生成HFile文件供HBase导入，不过由于手太新，一直没有搞定。参考了很多网上的代码也没跑通。暂时搁浅。 后来One...

在一个下雨的夜晚，我在思考Java中内存管理的问题，以及Java集合对内存使用的效率情况。我做了一个简单的实验，测试在16G内存条件下，Java的Map可以插入多少对象。 这个试验的目的是为了得出集合的内部上限。所以，我决定使用很小的key和value。所有的测试，都是在64w位linux环境下进行的，操作系统是ubuntu12.04。JVM版本为Oracle Java 1.7.0_09-...

JUnit单元测试用例中使用Spring框架，之前我的使用方式很直接。 /** * 用于需要用到Spring的测试用例基类 * * @author lihzh * @alia OneCoder * @blog http://www.coderli.com */ @RunWith(SpringJUnit4ClassRunner.class) @ContextConfigurat...

在上回介绍Spring3.1+Hibernate4.1.7基于注解配置的时候(《SpringMVC3.1+Hibernate4.1.7完全基于注解配置(零配置文件)》)说过，在修改配置方式的时候遇到过不少问题。这里介绍一下。 方式一 OneCoder考虑在DataSourceConfig中，仅保留数据源配置，其他的诸如SessiionFactory的配置都移到AppConfig中。代...