huayu0815
- 浏览: 57730 次
- 性别:
- 来自: 河南
-
最新评论
文章列表
by
三江小渡
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
1. 简介
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件 ...
- 2012-12-18 22:11
- 浏览 657
- 评论(0)
by
三江小渡
1、先看一个标准的hbase作为数据读取源和输出源的样例：
View Code JAVA
Configuration conf = HBaseConfiguration.create();
Job job = new Job(conf, "job name ");
job.setJarByClass(test.class);
Scan scan = new Scan();
TableMapReduceUtil.in ...
- 2012-12-18 22:09
- 浏览 681
- 评论(0)
by
三江小渡
在这开始之前，相信你已经配置好hadoop集群的一切，以此为前提写的以下内容。
一、快速开始的简单单机版配置：
1、去hbase镜像站下载一个推荐的stable版本，此篇下的是hbase-0.92.1.tar.gz 。解压缩到喜欢的目录下。
2、配置onf/hbase-site.xml，写入如下属性：
<property>
<name>hbase.rootdir</name>
<value>file:///DIRECTORY/hbase</value>
</property>
...
- 2012-12-18 22:04
- 浏览 701
- 评论(0)
by
三江小渡
升级分为两种，一种是集群布局不发生任何变化的，这种非常简单，十分类似安装一次新的hadoop程序；另外一种是集群布局发生变化的，这种要非常小心，因为牵扯数据安全，要让hdfs内的数据完整的迁移的新版本，所以要仔细。
两种都简单的分为几步：
1、在执行新一轮的升级前，要确保前一次升级已经定妥，用一下命令查看：
$ hadoop dfsadmin -upgradeProgress status
There are no upgrades in progress.
出现上边的提示即表示可以进行下次升级。
2、进行数据的备份，以方便升级后对照，如果 ...
- 2012-12-18 21:49
- 浏览 531
- 评论(0)
by
三江小渡
这篇介绍需要结合着前一篇hadoop单机搭建的介绍一起看。说到的地方不懂的就请看前一篇，有详细操作方法和命令。
集群的搭建需要做的事情我一步一步的写一下，相应的步骤不会就看前一篇：
1、在想 ...
- 2012-12-18 21:47
- 浏览 671
- 评论(0)
by 三江小渡
主要写了JDK配置和hadoop的安装配置。windows下安装也类似，只是需要一个windows模拟linux环境的软件Cygwin。不过在windows下安装JDK很方便了，就不用参照linux安装JDK的步骤了。
Linux安装JDK步骤:
1. 先从网上下载jdk1.7或者1.6，去SUN的官方网站，尽量装1.6的版本。下载后安装：
给所有用户添加可执行的权限
#chmod +x jdk-1_5_0_02-linux-i586.rpm.bin
#./jdk-1_5_0_02-linux-i586.rpm.bin
一般这样就会安装好，会自动执行rpm安 ...
- 2012-12-18 21:46
- 浏览 419
- 评论(0)
1. 配置Web服务项目：增加Lib包。
2.配置文件清单：主要配置文件（web.xml）WebRoot\WEB-INF\web.xml
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" version="2.4" xsi:schemaLoca ...
- 2012-12-14 11:01
- 浏览 572
- 评论(0)
实验环境：
Server 1
Eth0: 192.168.1.1/24
Server 2
Eth0:192.168.1.2/24
Server 3
Eth0: 192.168.1.10/24
Server 4
Eth0: 192.168.1.11/24
软件：
Nginx 1.22
Keepalived v1.1.19
安装过程：
网上大把。
需要配置的文件:
/etc/keepalived/keepalived.conf
/usr/local/nginx/con ...
- 2012-09-28 14:46
- 浏览 746
- 评论(0)
【51CTO.com独家报道】在linux和unix环境中，源码安装是最常用的软件安装方式，一些软件除了提供源码外，也提供各种发行版的二进制安装包（如基于redhat包管理工具的rpm包），但强烈建议使用源码安装方式。原因是：（1）没有类似rpm那样让人恼火的包依赖关系，（2）源码安装灵活自由，适用于不同的平台，维护也十分方便。
源码的安装一般由3个步骤组成：配置（configure）、编译（make）、安装（make install），具体的安装方法一般作者都会给出文档，这里主要讨论配置（configure）。Configure是一个可执行脚本，它有很多选项，使用命令./configure ...
- 2012-09-28 10:15
- 浏览 627
- 评论(0)
在JSP里，获取客户端的IP地址的方法是：request.getRemoteAddr()，这种方法在大部分情况下都是有效的。但是在通过了Apache,Squid等反向代理软件就不能获取到客户端的真实IP地址了。
如果使用了反向代理软件，将http://192.168.1.110:2046/ 的URL反向代理为http://www.xxx.com/ 的URL时，用request.getRemoteAddr()方法获取的IP地址是：127.0.0.1 或 192.168.1.110，而并不是客户端的真实ＩＰ。
经过代理以后，由于在客户端和服务之间增加了中间层，因此服务器无法直接拿到客户端 ...
- 2012-09-27 10:48
- 浏览 3388
- 评论(0)
request.getRemoteHost()为什么得到的不是机器名，而是IP地址
解决用request.getRemoteHost()为什么得到的不是机器名，而是IP地址
web服务器在server.xml查看一下connector中的enableLookups
说明如下：
如果为true，则可以通过调用request.getRemoteHost()进行DNS查询来得到远程客户端的实际主机名，若为false则不进行DNS查询，而是返回其ip地址
request.getRemoteAddr()和request.getRemoteHost()的区别是什么？
...
- 2012-09-27 10:32
- 浏览 978
- 评论(0)
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于 ...
- 2012-09-26 20:04
- 浏览 578
- 评论(0)
正向代理是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性(由mod_cache提供)减少网络使用率。使用 ProxyRequests指令即可激活正向代理。因为正向代理允许客户端通过它访问任意网站并且隐藏客户端自身，因此你必须采取安全措施以确保仅为经过授权的客户端提供服务。
反向代理正好相 ...
- 2012-09-26 11:06
- 浏览 642
- 评论(0)
Oracle DB Link:引用
1.基本概念：
数据库连接串主要用于建立对远程数据库的访问方法，可以直接读取远程Oracle的数据，或者直接修改。数据库连接串可以是公用连接PUBLIC或者私有连接PRIVATE。这一点和同义词很相像。
创建语法：
Java代码
CREATEDATABASELINKTESTCONNECTTOUSERNAMEIDENTIFIEDBYPASSWORD
USING'CONNECT_STRING';
解释：TEST是数据库连接串的名字。以后就通过这个名字来进行调用远程数据库的内容。
USERNAME是用来连接到远程数据库 ...
- 2012-09-20 20:45
- 浏览 570
- 评论(0)
在Oracle中，我们没有MYSQL和SQL
Server可以使用的自增数据类型。大部分场景下，如果我们需要生成业务无关的（Business-Independent）主键列，序列Sequence对象是我们最方便的选择。
定义Sequence是很简单的，如果最大程度利用默认值 ...
- 2012-09-06 16:19
- 浏览 2452
- 评论(0)