ITeye博客

huayu0815的博客

huayu0815 · 共 78 篇文章

hbase shell基础和常用命令详解

by 三江小渡 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文 《bigtable:一个结构化数据的分布式存储系统》 。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用H…

2012-12-18 22:11 · 评论(0)

hbase MapReduce程序样例入门

by 三江小渡 1、先看一个标准的hbase作为数据读取源和输出源的样例: View Code JAVA Configuration conf = HBaseConfiguration.create(); Job job = new Job(conf, "job name "); job.setJarByClass(test.class); Scan scan = new Scan(); TableMapReduceUtil.initTableMapperJob(inputTable, scan, mapper.class, Writable.class, Writable.class, j…

2012-12-18 22:09 · 评论(0)

hbase安装配置和入门使用

by 三江小渡 在这开始之前,相信你已经配置好hadoop集群的一切,以此为前提写的以下内容。 一、快速开始的简单单机版配置: 1、去 hbase镜像站 下载一个推荐的stable版本,此篇下的是hbase-0.92.1.tar.gz 。解压缩到喜欢的目录下。 2、配置onf/hbase-site.xml,写入如下属性: <property> <name>hbase.rootdir</name> <value>file:///DIRECTORY/hbase</value> </property> 3、然后启动即可:$ ./bin/start-hbase.sh 二、伪集群的配置步骤: 1、依然…

2012-12-18 22:04 · 评论(0)

hadoop 0.20.2版本升级到1.0.3 记录

by 三江小渡 升级分为两种,一种是集群布局不发生任何变化的,这种非常简单,十分类似安装一次新的hadoop程序;另外一种是集群布局发生变化的,这种要非常小心,因为牵扯数据安全,要让hdfs内的数据完整的迁移的新版本,所以要仔细。 两种都简单的分为几步: 1、在执行新一轮的升级前,要确保前一次升级已经定妥,用一下命令查看: $ hadoop dfsadmin -upgradeProgress status There are no upgrades in progress. 出现上边的提示即表示可以进行下次升级。 2、进行数据的备份,以方便升级后对照,如果有问题可发现然后回滚版本。 $ ha…

2012-12-18 21:49 · 评论(0)

hadoop集群搭建

by 三江小渡 这篇介绍需要结合着 前一篇hadoop单机搭建 的介绍一起看。说到的地方不懂的就请看前一篇,有详细操作方法和命令。 集群的搭建需要做的事情我一步一步的写一下,相应的步骤不会就看前一篇: 1、在想搭建hadoop的机器上安装hadoop程序和java。需要hadoop和java的安装程序路径一致,即三台一摸一样的绝对路径。这里举例有以下三台服务器: 192.168.1.1 192.168.1.2 192.168.1.3 我们用1号服务器当主节点,即master节点。备份节点也暂时先用这台,即运行secondarynamenode的节点。这里需要配置相应的java和hadoop的…

2012-12-18 21:47 · 评论(0)

开启hadoop之旅的大门–安装配置篇

by 三江小渡 主要写了JDK配置和hadoop的安装配置。windows下安装也类似,只是需要一个windows模拟linux环境的软件 Cygwin 。不过在windows下安装JDK很方便了,就不用参照linux安装JDK的步骤了。 Linux安装JDK步骤: 1. 先从网上下载jdk1.7或者1.6,去 SUN的官方网站 ,尽量装1.6的版本。下载后安装: 给所有用户添加可执行的权限 #chmod +x jdk-1_5_0_02-linux-i586.rpm.bin #./jdk-1_5_0_02-linux-i586.rpm.bin 一般这样就会安装好,会自动执行rpm安装,如果没…

2012-12-18 21:46 · 评论(0)

XFire开发步骤

1. 配置Web服务项目:增加Lib包。 2.配置文件清单:主要配置文件(web.xml)WebRoot\WEB-INF\web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" version="2.4" xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee http://java.sun.com/xm…

2012-12-14 11:01 · 评论(0)

ngnix+keepalivd 实现N主高可用负载均衡web群集

实验环境: Server 1 Eth0: 192.168.1.1/24 Server 2 Eth0:192.168.1.2/24 Server 3 Eth0: 192.168.1.10/24 Server 4 Eth0: 192.168.1.11/24 软件: Nginx 1.22 Keepalived v1.1.19 安装过程: 网上大把。 需要配置的文件: /etc/keepalived/keepalived.conf /usr/local/nginx/conf/nginx.conf 设置好一台服务器的配置文件,可以使用scp 命令复制到其他服务器里: scp /usr/local/ng…

2012-09-28 14:46 · 评论(0)

Linux源码安装过程中选项—prefix的作用

【51CTO.com独家报道】在linux和unix环境中,源码安装是最常用的软件安装方式,一些软件除了提供源码外,也提供各种发行版的二进制安装包(如基于redhat包管理工具的rpm包),但强烈建议使用源码安装方式。原因是:(1)没有类似rpm那样让人恼火的包依赖关系,(2)源码安装灵活自由,适用于不同的平台,维护也十分方便。 源码的安装一般由3个步骤组成:配置(configure)、编译(make)、安装(make install),具体的安装方法一般作者都会给出文档,这里主要讨论配置(configure)。Configure是一个可执行脚本,它有很多选项,使用命令./configure…

2012-09-28 10:15 · 评论(0)

httpRequest.getHeader("x-forworded-for") 获得客户端IP

在JSP里,获取客户端的IP地址的方法是: request.getRemoteAddr() ,这种方法在大部分情况下都是有效的。但是在通过了Apache,Squid等反向代理软件就不能获取到客户端的真实IP地址了。 如果使用了反向代理软件,将 http://192.168.1.110:2046/ 的URL反向代理为http://www.xxx.com/ 的URL时,用**request.getRemoteAddr()**方法获取的IP地址是:127.0.0.1 或 192.168.1.110,而并不是客户端的真实IP。 经过代理以后,由于在客户端和服务之间增加了中间层,因此服务器无法直接拿到…

2012-09-27 10:48 · 评论(0)

request.getRemoteAddr()和request.getRemoteHost()的区别是什么?

request.getRemoteHost()为什么得到的不是机器名,而是IP地址 解决用request.getRemoteHost()为什么得到的不是机器名,而是IP地址 web服务器在server.xml查看一下connector中的enableLookups 说明如下: 如果为true,则可以通过调用request.getRemoteHost()进行DNS查询来得到远程客户端的实际主机名,若为false则不进行DNS查询,而是返回其ip地址 request.getRemoteAddr()和request.getRemoteHost()的区别是什么? ------------------…

2012-09-27 10:32 · 评论(0)

互联网网站的反爬虫策略浅析

因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。曾经有一次我在 JavaEye 的日志里面发现一个User-Agent是Java的爬…

2012-09-26 20:04 · 评论(0)

正向代理与反向代理的区别

正向代理是一个位于客户端和原始服务器(origin server)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性(由mod_cache提供)减少网络使用率。使用 ProxyRequests指令即可激活正向代理。因为正向代理允许客户端通过它访问任意网站并且隐藏客户端自身,因此你必须采取安全措施以确保仅为经过授权的客户端提供服务。 反向代理正好相反…

2012-09-26 11:06 · 评论(0)

Oracle中的DBLink和Synonym

Oracle DB Link: 引用 1.基本概念: 数据库连接串主要用于建立对远程数据库的访问方法,可以直接读取远程Oracle的数据,或者直接修改。数据库连接串可以是公用连接PUBLIC或者私有连接PRIVATE。这一点和同义词很相像。 创建语法: Java代码 CREATEDATABASELINKTESTCONNECTTOUSERNAMEIDENTIFIEDBYPASSWORD USING'CONNECT_STRING'; 解释:TEST是数据库连接串的名字。以后就通过这个名字来进行调用远程数据库的内容。 USERNAME是用来连接到远程数据库的合法Oracle用户名。PASSWORD…

2012-09-20 20:45 · 评论(0)

oracle sequence cache

在 Oracle 中,我们没有MYSQL和 SQL Server 可以使用的自增数据类型。大部分场景下,如果我们需要生成业务无关的(Business-Independent)主键列,序列 Sequence 对象是我们最方便的选择。 定义Sequence是很简单的,如果最大程度利用默认值的话,我们只需要定义sequence对象的名字即可。在序列Sequence对象的定义中, Cache 是一个可选择的参数。默认的Sequence对象是有cache选项的,默认取值为20。 那么,这个Cache参数对Sequence的使用带来什么好处?如果不设置,会有什么问题。本篇我们就一起来探讨这个问题。 1、…

2012-09-06 16:19 · 评论(0)