HackToday Walk Blog


  • Home

  • Tags

  • Archives

  • Search

hadoop的配置问题(windows下eclipse)

Posted on 2011-07-31

配置eclipse和hadoop关联有点费工夫,主要是eclipse for hadoop的插件和eclipse版本有些兼容的关系,比较乱,基本参考:
(1)http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

里面针对的是hadoop的老版本,如果是0.20.2或最新的0.20.203,那么插件会出现不工作的情况,我用eclipse 3.6,hadoop 0.20.203,没有配成功,主要是在最后的run on hadoop的问题,具体参考:

(2)http://hi.baidu.com/laxinicer/blog/item/fbaddaf58bdae63fbc3109a0.html

你需要将下载的插件,更名为对应你hadoop版本的文件名,比如你的下载的插件是:
hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar,
而你的hadoop是0.20.2
那么需要更名为:
hadoop-0.20.2-eclipse-plugin.jar

然后按照(1)操作就行了,那么run on hadoop的问题就基本解决了。
还有一篇参考,可以看看。
http://hi.baidu.com/nowhere/blog/item/10a18ab1ce580641092302ba.html

这个不兼容真是一个头疼的事情。

朱雀森林公园攻略

Posted on 2011-06-18

外出游玩最重要的一件事莫过于从网上获取前人的攻略指南,他们的经验在很大程度上会减少我们的时间成本损失,也同样囊括了不少安全上的提示,非常有用。

我们根据前人的朱雀旅行行程建议,安排了两天的时间。如果你是从西安出发,具体的建议是这样:
从西安到户县的这一段路程是走高速,那么你从城南客运站买票,一定注意买高速的票,公交的比较慢。
如果西安市里交通不算拥堵的话,到户县差不多要60分钟。
到户县下车后,到三球仪(南站)坐车去朱雀森林公园。由于下车的地方离三球仪还是有一段距离的,所以你可以坐三轮车过去,也就4块钱。

从户县到朱雀森林公园一共4班车,最早的一班是9:00,其次分别是10:00,12:30,13:30,最好赶9:00那班,或者10:00,再晚的话,当天的旅游就泡汤了。

我们没赶上9:00那班车,只能10:00出发,由于高速有时会堵车(恰巧我们碰到了,还好时间不长),所以尽量安排的行程不要太晚
,户县到朱雀森林公园需要60分钟。

朱雀森林公园海拔较高,最高顶冰晶顶3105米,从龙潭口到冰晶顶来回需要7~8个小时,所以我们当天爬完是不可能,最好安排两天的时间。我们在公园门口找了一家农家乐,定了房子,房价30元/人,(据说旺季会贵一些)。房子尽量多做比较,虽说价钱相差不是太大,但是还是有相当比较的余地,我们找的房间虽然贵点,但是比较舒适,有独立的卫生间。

按照时间初步安排,当天走龙潭子景区,明天走冰河翠景区,赶下午2:30的班车回户县,然后坐车回西安。

龙潭子景区景点较多,以瀑布较多,开发的还算完善,都有台阶(从龙潭口到草甸营地的路都比较好走,草甸营地海拔2530米)。我们在农家乐稍作休息后,才从景区门口出发,从景区门口到龙潭口(真正的景区入口)大概有4公里路程,这段路是公路,景点没有什么特别。考虑到时间和体力因素,推荐雇个面包车,(农家乐都有,或者让售票点的师傅联系面包车),30元/趟,5,6个人的话比较合算。

我们从龙潭口1:00出发,走龙潭子景区到搓石板接近4:20,然后下山,回农家乐6:10。当天我们没做面包车,因为也没打算当天爬很高。

第二天,6:20出发,做面包车到龙潭口,开始了探险之旅——冰河翠景区,这一段路到山顶,比较原始,都没有很好的开发,以土路为主。一路上顺着清晰的红色路标前进即可,因为这一段路程比较崎岖和原始,建议3个人以上结伴行进。最美的莫过于登上高山草甸,走出原始森林俯瞰山下云雾缭绕,相当壮观。从冰川遗迹再往上走就很快了,我们到冰晶顶时大概是11:00,这时一览众山小的感觉才真切的感受到,山顶的风很大,好在6月份的山顶不是很冷,所以短袖也没问题。由于要赶2:30的车,我们在山顶没长时间停留,开始下山。要是从冰河翠景区这一段路下山,那就不太容易了,我们也没打算原路返回,这就没意思了。我们正好打算从草甸营地,杜鹃林那边下山,因为昨天也没走完那段路,这样就正好完成穿越。

从冰晶顶到草甸营地的这段下山路都是大石块相互堆叠而成,一般需要四肢并用,不是很容易,要注意安全。走过这段路后,基本都是台阶了,相当轻松了,我们到龙潭口2:10,然后让面包车送我们下山,赶上了2:30的旅游班车。时间安排恰好,农家乐的老板都不敢相信我们这么快就到了山顶,完成了穿越。说实话,我们在上山的路上还走走停停不少,也不是一直走,就是下山的这段路基本没多少休息。值得赞叹的是通行的4位师大女生都跟着完成了穿越,赞她们的毅力。

总的说来,朱雀之行的建议如下:

  1. 至少安排两天的时间,两天足够了。

  2. 出行前了解朱雀森林公园的最近两天的天气,下雨天切莫登顶,比较危险。

  3. 完成穿越,最好是留第二天行走冰河翠景区,第一天就走龙潭子景区即可。

  4. 不要带太多的食物,最靠近景区门口的农家乐的饭菜价格还算合理,只是肉菜比较贵,其他还算可以,
    一般的像葱花鸡蛋18元/盘,一个大饼(够两个人吃)8元/个,一碗面8元/碗,所以可以安排两顿饭在农家乐吃(第一天的中午和晚上),
    第二天的一顿半就吃自己带的食物即可。

  5. 从西安到户县的车尽量赶早,最好赶上户县到朱雀的9:00的那班车。

  1. 注意防晒,第一天是晴天,阳光比较强烈,我和同学没抹防晒霜,结果回来皮肤真晒伤了,红红的,蛮疼的。

  2. 不懂的问题,尽量咨询景区的人员和农家乐的老板。

  3. 注意安全,最好3人以上,领队的要注意天气变化,合理安排时间和路线,安全第一。

  4. 冰河翠景区的那条线山脚下有个牌子写的未开发区域,禁止由此上山,有吓人之嫌,也许景区考虑这条线路比较原始,害怕出意外,
    所以来告诫游人。但是以我们的行走经历,只要不是阴雨雪天气,这段路还是比较安全的,只要3人以上结伴行进即可。

最后说一句:朱雀森林公园真的是一个值得爬山和穿越的地方。

翠华山游记

Posted on 2011-06-11

常听别人提起翠华山,说没什么爬的意思,但是实在没去过,心里觉得别人说的或许有失公正,毕竟有华山二字相配。曾登过华山,对华山颇有好感,觉得险峻实在名不虚传。

早晨出发,经旅游专线一个小时的路程到了翠华山脚下。
沿山而上,经碧水湖瀑布,台阶不算陡峭,但是比较短小,所以爬起来有些费劲。其实翠华山最有意思(也可能是最有名)的地方在于天,风和冰洞。天,风,冰洞颇有人间避暑佳境,但是天洞和冰洞里面有过多的人工雕琢之感,一线天的景观以风洞为代表。6月份的天气大约在35度左右,冰洞气温在-4度左右,所以进去后会感觉冷气逼人。

翠华山海拔才1000米,所以整个行程比较快,大概3个小时,时间比较充裕,玩的还算尽兴。

华山乃大家闺秀,险奇峻拔,颇为壮观。翠华山却多了份小家碧玉,以独特景观让人印象深刻,尤其群峰围绕,天池之水从天而下,颇有意思。

linux下恢复ntfs分区的误删文件

Posted on 2011-05-26

linux下恢复ntfs分区的误删文件

今天操作文件的时候,稍不留神,直接shift+del一个重要文件,很郁闷。
但是想想windows下自己试过不少恢复软件,能够工作的不错,linux下应该也很多,所以就决心寻找丢失的文件。
查了个debugfs,实在用不来,恢复老出问题。
后来用了ntfsundelete终于搞定!所以写下来,也算给大家些资料。

恢复过程:

  1. 确定你删除文件的分区,这个用fdisk -l就可以了。(比如 /dev/sda6)

  2. 卸载误删的分区,因为会检查ntfs卷是否处于打开状态。也不用卸载,直接使用-f选项,不进行检查。

  3. 查看最近三天(这个在参数里可以设置,就是下面的3d)删除的文件

1
$ sudo ntfsundelete  /dev/sda6  -f -t 3d

这时会列出,下面的信息:

1
2
3
4
5
6
Inode  Flags   %age  Date      Size        Filename
2012 ......... ..... ... 603136
2022 ......... ..... ... 70
....

Files with potentially recoverable content 8

还好,表明还有8个文件可以恢复。
因为列出来的文件名都是none,那我怎么知道我要恢复的文件? 笨方法是一个个恢复,不过大家都不笨,根据时间,大小的信息可以推断。
注意列出来的时间可不是删除文件的时间。就像你ls列出文件的时间,这个是你最近修改文件的时间戳。
我删除的是word文档,比较大,一眼能看出来,而且是昨天修改保存的。所以直接锁定2012这个inode。

  1. 恢复文件到指定的目录(如 /home/nice)
1
$ sudo ntfsundelete /dev/sda6 -f -u -i 2012  -d  /home/nice
  1. /home/nice下就出现一个unknown的文件,查看是不是你的文件。

哦,god,谢天谢地,真是原来的word文档,ntfsundelete这家伙不赖!

参考资料:
http://www.06net.com/article/20110412/75860.html

量子计算机首次正式投入商用, 真的是量子计算机?

Posted on 2011-05-23

看了今天的IT资讯,D-Wave One满天飞,128量子比特,液氮,10,000,000$的天价,可谓大热!

但是报道中没有对所谓的量子计算机细节进行剖析,究竟算不算真正意义上的量子计算机:wiki上,量子计算机:

量子信息存储单位 + 对应于适当量子算法的量子电路 + 量子测量量子计算机需要解决量子计算中的相干性问题,
提高量子的相干性,有利于处理更为复杂的问题,至于所谓的最优动力学解耦成为了一种保持量子相干性的方法。
对于这个计算机到底是炒作噱头还是踏进了量子计算机的门槛,留待专家们认真申论。

量子编程会是啥样子,现在的多核编程还没出现什么重大的进步,如果量子编程也是杀伤脑细胞的话,那真是够狠的,呵呵。

安装,使用perfsuite性能分析

Posted on 2011-05-17

编译过程:
首先编译之前确保安装了perfsuite组件正常工作必须依靠的软件或补丁:
参见INSTALL说明:实验环境ubuntu10.04

我的安装环境linux-2.6.36,已经包含了对performance counter的支持
安装PAPI,这个安装很简单,参见其INSTALL
expat
tcl/tk
tdom
bfd
MPI(可选)
Cube(可选)

说明:expat tcl/tk tdom 安装都比较简单(至少在ubuntu下)
直接 sudo apt-get install **

一般tcl, expat tdom都要安装dev版本. 因为没有安转dev版本,会在configure输出中有warning,
这个你只需要通过查看configure输出,确保没有warning(当然必须没有error),configure就成功了.

/
这里注明一下:还是有一个warning的,关于Test.class。
WARNING: I have to compile Test.class from scratch
这个没什么影响,说明编译是通的过的。
关于fortran编译器我指定的是gfortran,貌似用f77有问题
/

还有bfd这个库,就是安装binutils-dev

  1. configure配置选项,主要是因为对于默认的安装目录不一致时,你需要明确的指出。
    包括papi,tdom库, linux内核的源码目录(你当前使用的内核,uname -r可以查看)
    还有你要安装perfsuite的目录。
    我的如下:
1
# ./configure --prefix=/home/jsi/software/perfsuite-1.0.0b1/ --with-papi=/home/jsi/software/papi-4.1.2.1/ --with-tdom=/usr/lib/tcltk/tdom0.8.3/ --with-kernel-srcdir=/usr/src/linux-2.6.36.2-change/  >output  2>&1

这里的output是configure过程的输出。为了方便查看。

  1. 编译:n为你的cpu核数,为了加快编译速度
1
#make -jn
  1. 运行测试suite
1
#make -s check

看看输出是不是都ok,如果有错误参见INSTALL中的Running the test suite一部分,我的没有

  1. 安装
1
#make install

Finally, you can remove files created during the build to further conserve on
disk space by running:

make clean (or) make distclean

  1. 体验以下perfsuite的功能

set up environment, 主要是你的安装目录不是默认的情况下,

1
#. $PERFSUITEDIR/bin/psenv.sh

其中的PERFSUITEDIR是你configure中指定的安装目录
具体参见psrun等的document

  1. 卸载
    在你build的目录执行
1
#make uninstall

VNC远程登陆xfce桌面

Posted on 2011-04-21

vnc登陆gnome桌面刷新屏幕速度慢的实在无法忍受,所以查查资料,发现xfce轻量级桌面会使速度加快不少,所以就试试,动手如下:

  1. 安装xfce桌面环境,就弄个简单的吧
1
sudo apt-get install xfce4

你也可以试试xubuntu-desktop2,我觉得越简单越好,所以就用xfce4就行了

  1. 安装x11vnc服务
1
sudo apt-get install x11vnc
  1. 打开服务准备远程登陆(**是你指定的密码,明文很恶心,不知道有没有加密的方法输入)
1
sudo x11vnc -forever -passwd ******
  1. 使用你的windows上的vnc viewer软件登陆就行了,这个简单,就是指定对应远程机器的ip,
    然后根据提示的输入第3步设置的密码即可。

感谢资料:
http://blog.csdn.net/kartorz/archive/2009/06/14/4268372.aspx
http://wiki.ubuntu.org.cn/index.php?title=%E8%BF%9C%E7%A8%8B%E6%A1%8C%E9%9D%A2&variant=zh-tw

redhat5 企业版的编译老问题

Posted on 2011-03-30

前段时间ubuntu编译的步骤在redhat下还是遇到了些问题,主要是

  1. mount:could not find filesystem ‘/dev/root’
    解决方法: http://www.hetlife.com/compile-the-kernel-prompt-mount-could-not-find-filesystem-devroot-solution.html

编译时修改.config文件中的“CONFIG_SYSFS_DEPRECATED_V2”,默认该选项为not set,被注释掉的,将其改为y。即修改为“CONFIG_SYSFS_DEPRECATED_V2=y”,修改后,再编译,重启即正常了。
(这个在make menuconfig可以查看相关的选项说明,说是老linux发行版版本存在这个问题)

  1. insmod: error inserting ‘/lib/dm-region-hash.ko’ : -1 File exists
    这个问题不影响启动,但是看着碍眼,
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
解决方法: http://linuxme.blog.51cto.com/1850814/390778
1.解压initrd文件
#mkdir /var/aa
#cp /boot/initrd-2.6.30.4.img /var/aa
#cd /var/aa
# mkdir newinitrd
# cd newinitrd/
# zcat ../initrd-2.6.30.10.img | cpio -i
10236 blocks
释放之后看到如下内容
ls
bin dev etc init lib proc sbin sys sysroot

2.vim init
#删除一下重复的两行
  1. 重新打包initrd
1
2
3
4
5
6
 #find . | cpio -c -o > ../initrd
# cd ..
# rm -f initrd-2.6.30.10.img
# gzip -9 < initrd > initrd-2.6.30.10.new.img
# ls
initrd-2.6.30.10.new.img initrd newinitrd

好了,initrd-2.6.30.10.new.img就是重新打包的 initrd了,然后把initrd-2.6.30.10.new.img拷贝到/boot,更改grub.conf里边的initrd- 2.6.30.10.img为initrd-2.6.30.10.new.img就可以了
重新启动,好了上述出现的问题消失了!!!

还有细节小问题,安装模块时,先把原来的/lib/modules/ 下对应的内核文件夹东西清空或者备份到别处,否则新编译后的安装模块会和原来的混起来,个人原出过莫名奇妙的错误,貌似和这个有点关系。反正这样做是保险点。

注明:相关的解决问题出处标注了来源,对相关的网上资料感谢。

大师的时代

Posted on 2011-03-04

科学网刘老师的一篇博客“走近“大师”、感受伟大”读后很有感触。冯友兰,陈寅恪,马相伯,叶企孙…..太多的经典,太多的惊叹。
那个时代造就的是一批胸怀天下,出类拔萃的英雄,不需要所谓的奖来衡量,因为当时我们当时的自信,自立都是一个高峰,精华。而如今,当版面,新闻拿国外的标准衡量,
拿
奖说话,实在说明我们还差的很远,越是强调,就越是说明我们的不足,这就是最典型的心理学知识。时代还在继续,我们仍然需要奋勇前行。因为我们还有自己的梦想。

附上,刘老师这篇博文。http://blog.sciencenet.cn/home.php?mod=space&uid=326763&do=blog&id=418516

vsftpd其实配置没这么麻烦

Posted on 2011-03-04

今天打算在ubuntu server上装个ftp服务器软件,发现了vsftpd.
然后按照http://wiki.ubuntu.com.cn/Vsftpd%E5%AE%9E%E4%BE%8B进行配置,发现使用设置的用户给/var/ftp/pub上传不行,

提示:
200 PORT command successful. Consider using PASV.
不能create file 也就是说没写的权限。

网友说是权限没设置对,不过已经弄成775了,搞不成要777,貌似有的测试不行,说归结到selinux相关的问题,好多给的方案是:

  1. setsebool -P ftpd_disable_trans 1
  2. service vsftpd restart

发现这个根本不起作用。
嗨,发现这个其实说的很简单,
http://forum.ubuntu.com.cn/viewtopic.php?f=54&t=115655&start=0
你设置成建立用户对应于home下的目录就行了,整/var下既麻烦,还要禁止selinux,实在不怎么好。

对了,如果你设置disable selinux,那怎么改回去,这个有点意思。终于找到一个给力的帖子:
http://www.crypt.gen.nz/selinux/disable_selinux.html
运行 fixfiles relabel 再 reboot。

搞了半天,没有大繁化简,。。。。。。

1…202122…26

Kai Qiang Wu

This is a place for thinking and writing

253 posts
32 tags
GitHub
© 2020 Kai Qiang Wu
Powered by Hexo
|
Theme — NexT.Gemini v5.1.4
Visitor Total Visit