hadoop

パスの正規かしないんですか

どうやら、hoge/fuga と hoge/../hoge/fuga を同一視してくれない。 package org.apache.hadoop.dfs; のFSDirectoryの String normalizePath(UTF8 src) { String srcs = src.toString(); if (srcs.length() > 1 && srcs.endsWith("/")) { srcs = srcs.substr…

実行は同じユーザ名で

namenodeを別のメモリーをバカヅミしているマシンで動かすことにした。なぜなら、128台で動かそうとした途端、Out of memoryなどといわれたからだ。javaのオプションを見直せばうまくいったかもしれないが、とりあえず別のマシンで動かすことにした。が、今…

1.2Gのスワップ?

なぜか、topで見ているとjavaが1.2もスワップしてる。 一応-Xmx500m付けているのに。しかもそれがforkして10個とかいるんだけど、何か悪い子としたかな。。。

もう時間ないけどLet's Hadoop

元々Nutchの一部だったようだけど,独立してHadoopとなったらしい. とりあえず, http://lucene.apache.org/hadoop/docs/api/ http://wildduck.ivory.ne.jp/diary/search.rb?q=mapreduce を参照にしながら,Grepのサンプルを動かしたけど, こんなに簡単な…