探検
awk ファンクラブ
wainberg
kernihan
自分の場合、全部シェルスクリプトだけどw
んでもってx68kで遊んでいたw
rubyはワンライナー～十数行のスクリプト。
pythonは数十行～数百行のスクリプト。
BEGIN/ENDのおかげでトランザクション使うのも簡単。
「プログラミング言語AWK」が絶版になると聞いてあわてて確保したが、すぐ再版された。
Perlで$3 を表示しる！とかどーすんよ
awk '{print $3}'
perl -ane 'print $F[2], "\n"'でいいんじゃね？
なんかこう、Perlってスクリプトにエレガントさを感じないんだよな。つぎはぎが多い
というか。
awkの場合、cに近いスタイルでありながらパターンマッチングとか連想配列の実装が
エレガントだからコードを見ててきれいに感じる。
-a オプションはやっぱり awk の名に由来するのかねぇ
autosplit modeってusageに書いてあるじゃん。
いや名目上はそうだけどさ。
スクリプトでauto～なんて言い出したらキリが無いワケじゃん。
ぶっちゃけ -n だって自動ループと言っちゃえばそうだし。
そこで -s や -p みたいな名前じゃなくて
わざわざ -a にしたのは、やっぱ awk の名を意識したからなのかな、と
思ったんだよ。
空行とかでの扱い考えると
ruby -ne 'puts split[2] || ""'
になるのか。やっぱawkが楽だな。
実はおれも長らくsedからawkへ行けなかった。田中さん(緑のSerrow)が月刊asciiに書いた
記事を読んで使えるようになったのだった。
いまではperlも使うが、やはりawkが楽だなぁ。16進→10進変換の関数作ったり、
バイナリデータ読むためのコードをCで作ったりして無理やり使ってたころが
懐かしい。
awk(gawk)とsedには特に力を入れて勉強してる
gawkは機能が洗練されて美しいし直感的で使いやすい
リファレンスもとてもしっかりしてる
gawk '{w[$1]++;}END{for(i in w)print i,w[i];}' xxxx.txt | sort
みたいなことを何百回やったことか。
ttp://awk.info/?doc/dsl/awkplusplus.html
object_variable = class_name.new[(optional parameters)]
object_variable.method_name(parameters)
object_variable.delete
一行毎に読み込み@<と@>で囲まれた部分を
ランダムなアルファベット10文字に置換し、
元々@<@>に囲まれた部分の文字列と置換したランダムな文字列の対応を
別ファイルに書き出し
っていうのをやりたいです。
awkとsedでできるの？
pythonで書くべき？
BEGIN {
output = "hoge.txt"
chars = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz"
len = length(chars)
srand()
}
{
if(match($0, /@<.*@>/)){
t = substr($0, RSTART+2, RLENGTH-4)
if(!(t in m)) m[t] = rndstr(10)
$0 = substr($0, 1, RSTART+1) m[t] substr($0, RSTART+RLENGTH-2)
}
}
END {
for(i in m) print i, m[i] > output
}
function rndstr(n, s){
while(n--) s = s substr(chars, int(rand()*len)+1, 1)
return s
}
文型向け授業でわざわざlinux使わせるなよ・・・
「プログラミング言語AWK」は買い逃してたんで再販速攻で買ったよ。
Excelなんてやってられねーっつーの
Excelのvlookupみたいなリレーショナルな事がやりたい場合ってどーしてる？
> そんなん普通に複数ファイル処理すればいいやん。
「普通に」の所ｋｗｓｋ
awkでアクセスカウンタを作ろうと思い、
以下のようなスクリプトを書いたのですが、
最後のhtmlへの出力（表示）の方法がわかりません。
どうしたらいいのでしょうか？
#プロセスロック
lock()
#カウント数の読み込み
while (getline < count.dat > 0){
before_count = $1;
}
close(count.dat);
#カウントを１進める
new_count = before_count + 1;
#数字の置換を行う
sub(before_count, new_count, $1);
#プロセスロック解除
unlock()
}
print "\r";
END{
#表示テンプレートの読み込み
while (getline < count.txt > 0){
txt_file[++i] = $0;
}
close(count.txt);
#あらかじめセットしてあるテンプレート上の文字列を置換
gsub("<!--#count.cgi--!>", new_count, $0);
print $0;
}
getline知らなかったわ。
難しそうだな・・・
SSIの仕組みは理解できていますか。
ttp://httpd.apache.org/docs/2.0/ja/howto/ssi.html
頭が劣化しとるわー
ttp://mitya.pp.ru/chamberlen/assorted/OReilly%20-%20Sed%20&%20Awk%202nd%20Edition.pdf
ターミナルでawk '{print $0}' filenameですと日本語が悲しいです。
お使いのみなさん、使用法等教えて下さい。
http://pc11.2ch.net/test/read.cgi/mac/1247059597/
こっちのが詳しいかもね
awkにはperlのjoinみたいの関数ありますか？
perl:
print join(":",$_);
BEGIN {OFS=":"}{$1=$1;print}
教えて頂ければ幸いです。
-----------------------------
hoge='a:b:c:d:a:b:c:d:a'
echo -n $hoge | perl -F: -ane 'chop;foreach(@F){$s{$_}++ or push(@b,$_)}print join(":",@b)'
-----------------------------
echo -n $hoge | awk 'BEGIN{OFS=":"}{n=split($0,a,":");m=1;for(i=1;i<=n;i++){if(!(a[i]in b)){$m=a[i];b[$m]++;m++}}print}'
!a[$0]++ とした方が1バイト短くなるな
って、そういう趣旨じゃないか
http://www.fukkan.com/fk/CartSearchDetail?i_no=68313239&tr=t
ご回答、誠に有難うございました！
まだawkの部分理解してないけど、期待通りの動作が確認できました！
gawk '{print $1;}' data.txt
ていうのは、クォーテーションはダブルにしないといけないんですね。。。
cmd.exe の仕様の問題であって、awk の側では対応しようにもできない。
printf "２５６倍のコードが提供されてる\n"
printf "ttp://books.ascii.jp にアクセス\n"
printf "本には4756101623なんてのがついてるけど、本の通りに入れるとnot found\n"
}
END {
print "昔と本の内容が変わってるみたいだな"
}
print "まだ始まってもねーよっ！"
}
BEGIN {
printf "・・・ごめ・・・\n"
}
if ($0 == "aka") print "red"
else print "blue"
}
の最も変態的な記法を教えて下さい。
system("echo " + $0 + " | perl -ne 'if(/"aka"/){print \"red\";}else{print \"blue\";}'")
}
perlだと＃＃で行けますが
マルチがだめとは知りませんでした。
AWK Users JP :: OSC2011 Kagawa 特設サイト
http://gauc.no-ip.org/awk-users-jp/blis.cgi/OSC2011_Kagawa
だせぇ・・・
とか思ってたらこんなのもあるんだな。
http://awk.info/?doc/dsl/awkplusplus.html
スペースで区切られたテキストファイルがあります。
例（フィールド数も文字数も全部異なります）
abc efg hij http://www.example.com/index.html xyz
123 http://www.example.org/ she good love look good
4edi http://www.example.net/test/test.html
こんな感じのテキストファイルからURLだけを抽出したい
場合、どう言った処理を行うと良いでしょうか？
printなどは使えそうにないし頭を抱えています。
是非お助け下さい。
{for(i=0;i<=NF;i++)if($i ~ /^http:\/\/.+$/)print $i}
match($0, /http:\/\/[^ ]+/, f)
を使う気がする。
cat 入力ファイル | tr ' \t' '\n' | awk '/^http:/'
…まで書きかけて、あれ、これawkじゃなくてgrepで良くね、と思ってしまった俺
expr 文字列 : '.*\(http:\/\/[^ ]*\).*'
を使う気がする。
でも、処理内容がそれだけなら sed -n 's/^.*\(http:[^ ]*\).*$/\1/p' だなぁ
避けられるなら正規表現は避けたほうが速いんじゃないかと思ってる
一つ一つひもといて自分のものにしていきたいです。
みなさん本当に色々ありがとうございます。
awk以外でならperl、さもなくばrubyあたりまでが俺は限度だなあ
とか
awk '{ l[i++]=$0 }; END{ srand(); print l[int(i*rand())] }'
シェルスクリプトの方が短いか？
BEGIN { srand() }
rand() * NR < 1 { x = $0 }
END { print x }
それだと行数が多いと後半の表示が少なくなっちゃう
2行のときは
1/1の確率で1行目が選ばれる
→1/2%の確率で2行目が選ばれる
3行のときは
1/1の確率で1行目が選ばれる
→1/2の確率で2行目が選ばれる（この時点で1行目、2行目の確率はともに1/2)
→1/3の確率で3行目が選ばれる（2/3の確率で1or2行目が残り両者1/2なので全て1/3)
のように、基本的に確率は等しいはずですが……
浮動小数点演算の精度が問題になるような行数の話でしょうか？
お、これはすごい！考えたなー。ぱっと思いついた奴は、天才だ。こんな風になりたいわ。
> 浮動小数点演算の精度が問題になるような行数の話でしょうか？
これは初め見たとき思ったけど、それが問題になるなら、
私の書いた方法でもメモリが逼迫してまずい気がします。
ただ、精度やrand()の性能で、実際に統計取ったら88の言うようになるのかもしれません。
あとは、rand()が1を返す実装はないよね？gawkのマニュアル読んで書くのだけど、
関数の説明が簡単に書き過ぎていて、ちょっと不安。
mawkだとsrand()を省けるから、もっと短い。エレガント！
それにしても、4ヶ月ぶりに上がったんだ。ほんと人居ない。
awk 1 RS=
sedだと、
sed /^$/d
かな？同じ9文字か。
rand()を全行で実行しているから、
１行目には２行目以降が x を上書きする確率が加わり、
２行目には３行目以降が x を上書きする確率が加わり、
ってことになるんじゃないのかな。
全４行の場合
１行目が表示される確率 1/1*1/2*1/3*1/4
２行目が表示される確率 1/2*1/3*1/4
３行目が表示される確率 1/3*1/4
４行目が表示される確率 1/4
って感じで、最終行が表示される確率が一番大きい気かします。
rand()をBEGINの中に入れてしまえば全部同じだけど。
1/1*1/2*1/3*1/4 + 1/2*1/3*1/4 + 1/3*1/4 + 1/4 = 5/12 (≠ 1)
なので、それが誤りなのは、すぐに分かるはずですが……
それらの確率を足したら1になっていないといけません
ここは高校数学の確率統計のお話をするスレではありませんが、
以下のように考えたらお分かりでしょうか？
1行目が表示される確率は 1/1*1/2*2/3*3/4 = 1/4
(1行目が選ばれる確率 * 2行目が選ばれない確率 * 3行目が選ばれない確率 * 4行目が選ばれない確率)
2行目が表示される確率は 1/2*2/3*3/4 = 1/4
(2行目が選ばれる確率 * 3行目が選ばれない確率 * 4行目が選ばれない確率)
3行目が表示される確率は 1/3*3/4 = 1/4
(3行目が選ばれる確率 * 4行目が選ばれない確率)
4行目が表示される確率は 1/4
(4行目が選ばれる確率)
そうでした。電車の中で気が付きました。
x が上書きされる確率じゃなくて、上書きされない確率を掛けないといけませんでした。
納得。
tar xf linux-2.6.39.1.tar.bz2 --wildcards '*.c' -O >src.txt
time cat src.txt |awk 1 RS= >/dev/null
real 0m3.172s
user 0m2.786s
sys 0m0.757s
time cat src.txt |sed /^$/d >/dev/null
real 0m32.503s
user 0m31.465s
sys 0m0.882s
※参考
time cat src.txt |cat >/dev/null
real 0m0.606s
user 0m0.036s
sys 0m0.586s
おー。sedより、ずっとはやーい
やったね、awk！
レスを投稿する
ニュース
- 【社会】頂き女子りりちゃんに3800万円渡した50代男性「憎しみしか無い。金を全額返してほしい」 実刑判決にコメント★３ [シャチ★]
- 【緊縛】代々木公園の「LGBTQ+」イベント 「過度な露出」に運営が声明「あえて社会規範に挑戦」「ご理解を」 [梵天丸★]
- 【8050→9060】92歳父の年金月23万円で食いつなぎ、薄暗い自室にひきこもる61歳兄 [おっさん友の会★]
- 他に空いているのに横に座られ…『女性の隣』がトレンド入り…元プラスマイナス岩橋も反論した「あえて女性の横に座る男性」の賛否 [muffin★]
- 2月の実質賃金、1.8％減 速報から下方修正、厚労省 ★2 [蚤の市★]
- 減少する街の書店どう救う? 経産省専門チーム発足 仏に反アマゾン法 23日は本を贈り合う日 [蚤の市★]
- ぬわ粘の🏡
- アイクぬわらのお🏡
- 自民・片山さつき「超円安対策に、政府はプレミアム付き商品券の発行やポイント還元などをもう一度やっていいのではないか」 [256556981]
- 【悲報】女性が強いられている家庭内"無償"労働、どう甘く見積もっても月額総額90万円相当を超えるのことが明らかに… [339712612]
- ぶっちゃけソーメンって微妙だよな？一束では少ないけど二束では多い
- 宴会で上司に「お前何か一発芸しろよw」て言われたらどう乗り切る？ [122856632]