YahooBBネットワークの技術的側面について語ろう!
初?の全国規模LAN技術ベースISPである、YahooBBのネットワーク 技術的側面についてかたろう(暴露しよう!) なんでネットワーク障害があんなに多いのか! 技術スタッフはまともに管理できているのか等等! 議論(暴露)しよう。 >>1 初の全国規模不正ファイルコピーグループ ともいうらしい とりあえず面白そうなんで、ブロードバンドにする時は YBBにしたいと思ってる。 Yahooて単純にEtherつなげてるだけだからね ドキュソなケーブル会社ですらモデム間の通信は止めてるのにな まあ、グローバルだとモデム間通信止めるわけには行かないか、、、 やっぱPPPoEが無難だな >>6 全国規模のバックボーンはGSRで、その下にアライド等のL3SWが ぶら下がっているように聞いてきるのですが。 GSR間は2.4G、局間はダークファイバで1G Etherのような。 ちなにみ局間の1G Ether回線がおかしくなったらどうやって迂回 させるんだろう? ある程度の局間を組み合わせてリングでも組んでいるのか? ルーティングプロトコルはOSPF? 局間って単純にブリッジングしてるだけじゃいの? 冗長はスパツリか何かでL2レベルでやってるんじゃ? そうでもしないとかなりの数のグローバルアドレスを遊ばせることになるでしょ >>9 手動切替。障害はNTTのせいだから気にしない。 >>10 コリジョンドメインを全国規模にするつもり? DHCPサーバが起因の障害が多発しているみたいですね。 DHCPサーバ障害でIP割り当てが初期化されたら、IPアドレスの2重割り振り なんか発生してL3SWなんかで経路が混乱し、通信不能状態に陥り大変そう だなあ。 >>12 ブロードキャストドメインと混同してるのかな? そうだとしても、別に全国同じブロードキャストドメインになるわけじゃない CATVなんかでは、IPネットワークは地域に依存せずにVLANを分けて、 終端でトランクするようなやり方をしてるよ そうしないとアドレスが遊んじゃうから >>14 ありそうな話だね 経路は別に混乱しないけど通信中に同じIPからARPが飛ぶね つーかWindowsは自分と同じアドレスのARPを受け取ると NICでIPを殺しちゃうんじゃなかったけ? YBBが使っているDSLAMらしいです。(by どっかの荒れている掲示板より) http://www.corecess.com/jap/product/xdsl_dx6512.asp 1台当り12ポートとは、機械は小さいけど回線収容効率低そうですね。 しかも電源1重化。DC48VでなくAC100Vだし。 100万回線分だとすると、約10万台全国に散らばっているわけですか。 これだけの台数だと、あちこちで障害多発して、管理が大変そうですね。 >>16 これって本来、構内用なんじゃないかなあ? 工場なんかで安くLAN組むときに使うやつ。 とても事業者向けとは思えんが。 >>18 UTStarcomからのアナウンスメント(2001/9/10付) http://www.prnewswire.com/cgi-bin/micro_stories.pl?ACCT=159138&TICK=UTSI2&STORY=/www/story/09-10-2001/0001569115&EDATE=Sep+10,+2001 本サービス開始後に納入されているみたいだから、局毎にDSLAMが違 うんでしょう。 最初はDSLlinX6512を入れていって、後からAN2000入れていくんじゃ ないんでしょうか。 DSLlinX6512だとキャリア向けだとはとても思えないしね。 YBB内のルーディングプロトコルに何を使用しているか、知っている人いますか? YBBのDHCP鯖って、アライドL3SWの機能そのまま使っているのかな? それにしても、DHCP障害&放置報告が多数上がっているのを見ると、 鯖の信頼性って低いな… ネットワーク管理者は障害発生時にすぐに気がかないのかな? もしかしたら、全ネットワーク装置を管理しているOpSがないのか もしれないな! >>23 最近、Yahoo! BBにしたんですが、 さっき2時間ほど、ネットに繋がりませんでした。 これって、No.3がいわれている「DHCP障害」なんですかね? ルーターのWAN側の接続IP項目を見ると、 普段なら、割り当てられているグローバルIPが書いてあるんですが、 そのときは、「取得中」となっていました。 26です。 すみません、No.3さん。 上記の書き込みで、呼び捨てにしてしまっています。 申し訳ないです。 >>26 多分DHCPでIPアドレス再取得時にエラーが多発して、IPアドレス取得できず 通信できなかったのでは?。でも2時間で復旧してよかったですね。 >>23 ルータのDHCPサーバって、普通に使えるものなの? >>23 レスありがとうございます。 あれからは何のトラブルもなく、今のところ繋がっています。 ただ、ルーター、モデムの電源を入れなおしても、IPが変わりません。 Yahoo! BBで契約して、まだ1度も変わってないような気がします。 Yahoo! BBはそんなもんなんですかね? >>30 DHCPってそんなもの。 明示的に解放しないで切って、同じPCをリース期限内に再接続すれば大抵は同じアドレスになる。 PCが再接続時に最後に使っていたアドレスを使えるかを最初に問い合わせるから。 >>31 そりゃごもっともなご意見ですね。 ただ、こういった掲示板で発言をすると、思わぬ反感を買って、 IP抜かれて攻撃されるのもいやだなと思いまして。 めったにないでしょうけど。 >>32 そうなんですか。 Yahoo! BBのDHCPはサブネットマスクを、255.255.255.0の 24ビットでやってます。 このネットワークに、254台のマシンが接続できるわけですが、 全て埋まっていた場合は、やっぱり接続できないのでしょうか? そこら辺はYahoo! BBがきちんと割り振って契約してるんでしょうけど。 >>33 いくら何でもそこまであくどいことはしないだろ 同一VLANには254台までしかモデムつながないだろ でも良く考えたらDHCPが全通しなんだから誰かが2台つないだら オーバーフローしそうな気も、、、 まあ、その程度のことは対策してるだろうけど 質問です。 自宅はYahoo! BBなんですが、Yahoo! BBが各ユーザーに割り当てている IPアドレスは、グローバルIPなんでしょうか? 会社から、自宅へとPINGを飛ばしても帰ってきませんし・・・ グローバルですよ。 帰ってこないのはYBB内のネットワークが凧になってる可能性もある ので時間経ってからやってみるのも由かと。 >37 その自宅のIPが10.*とか、192.*とか、172.*だと、 DHCPジャックに遭ったのかも... >>39 >DHCPジャックに遭ったのかも DHCOジャック? そのままの意味で、DHCPが乗っ取られたって事ですか? どうやってやるの? http://voo.to/revo/ の管理人と只今デュエルしてます。邪魔しないように BY(・д・) YBBは外にでるまでかなりルータ経由しますが、どういう設計意図なのでしょう? 冗長化?でもそれならでL2で組めそうですね。 ネットワーク設計に詳しい方、教えてください。 >>42 冗長化とか以前に何万人て数つないでフラッドなネットワーク組むわけないでしょ まさか全てのVLANを一台ののL3SWでトランクできるわけないし つーかそれ以前に冗長化してホッブ数が増えるわけないじゃん YBBな人の traceroute の結果みると、 YBB内部のルータには 10.x.y.z みたいな プライベートアドレスが振られてるよね。 逆に外部から traceroute するとYBBに入ってから ユーザ端末の直前まで「* * *」になるし。 こういう構成(ルータにプライベートアドレス)って 結構あるのでしょうか。 まあ基本的に動きはするんだろうけど、問題は出ないのかな。 途中のルータが発する ICMP メッセージに依存するようなプロトコル だったら困るかもしれないけど。Path MTU Discoveryとか。 でもYBBネット内部に MTU が小さい部分を 作らなければいいだけの話だし普通に作ればそんな部分はできないだろうけど。 >>43 でもやたら長いような気しません? 俺はYBB入ってないけど、以前友人の とこからtracerouteしたらYBB抜けてJPIX入るまで 14,5ホップはあったし。 うちのISPや以前加入してたISPはせいぜい5ホップ程度で JPIXにたどりついてたのに比べてやたら長いという感は否めません。 >>44 実際にはISPでもやってるところは結構あるよ ルーティングさえ外に流さなければローカルアドレスを使うこと自体は問題ない >>45 何となくだけど、全てのバックボーン回線がコアのネットワークにつながってて 全トラフィックがそこを経由しないと外へ出れないような感じじゃないかな? だとすると加入者数から考えてもこれぐらいになるのかも 拠点間を長距離ギガイーサなんかでL2でつないでるのか、L3でつないでるかにもよるね 各拠点がL3でつながってたらこれぐらいはありでしょ たまには上げてみる。 そういえば、 1) BBTecの障害情報ページが地域別に表示するようになった。 局数多いだけに、表示しきれなくなったか? 2) ReachDSL導入したと書いてあった。 ReachDSLでも、パケット漏れや偽DHCP問題って発生するのかな? YahooBBのネットワークってAnexC対応にできないかな。 >>48 禿げしく意味不明 ネットワークがアネックスC? >>48 アネックス云々は収容局と家までの話のはずだが。 サポートセンターの端末からDSLAM落としている事あり。 みんなでDHCPサーバたてよー networkアドレス決めて。。。 一時騒がれていた YBBでの偽DHCP問題の原因は初期型のLAN/WANポートが 共通で1個しかついていない AirMAC BaseStation(無線アクセスポイント) http://itpro.nikkeibp.co.jp/free/ITPro/OPINION/20020312/1/print.shtml が原因だったようです。マニュアルどおり設定するとWAN側もDHCPサーバーに なってしまうようです。 AirMAC Base Stationは最近(といっても昨年暮れ)、新モデルが発売 されて、今度は EthernetのWAN/LAN のポートが独立になり、 WAN側には DHCP server はたたなくなっているようですが。(当たり前ですが) だた、Y!BBは DHCP DISCOVOR 等不要なプロードキャストは下流側に はフィルターしてほしいけど。 >>52 つまり、ユーザー管理やネットワーク構築もまともにできないYBBが ネットワーク事業をやっているのが間違いってことでしょ? はるか昔は、セキュリティ?もことを考えて、同一サブネット上のホスト間 どうしては通信できなかったらしいですね。 でも、それじゃ困っちゃうから(たぶん同一サブネット同士のBBフォン間で 通話できなくなる?)、現在の形態になっているようです。 思うんだけど、加入者側のDHCPサーバからの応答パケットをSwitchでフィ ルタリングできないんですかね?それが出来ない機器を使っているから解 決できないのかな? 大量購入してるんだから、メーカにプッシュして改良させればいいと思う んだけど。 YBBのバックボーンのマップってどっかにありますか? YBBの局間は Gigabit Ether それとも今だに ATM ? うちも YBBだけど、gpix まで 10. のprivate LAN内を12ホップも旅してます。 >>55 あんだけ、ATMだから高いのなんのっていっていたり、ダークファイバ で騒いでいるんだから、GigaEtherだと思うけど。 ホップ数の多さはしょうがないんじゃないですか?所詮でっかいLAN なんですから! でも、遅延は少ないんじゃないでしょうか? >>57 DSLAMに繋いでる時点で遅延はあるていど仕方ないんじゃないかな。 ADSLの宿命として Microsoft Windows 2000 [Version 5.00.2195] (C) Copyright 1985-2000 Microsoft Corp. *:\>tracert pc.2ch.net Tracing route to pc.2ch.net [64.71.177.66] over a maximum of 30 hops: 1 10 ms 10 ms <10 ms *.*.*.252 2 10 ms 10 ms 10 ms 10.*.*.* 3 10 ms <10 ms 10 ms 10.*.*.* 4 10 ms 10 ms <10 ms 10.*.*.* 5 10 ms 10 ms 10 ms 10.*.*.* 6 20 ms 20 ms 10 ms 10.*.*.* 7 20 ms 10 ms 20 ms 10.*.*.1 8 10 ms 20 ms 20 ms AS6461.ix.jpix.ad.jp [210.171.224.87] 9 21 ms 10 ms 20 ms core2-core1-oc12.nrt2.above.net [208.184.233.138] 10 20 ms 10 ms 20 ms core2-nrt2-oc12.nrt3.above.net [208.184.210.74] 11 120 ms 110 ms 120 ms sjc3-nrt3-stm4.sjc3.above.net [64.125.30.10] 12 110 ms 121 ms 120 ms pao1-sjc3-oc12.above.net [208.184.232.178] 13 140 ms 141 ms 150 ms 209.249.24.136.he.net [209.249.24.136] 14 140 ms 150 ms 141 ms biwa38.he.net [64.71.177.66] Trace complete. >>54 YBBくらいの規模じゃ改良してくれないんじゃない? 昔ciscoにどれくらいなら改良(改造)してくれるか聞いてみたら $100Mなら、って答えが帰ってきたし。 ciscoだからってのもあるけどさ。。。 >>60 アライド(日本)とCISCO(米国)を比べても… 数千台以上の規模で買ってくれるんだから、なんとかなると思うが。 そういえば、BBフォンで夜の時間帯に雑音乗るって話が出てきているけど、 一部でバックボーンが輻輳し初めているのかな? YBBってTCP/IPのパケットを交換手のおねーさんたちが、 プラグ片手に裁いているって本当ですか? モデムにハブをつなげて、複数台のパソコンをつなげたら 全部グローバルアドレスが振られるってほんとですか? 昔はDHCPで2個IPアドレス割り当てられたらしいけど、今は対策されているらしい。 DHCPで1個だけIPアドレス割り振られ、あと1個はBBフォン用にとってありPCに割り 当てられないようだ。 read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる