【サーバー管理】「プライムデー」のシステム障害、原因やアマゾンの奔走ぶりが明らかに

1: へっぽこ立て子@エリオット ★ 2018/07/20(金) 15:29:38.79 ID:CAP_USER

 Amazonの特売イベント「プライムデー」で米国時間7月16日に障害が発生した原因について、いくつかのことが明らかになった。

CNBCが入手した社内文書によると、Amazonは1年でも特に売り上げが大きい日であるプライムデーの開催中に、自社サイト上の全てのトラフィックを処理できるだけのサーバを用意していなかったという。
Amazon Prime Day crash: internal docs reveal scramble to fix(英文)
https://www.cnbc.com/2018/07/19/amazon-internal-documents-what-caused-prime-day-crash-company-scramble.html
これが原因で、Amazonは通常のものよりシンプルな予備のホームページを立ち上げて、国際的なトラフィックを一時的にブロックすることを余儀なくされた。

no title

Amazonはプライムデーで発生した障害を解消すべく奮闘していたようだ
提供:Getty Images
報道によると、この措置は、プライムデーが太平洋時間正午に始まってから15分後に実施された。プライムデーは100万点以上の商品を割引価格で提供する36時間のセールだ。

報道によると、Amazonはトラフィックの急増に対応するため、手動でサーバを追加する必要があった。この文書を精査した専門家がCNBCに述べたところによると、Amazonのオートスケーリング機能が正常に働いていなかったことがクラッシュの原因となった可能性があるという。プライムデーの開始から約1時間後、Amazonのサーバの状態に関する更新情報には、「現在、スケーリング能力が不足。利用できそうなハードウェアの探索を検討中」と書かれていた。

この文書によると、小売りやデジタル事業向けの計算およびストレージサービスに使われている「Sable」という社内システムに障害が発生したことで、プライム、認証、動画再生などのサービスにも不具合が生じたという。また、「Alexa」「Prime Now」「Twitch」の各チームも問題を報告し、一部の倉庫ではしばらくの間、商品のスキャンなどができなくなったという。

この件に詳しい人物がCNBCに伝えた話によると、当時オフィスは「カオス状態」で、一時は300人以上の人が緊急会議に参加していたとのことだ。

Amazonでワールドワイドコンシューマー部門を統括するJeff Wilke氏はCNBCが入手した社内向け電子メールの中で、同氏のチームが今回の障害について「失望した」と述べ、同社が再発防止に向けて取り組んでいくと伝えたという。

Amazonはコメントを控えた。

2018年07月20日 11時08分
CNET Japan
https://japan.cnet.com/article/35122764/

68: 名刺は切らしておりまして 2018/07/21(土) 09:48:18.31 ID:tifZsWSL

>>1
システム管理も

安かろう
悪かろう

 

75: 名刺は切らしておりまして 2018/07/21(土) 18:39:02.69 ID:3+PeA9KZ

>>1
今回は犬が三匹まで確認できたぜ。

今まで一匹だと思ってたのに

 

2: 名刺は切らしておりまして 2018/07/20(金) 15:33:53.41 ID:FQLuJ9BF
待ちの商店が、安売りのチラシ出したら
人が押し掛けたが、店舗が小さくて入りきら行列ができたみたいなもんだろ

 

3: 名刺は切らしておりまして 2018/07/20(金) 15:43:52.93 ID:fZlsoIbs
>CNBCが入手した社内文書によると
これって法的にどうなんだ?
アメリカだと正規ルート以外の入手は色々問題出てくると思うが
社内文章って普通は外に出しては行けない物だと思うんだが

 

4: 名刺は切らしておりまして 2018/07/20(金) 15:56:17.80 ID:bDjLyJh7
>>3
文書のセキュリティレベルにも色々ある
でもこの内容だと少なくとも社外秘だよな

 

13: 名刺は切らしておりまして 2018/07/20(金) 16:39:09.75 ID:81Ezq83z

>>3
アメリカでも日本と同じで公益目的ならNPだよ。

アスペは公益とかわからないけど、お前はどうかな?

 

36: 名刺は切らしておりまして 2018/07/20(金) 19:35:50.34 ID:Lw4E2gTA
>>13
すぐアスペというやつがアスペなんだってな

 

5: 名刺は切らしておりまして 2018/07/20(金) 15:59:19.80 ID:PLNGmkCa
送られてきた商品が機能障害でした
ええ、返品しますけどね

 

7: 名刺は切らしておりまして 2018/07/20(金) 16:03:17.94 ID:hqmowrnp
脱税三昧なんだからそれくらい

 

8: 名刺は切らしておりまして 2018/07/20(金) 16:13:00.95 ID:3xAR2UqO
毎年やっているようなことなのに予想できないのか
おまけにただのネット小売会社ならともかく最近はクラウドが売りの会社
さすがにいいのかこれは

 

16: 名刺は切らしておりまして 2018/07/20(金) 16:44:43.30 ID:81Ezq83z

>>8
物理的限界は超えられないからね。

サービス開始当初のAWSは予備役みたいなもので、使っていない計算力はアマゾン本体のロードに合わせて投入できたが、AWS自体がここまで大規模になっては本体とはいえ、動かせるロードは限られる。
無い計算機資源は出せないし、契約で動いているサービスは止められない。

各国でアマゾンの利用はやたらと増えているけど、大規模サーバ群はそんなに簡単に増やせない。
用地買収、インフラ整備、設置、サービス開始、なんのかんので3年ではもうできなくなっている。

昔はそれこそ四国くらい入る面積の土地を外人資本に売っていたアルゼンチンやカナダが今は結構うるさくなっている。
インドやアフリカでは全然インフラが足りない。

 

10: 名刺は切らしておりまして 2018/07/20(金) 16:24:35.49 ID:YmEe790Z
顧客の注文が殺到してサーバの処理能力越えるとか、どこの小売店の嬉しい悲鳴だよ?

 

14: 名刺は切らしておりまして 2018/07/20(金) 16:42:55.58 ID:KohxGDuB
そんなにお買い得だった?

 

26: 名刺は切らしておりまして 2018/07/20(金) 18:47:24.16 ID:FBAEKCeI

>>14
ポイント10%(ゴールド会員)+10%割引

よって、20%お得だったよ。

 

15: 名刺は切らしておりまして 2018/07/20(金) 16:44:23.04 ID:VT7pxLHz
会費取ってるのにヨドバシより高いものばかりになってきたな

 

17: 名刺は切らしておりまして 2018/07/20(金) 16:53:26.00 ID:o4kRYIe3
  >自社サイト上の全てのトラフィックを処理できるだけのサーバを用意していなかったという
故意犯だろうね、TV-CMまで使って煽っておきながらw、これから配送でもチョンボ起きるだろうね

 

19: 名刺は切らしておりまして 2018/07/20(金) 17:10:57.79 ID:81Ezq83z

>>17
意味において故意犯以外ではあり得ない。

でも悪意かどうかはわからない。

 

18: 名刺は切らしておりまして 2018/07/20(金) 17:09:59.32 ID:p/fIPyGh
大したセール品なかったから客そんな来ないだろうと高をくくってたら
客がどこかに安いものあるだろうと、あちこち探して負荷がかかったんだろう

 

20: 名刺は切らしておりまして 2018/07/20(金) 17:51:53.19 ID:hjJKfKvM
USサイトはそんなに障害酷かったの?
JPサイトは30分ぐらいで正常に動作してたよ?
セールの時ってそんなもんじゃん?

 

22: 名刺は切らしておりまして 2018/07/20(金) 17:54:00.69 ID:pYDxD5RZ
冗談じゃなくどうしてAWSの仕組みを使ってないのか
オートスケールするのが売りじゃ無いのか

 

23: 名刺は切らしておりまして 2018/07/20(金) 17:56:44.07 ID:bSHS/a1q
早く茨木市の物流センター完成させろよ
ヨドバシなら朝注文で夕方届くからな
ショッカーに負けるな

 

24: 名刺は切らしておりまして 2018/07/20(金) 18:07:07.96 ID:3ufKZ/6l
クラウドなら負荷状況に応じて自動的にリソース増強をしてくれる
…と思ってました (Amazonさん談)

 

25: 名刺は切らしておりまして 2018/07/20(金) 18:38:39.19 ID:7gn7OVsn

クラウド事業運営してる アマゾンが 一番 クラウドの使い方 知りませんでした。
顧客に クラウドのどういう使い方を宣伝してたのかぁ? 宣伝してる本人が 全く理解してなかった?

だったら
アマゾン自身が自分のクラウドにつくる 専用のクラウド事業は 別の企業のクラウド業者に発注しておけ。

 

37: 名刺は切らしておりまして 2018/07/20(金) 20:08:51.98 ID:o4kRYIe3
>>25  痛い所突くねw

 

28: 名刺は切らしておりまして 2018/07/20(金) 18:58:50.82 ID:Hjqdvt9H
一時的に上がるトラフィックのために増強なんてしてたら
本来必要でない何でもない日は持て余す羽目になるから結局セール日は繋がらないけど
我慢してね!が楽天やらLCCのセールやらの見解なんだよなw

 

56: 名刺は切らしておりまして 2018/07/21(土) 00:13:12.07 ID:eADJK7sE
>>28
楽天はインフルエンザ騒動のときに三木谷が「いまが稼ぎ時!高値でバンバン売りましょう」てのを知ってサイト開く気もなくなったよ

 

29: 名刺は切らしておりまして 2018/07/20(金) 19:05:51.33 ID:3EEXZpix
そういう演出じゃないの

 

30: 名刺は切らしておりまして 2018/07/20(金) 19:11:56.17 ID:sxgldoqZ
ロードバランサの設定障害かと思ってたが・・・

 

31: 名刺は切らしておりまして 2018/07/20(金) 19:13:54.19 ID:MSv9nHpB
できもしないことをやろうとするな
商売というか社会人としても当然のことだろう
信用は確実に落ちてるよ

 

35: 名刺は切らしておりまして 2018/07/20(金) 19:30:04.41 ID:Y7QL3OmD
>>31
普通の日本企業より信用もブランド力もAmazonの方が高いぞw

 

32: 名刺は切らしておりまして 2018/07/20(金) 19:20:18.50 ID:n73vies1
本当に良いものがセールにならないと理解してて
本気で買った物が無い
年末福袋と同じ感じ

 

33: 名刺は切らしておりまして 2018/07/20(金) 19:23:35.35 ID:FBAEKCeI

ショッピングサイトのセールで
アクセスが集中してサービスがストップするのってあたりまえでしょう、。

PSVRの発売日には、ヨドバシとか他のサイトも、毎回障害起こしてたよ。

 

34: 名刺は切らしておりまして 2018/07/20(金) 19:26:41.13 ID:oZ9hbadI
何もかもが数字化されて何もかもに目標数値が設定され、常に改善を要求される
このため不必要で実験的な変更が日常的に行なわれる上に、何もかも最低限で切り抜けようとする
だから想定を上回る事態が起こると世界の最先端を行ってる企業とは思えないお粗末なことがおこる
そしてその責任は上司では無く現場や担当者、出入り業者に押し付けられて、人が入れ替わって終わり

 

40: 名刺は切らしておりまして 2018/07/20(金) 20:43:40.46 ID:i9aVDGUW
みんなで一所懸命リブートしまくりか

 

43: 名刺は切らしておりまして 2018/07/20(金) 20:54:23.71 ID:dyKHWMo7
Amazon自身でさえオートスケーリングを使いこなせないのか

 

44: 名刺は切らしておりまして 2018/07/20(金) 20:55:26.67 ID:n9mO+9i9
年1回の大規模サーバーテストだしな
短時間で対処するamazonは凄いわ(´・ω・`)

 

45: 名刺は切らしておりまして 2018/07/20(金) 21:16:50.19 ID:cKQoXWTG
プライム会員じゃないから到着までに3日以上かかる
最近は特に発送遅くなった

 

46: 名刺は切らしておりまして 2018/07/20(金) 21:24:26.60 ID:/7NewON4
Prime会員だが、翌日届く商品と2、3日かかる商品があるよ。
淀橋も翌日届く物があるな。

 

47: 名刺は切らしておりまして 2018/07/20(金) 21:28:31.21 ID:4rgwDPMF
予測はしてたけどコストけちっただけという感じに聞こえる
amazonらしい

 

48: 名刺は切らしておりまして 2018/07/20(金) 21:37:21.13 ID:IgUrKH5N
こういうのって失望したとか言って責任転嫁してる奴が現場からの計画を潰してちゃんと準備する金と時間と人を
用意させなかったのが原因だよな

 

50: 名刺は切らしておりまして 2018/07/20(金) 21:42:21.16 ID:5cvRT6LU
この36時間のために事前に過剰な設備投資するような馬鹿な会社じゃないってことで
それはそれでよいと思うけど。

 

73: 名刺は切らしておりまして 2018/07/21(土) 13:31:20.24 ID:eADJK7sE
>>50
おれのところにエイリアンパソコンのハイスペック届いたりしないかなー

 

74: 名刺は切らしておりまして 2018/07/21(土) 14:51:31.49 ID:xTnGvxzG
>>50
この36時間が後々の兆規模の損失になったりね?
プライム会員の価値は下がったろう。

 

51: 名刺は切らしておりまして 2018/07/20(金) 22:01:23.31 ID:Qs2ibqBr
この失敗の教訓は数百億の価値がある

 

52: 名刺は切らしておりまして 2018/07/20(金) 22:53:01.28 ID:PAZsUvBD
消費者側も特大キャンペーンの負荷だと承知しているから大して騒がないしな
世界規模の負荷テストと考えれば元は取れるんじゃないの

 

53: 名刺は切らしておりまして 2018/07/20(金) 22:57:49.79 ID:9HMO47p9
未だに発送すらされないんだが
ふざけるなAmazon

 

54: 名刺は切らしておりまして 2018/07/20(金) 23:34:58.72 ID:Fvrgc49T
Amazonも中国人社員が多くなっておかしくなった。
あいつら学歴はいいけど働かないからな…
しかも勤務先をダシにして妙なことばかりやっている。

 

55: 名刺は切らしておりまして 2018/07/21(土) 00:10:33.23 ID:eADJK7sE
確かに10時?11時に買い物始めたらカートに商品が全然入らなくて売り切れでもないしー、って30分試してどめだったからあとでカスタマーセンターに安値で買えなかったろ!と詰める前にAmazonがアウトだった

 

57: 名刺は切らしておりまして 2018/07/21(土) 00:14:00.75 ID:eADJK7sE
セールスフォースもよく止まるよね

 

58: 名刺は切らしておりまして 2018/07/21(土) 00:25:29.14 ID:+aGhYdSx
買った品物がまだ全然届かん

 

59: 名刺は切らしておりまして 2018/07/21(土) 00:31:48.20 ID:APSdAI2J
いつもなら遅くても2日以内に来るのに6日経っても来なくて草
こんなんわかってたら注文してねえわボケ。店頭に買いに行くわ

 

61: 名刺は切らしておりまして 2018/07/21(土) 00:45:26.27 ID:cDNHE+ZE
尼の配送状況でいつもより配達予定日が遅い
念のためヤマトの追跡を見たら、配達日指定されて配達担当店で保管中になっていた
尼は勝手に配達日指定するなよ

 

62: 名刺は切らしておりまして 2018/07/21(土) 00:49:40.90 ID:6nqk9JLu
配送予定日7月19日のままだわ
ヤマトの荷物お問い合わせしてもまだ荷物受付の段階
いつ来るんだ

 

63: 名刺は切らしておりまして 2018/07/21(土) 01:00:54.56 ID:i1CaiGWh

俺、買ってもないのに商品が遅れるっていうメールが来たんだけど…

同じ現象の人、ない?

 

66: 名刺は切らしておりまして 2018/07/21(土) 01:54:27.40 ID:QHRZkOKd
>>63
買った商品が遅れるメールは着たよ。

 

67: 名刺は切らしておりまして 2018/07/21(土) 08:22:39.59 ID:/6a93Z5y

>>66
注文番号で確認したら、既に到着してた商品が遅れるってメールだった

Amazon混乱してるみたいね

 

69: 名刺は切らしておりまして 2018/07/21(土) 09:58:50.42 ID:ZOWQYT9J
いい加減Amazonに問合せしたほうが良いのかな

 

70: 名刺は切らしておりまして 2018/07/21(土) 10:13:27.17 ID:6Ox3ZVd/
今日午前配達指定の荷物がまだ発送もされてないなぁ。

 

71: 名刺は切らしておりまして 2018/07/21(土) 11:36:13.76 ID:lyB0kk4O
プライム会員じゃないから、その時期に近寄らなかったが、そんな面白いことになってたのか

 

72: 名刺は切らしておりまして 2018/07/21(土) 12:31:46.24 ID:zwn3Lp63
注文情報ぐちゃぐちゃになってるんか?

 

9: 名刺は切らしておりまして 2018/07/20(金) 16:16:15.47 ID:Ut2Ybmhy
aws使え

引用元

http://anago.2ch.sc/test/read.cgi/bizplus/1532068178/

管理人からひと言

日本であまり騒いでなかったからこんなこと起こってたとは知らず

[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

アマゾン大全(2018) 完全保存版 (100%ムックシリーズ)
価格:950円(税込、送料無料) (2018/7/21時点)

関連記事

  1. 【企業】ドワンゴ、「将棋電王トーナメント」終了を発表

  2. 「学研 まんがでよくわかる」シリーズに“フラッシュメモリのひみつ” 東芝メモリが協力 2018/10…

  3. カテゴリ_news

    【IT】Googleがタブレットから撤退

  4. 【IT】IBM、眠そうな人にコーヒーを届けるドローンで特許取得

  5. 【IT】マイナンバーカード申請数 先月末人口の4割に 水準維持が課題

  6. 大塚家具元社長の大塚久美子氏、パソコン機器大手メルコHDの社外取締役に

  7. 【会社統合】東芝デバイス&ストレージ、子会社を統合

  8. カテゴリ_news

    GitHubは「設計図共有サイト」? 謎呼称にツッコミの声相次ぐ

  9. 【気象庁】スパコン、3時間半にわたって障害 冷却装置の停止が原因

コメント

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

最近の人気記事

おすすめ記事

新着記事

  1. 【悲報】ネットワークエンジニアぼく夜勤だけど既に眠い
  2. Linuxカーネル勉強しても就職先ってないの?
  3. 【悲報】ワイITエンジニア研修中、ガチで絶望するwywywywy
  4. お前らが唯一使えるLinuxコマンド挙げてけ
  5. 【悲報】SESワイ、毎日毎日サーバーを監視するだけの毎日に鬱になってしまう、、

ボンブの戯言

  1. 【ボンブの戯言】フリーランスのメリットを全否定してみた
  2. 【ボンブの戯言】はじめました。
  3. 【ボンブの戯言】ITエンジニアが徹夜してでも間に合わせる理由
  4. 【ボンブの戯言】フリーランスの実態調査をITエンジニアフリーランスの視点から見て…
  5. 【ボンブの戯言】ITエンジニアは、なぜうつ病になるのか
PAGE TOP