のぴぴのメモ

自分用のLinuxとかの技術メモ

ECRにdockerログインしてImageをpush/pullしたりリポジトリやイメージ一覧取得)する手順

dockerdでECRの認証情報を取得して、ECRリポジトリを作成し、docker イメージを/push/pullする手順

S3クロスリージョンレプリケーションのレプリ時間を計測してみた

AWS

東京リージョンとシンガポールリージョンで、S3のクロスリージョンレプリケーションの転送時間を測定。測定結果を見ると、転送時間はオブジェクトサイズに比例し、1GBのオブジェクトで20秒〜1分程度、10GBのオブジェクトで3〜4分、80GBのオブジェクトになる…

AWS CloudFormationで、インスタンスのUserDataにクロススタックリファレンスの値を埋め込む方法

自分用のメモです。 こちらのAWS CloudFormationのヘルパーのコマンド実行文字列にクロススタックリファレンスの値を埋め込む方法 - のぴぴのメモの記事の応用です。 方法 Fn::Joinの文字列結合で、Fn::Sub(!Sub)や、Fn::ImportValueのクロススタックリファ…

オレオレ証明書を1コマンド一発でバッチ的に作る方法

自己署名証明書(オレオレ証明書)を作る時、コマンドを3回叩いたり、コマンド実行したら対話的に入力したりで簡単にバッチ化できないかなぁ〜と調べたメモです。結論は、openssl req -x509 -days 36500 -newkey rsa:2048 -nodes -out ${URLNAME}.crt -keyout…

AWS CloudFormationのヘルパーのコマンド実行文字列にクロススタックリファレンスの値を埋め込む方法

AWS

自分用のメモです。 CloudFormationのヘルパーに埋め込む実行コマンドの文字列に、他のスタックで作成した値をクロススタックリファレンスで埋め込む方法が、なかなか分からなかったので。 方法 Fn::Joinの文字列結合とFn::ImportValueのクロススタックリフ…

AWS 各リージョンのデフォルトVPCをまとめて削除するpythonスクリプト(boto3利用)

AWS

AWS SDK for Python (Boto3)の練習用に、各リージョンのデフォルトVPCをまとめて削除するpythonツールを作りました。 github.com 前提環境 python 2.7 AWS SDK for Python(boto3) 利用方法 (1) boto3をインストールする インストールは下記ドキュメントを参…

vimの設定と操作時のTips

vimを利用する時の設定と操作時のメモです。 1. ~/vimrc設定 " setting set fenc=utf-8 "文字コードをUFT-8に設定 set nobackup " バックアップファイルを作らない set noswapfile " スワップファイルを作らない set showcmd " 入力中のコマンドをステータス…

VPC閉塞空間でCloudFormationのcfnヘルパーを使うときは、CFnのEndpointがいる話

AWS

インターネット接続していないVPC環境で、CloudFormationのcfnヘルパーを利用するばあいは、CloudFormationのVPC Endpoint(Interface型)が必要です。

VPC閉塞網からyumリポジトリにアクセスする(Amazon Linux & RHEL)

VPCからインターネットへの外の通信をさせないようにしている環境を想定した検証環境で、rpmパケケージ追加をしようとして、yumリポジトリとの通信ができずハマったのでまとめました。結論は、(1)Amazon Linuxは、「S3のVPC Endpointを設ける」、(2)RHELは、…

Red Hat Developer Program参加とRHEL無償サブスクリプションの取得&更新

Red Hat Developer Programのに参加すると、無料のRed Hat Enterprise Linuxサブスクリプションを取得することができます。RHELのを取得できるのも嬉しいですが、redhatの ナレッジベースを参照できるようになるのが嬉しいです。 ちなみに、この無償プログラ…

AWS 特定のAMIの各リージョンのImageID一覧を取得するシェル

特定の種類のAMIについて、各リージョンのImageIDを取得し、CSV形式で出力するシェルスクリプトです。 例えば、SQL Server Web Editionが含まれているLicense-includeなwindowsインスタンスの各リージョンのImageIDを知りたいとかいうときに利用します。

AWS リージョンのコードと名称の一覧を取得する

AWS

結論 例えば「”Asia Pacific (Tokyo)", "ap-northeast-1"」という感じに、リージョン名称とリージョンコードの一覧を取得するのは、下記のAWSのEC2ユーザーズガイドの"Regions and Availability Zones"のリージョン一覧表から取得するのが良さそう。(結局手…

AWSのドキュメントリンク

AWS

個人用のメモです。 共通 ホワイトペーパー | AWS リージョンに関する情報 提供中のリージョンとエッジの一覧 Region Code List 各リージョン毎のService提供状況一覧 各リージョンの各サービスのエンドポイント リージョンまでのレイテンシーチェック ネッ…

RHEL7 on EC2にdockerをセットアップする手順

RHEL7 on EC2(License Included)でのdockerセットアップ手順を記載します。 Amazon Linux2へのdockerセットアップ手順(との違いは、RHUIのEPELレポジトリを有効化し、dockerをインストールするところです。

EC2(Amazon Linux2)にprivateなdocker registryの作るメモ

* 1.はじめに 検証用にプライベートなdocker registryをAWS EC2上のAmazon Linux2に作った時のメモです。レジストリを立てて、別のサーバからdockerイメージをpush/pullして確認するまでを記録しています。 内容は、[https://qiita.com/zknzfz/items/13d5d07…

opensslコマンドのhelpを出す

opensslのコマンド一覧表示。"openssl help"。"help"というコマンドは無いが、”invalid command”エラーでコマンド一覧が表示される。コマンドの説明は"man openssl"で確認する。コマンドの後ろに"help"をつけると、"unknown option"となりオプション一覧が表…

LinuxブロックデバイスとNFSとネットワークの関係性

会社でディスク(ブロックデバイス)とNFSの違いはという話題になったので、Linux kernelの中のブロクデバイス、NFS(ファイルシステム)、ネットワークの関係をざっくりしたポンチ絵に落としてみました。(簡素化するため箸折っていたり、そもそも私の理解が曖昧…

EC2+AmazonLinux2にdockerをセットアップする手順

Amazon Linux2上にdocker環境を作った時のメモです。 手順 インスタンスを立ち上げて、sshログインしてからの手順です。 (1)dockerのインストール sudo yum -y update sudo yum -y install docker (2)dockerサービスの起動 最初の"start"でdockerサービスを…

EC2でnetconsoleを使ってカーネルメッセージを取得する

EC2インスタンス(Amazon Linux2)で、netconsoleを使ってカーネルメッセージを別サーバに飛ばして見る設定のメモです。ncatを利用しnetconsoleサーバを一時的に作る方法とsyslogサーバに飛ばす方法の両方を説明します。

Linuxのテスト用に、ハングアップやパニック状態にするカーネルモジュールを作ってみた

テストのために、AWSのAmazon Linuxのインスタンスをカーネルレベルでハングアップさせたかったので、テスト用のカーネルモジュールを作ってみました。 できること カーネルのハングアップ(ping応答もできないレベル。プリエンプションをdisableにして実現) …

AWS CLIのセットアップ(RHEL/Mac)

RHELとmacの、AWS CLIのセットアップ手順です。公式ドキュメントに記載されてなくてハマった点を中心に記載しています。ちなみに、Amazon linuxはプリインストールされているので不要です。

MacでVisual Studio CodeをインストールしGit連携するまでの手順

MacにVisual Studio Code(以下、VS Code)をセットアップして、Git連携するまでの手順メモです。

AWS codecommitを使ってみた

AWS

1.AWS codecommitとは? 2.使ってみる 2.1 リポジトリを作ってみる 2.2 gitアクセス用のIAMアカウントを作ってみる 設定内容 手順 2.3 gitコマンドでcloneしてみる gitの初期設定 CodeCommitと接続しリポジトリをcloneする 3.gitコマンドでの、HTTPS Git認証…

clock_gettime()で負荷をかけたEC2をNetflix FlameScopeでのぞいてみた

はじめに FlameScopeとは この記事で書いていること セットアップ手順①(MacにFlameScopeをセットアップする) (1)前提パッケージのセットアップ (a)gitコマンドのセットアップ (b)pipコマンドのセットアップ (2)FlameScopeのセットアップ セットアップ手順②(…

subprocessでコマンド実行し、例外処理でOSErrorとコマンドのリターンコードの非ゼロ(エラー)をそれぞれハンドルするサンプル

サンプルコード 私自身の勉強用です。コードは、python2.7ベースです。 #!/usr/bin/env python # -*- coding: utf-8 -*- import sys import subprocess def call_subprocess(cmd): try: r = subprocess.check_output( cmd, stderr=subprocess.STDOUT ) sys.s…

プロセスのVSZ,RSSとfree,meminfoの関係を実機で確認する

psコマンドのVSZ(仮想メモリ)、RSS(物理メモリ)の挙動について質問を受けたので、簡単な検証プログラムを作ってmalloc/freeのメモリ確保/解放や、データの読み込み・書き込みとVSZ/RSSの関係性及び、freeコマンドとmeminfo情報でシステムワイドなメモリの挙…

Linuxのclock_gettime()でナノ秒の時刻を取得し表示する

1.はじめに 2.コードと実行例 (1)コード (2)実行例 3.説明 (1)clock_gettime(CLOCK_REALTIME, &ts) (2)localtime_r( &ts.tv_sec, &tm) (3)printfで出力 1.はじめに clock_gettime()で時刻を取得し時刻をナノ秒で表示するサンプルです。時刻取得といえばgetti…

最小構成でmanがない場合の対処方法->man-pagesをインストール

結論 タイトル通りですが、備忘録です。 CentOSやRHELで最小構成でインストールした場合、最小限のコマンドマニュアルしかなくて、man(2)、man(3)・・・は、入っていないのですね。 結論から言うと、そんな時は"man-pages"(日本語も必要な場合は、man-pages-…

freeコマンドとmeminfoを取得してCSV形式で保存するシェルスクリプト

はじめに ツール説明 シェルスクリプト 使い方 出力結果 はじめに 昔作った/proc/meminfoを取得時刻情報取得スクリプトを改造して作った、freeコマンド+/proc/meminfoを取得して、CSV形式で出力するシェルスクリプトです。 nopipi.hatenablog.com ツール説明…

"LB + Web x 2 + RDB"マルチAZ”でWordPressをインストールするCloudFormation

はじめに 構成概要 CloudFormationコード はじめに 前にAWSさんの体験ハンズオンで経験した"LB + Web x 2 + DB x 2"環境構築して、そこに動作確認としてWordPressをインストールして動かすところまでの手順を、CloudFormationを使って自動化して見ました。Wo…