混ぜるな危険!? ユニケージとxonshの融合

はじめに

こんにちは清水です!
この記事は、Xonsh Advent Calendar 2018 – Qiitaの6日目の記事です。

ユニケージとは

個人的な解釈ですがawkで頑張らずともユニケージコマンドを使用することで比較的楽にshell芸ができます。

一例ですがこんなことができます。

cat test.txt

1 2	cat test.txt

shimizu nagano python
kondo kanagawa java
saito kanagawa python
maeda tokyo c
kojima aichi ruby

shimizu nagano python

kondo kanagawa java

saito kanagawa python

maeda tokyo c

kojima aichi ruby

このファイルの2列目の値だけ欲しい。
awkで書くとこんな感じ。

cat test.txt | awk '{print $2}'

1 2	cat test.txt \| awk '{print $2}'

ユニケージコマンド(self)を使用するとこのようにかけます。

cat test.txt | self 2

1 2	cat test.txt \| self 2

僕はまだユニケージ初心者なのでより詳細な情報は以下の記事を参照してください。

xonshとは

Pythonで作られたクロスプラットフォームのUnixライクなシェル言語とコマンドプロンプトです。
Pythonの対話モードとUnixコマンドが合体したみたいなものです。

個人的にshellなるべく書きたくないマンなのでPythonで書けるのは衝撃でした。

pipで入ります。使用するときはターミナルでxonshと打つと起動します。

pip install xonsh

1 2	pip install xonsh

例

$ files = $(ls).split()                                     
$ print(files)
['Applications', 'CRM', 'Desktop', 'Documents', 'Downloads', 'Library', 'Movies', 'Music', 'Pictures', 'Public', 'Users', 'go', 'iCloud', 'Drive（アーカイブ）', 'path', 'pict', 'test.txt']

$ files = $(ls).split()

$ print(files)

['Applications', 'CRM', 'Desktop', 'Documents', 'Downloads', 'Library', 'Movies', 'Music', 'Pictures', 'Public', 'Users', 'go', 'iCloud', 'Drive（アーカイブ）', 'path', 'pict', 'test.txt']

ライブラリも使用できます

$ import pandas as pd
$ df = pd.read_csv('test.csv')
$ df                      
   id            name      from
0   1         shimizu    nagano
1   2           kondo  kanagawa
2   3  saito kanagawa       NaN
3   4           maeda     tokyo
4   5          kojima     aichi

$ import pandas as pd

$ df = pd.read_csv('test.csv')

$ df

id name from

0 1 shimizu nagano

1 2 kondo kanagawa

2 3 saito kanagawa NaN

3 4 maeda tokyo

4 5 kojima aichi

詳しくはこのアドベントカレンダーのリーダーである@vaaaaanquishの記事をご覧ください。

Pythonistaに贈るXonshのススメ

今回紹介すること

今回は謎技術ユニケージとxonshを組み合わせた「ひょっとしたら、これ使えるかもしれない(笑)」的なものを紹介していきます。

selfとのコラボ

先ほど使用したselfコマンド。このコマンドはawk '{print $1 $3}'のように出力したいフィールドを指定することでそのフィールドを表示します。

$ cat test.txt                                                                                                         
shimizu nagano python
kondo kanagawa java
saito kanagawa python
maeda tokyo c
kojima aichi ruby

$ cat test.txt | self 1 3
shimizu python
kondo java
saito python
maeda c
kojima ruby

$ cat test.txt

shimizu nagano python

kondo kanagawa java

saito kanagawa python

maeda tokyo c

kojima aichi ruby

$ cat test.txt | self 1 3

shimizu python

kondo java

saito python

maeda c

kojima ruby

xonshと組み合わせる

lang = $(cat test.txt | self 3).split()
print(lang)
['python', 'java', 'python', 'c', 'ruby']

lang = $(cat test.txt | self 3).split()

print(lang)

['python', 'java', 'python', 'c', 'ruby']

いつ使うかよくわかりませんが、まぁ便利そう(pandas使ってもいいんですけどね)

殺人的なワンライナーも書けます。

$ user = {i.split()[0]: i.split()[1] for i in $(cat test.txt | self 1 3).split('\n')[:-1]}                             $ user
{'kojima': 'ruby',
 'kondo': 'java',
 'maeda': 'c',
 'saito': 'python',
 'shimizu': 'python'}

$ user = {i.split()[0]: i.split()[1] for i in $(cat test.txt | self 1 3).split('\n')[:-1]} $ user

{'kojima': 'ruby',

'kondo': 'java',

'maeda': 'c',

'saito': 'python',

'shimizu': 'python'}

mdateとのコラボ

こののコマンドは開始日から終了日を全てスペース区切りで表示します。
mdate -e <開始日(yyyymmdd)> <終了日(yyyymmdd)>

# 2018年の12月の日付を全て出す
$ mdate -e 20181201 20181231
20181201 20181202 20181203 20181204 20181205 20181206 20181207 20181208 20181209 20181210 20181211 20181212 20181213 20181214 20181215 20181216 20181217 20181218 20181219 20181220 20181221 20181222 20181223 20181224 20181225 20181226 20181227 20181228 20181229 20181230 20181231

# 2018年の12月の日付を全て出す

$ mdate -e 20181201 20181231

20181201 20181202 20181203 20181204 20181205 20181206 20181207 20181208 20181209 20181210 20181211 20181212 20181213 20181214 20181215 20181216 20181217 20181218 20181219 20181220 20181221 20181222 20181223 20181224 20181225 20181226 20181227 20181228 20181229 20181230 20181231

xonshと組み合わせる

$ date_list = $(mdate -e 20181201 20181231).split()
$ print(date_list)                                                                                                     
['20181201', '20181202', '20181203', '20181204', '20181205', '20181206', '20181207', '20181208', '20181209', '20181210', '20181211', '20181212', '20181213', '20181214', '20181215', '20181216', '20181217', '20181218', '20181219', '20181220', '20181221', '20181222', '20181223', '20181224', '20181225', '20181226', '20181227', '20181228', '20181229', '20181230', '20181231']

$ date_list = $(mdate -e 20181201 20181231).split()

$ print(date_list)

['20181201', '20181202', '20181203', '20181204', '20181205', '20181206', '20181207', '20181208', '20181209', '20181210', '20181211', '20181212', '20181213', '20181214', '20181215', '20181216', '20181217', '20181218', '20181219', '20181220', '20181221', '20181222', '20181223', '20181224', '20181225', '20181226', '20181227', '20181228', '20181229', '20181230', '20181231']

split関数がいい感じにスペース区切り文字列を分割してくれるので20181201から20181231までのリストを生成できます。これは割と使えるのでなないかと個人的に思っています

dayslashとのコラボ

説明するよりも見た方が早いです。

$ echo 20181206 | dayslash yyyy/mm/dd  1                                                                               
2018/12/06

$ echo 20181206 | dayslash yyyy/mm/dd 1

2018/12/06

いい感じに/を入れてくれます。 1はフィールド指定です。

xonshと組み合わせる

$ slash_date = []                                                                              
$ for date in date_list: 
.......     slash_date.append($(echo @(date) | dayslash yyyy/mm/dd 1))
$ print(slash_date)                                                      
['2018/12/01\n', '2018/12/02\n', '2018/12/03\n', '2018/12/04\n', '2018/12/05\n', '2018/12/06\n', '2018/12/07\n', '2018/12/08\n', '2018/12/09\n', '2018/12/10\n', '2018/12/11\n', '2018/12/12\n', '2018/12/13\n', '2018/12/14\n', '2018/12/15\n', '2018/12/16\n', '2018/12/17\n', '2018/12/18\n', '2018/12/19\n', '2018/12/20\n', '2018/12/21\n', '2018/12/22\n', '2018/12/23\n', '2018/12/24\n', '2018/12/25\n', '2018/12/26\n', '2018/12/27\n', '2018/12/28\n', '2018/12/29\n', '2018/12/30\n', '2018/12/31\n']

$ slash_date = []

$ for date in date_list:

....... slash_date.append($(echo @(date) | dayslash yyyy/mm/dd 1))

$ print(slash_date)

['2018/12/01\n', '2018/12/02\n', '2018/12/03\n', '2018/12/04\n', '2018/12/05\n', '2018/12/06\n', '2018/12/07\n', '2018/12/08\n', '2018/12/09\n', '2018/12/10\n', '2018/12/11\n', '2018/12/12\n', '2018/12/13\n', '2018/12/14\n', '2018/12/15\n', '2018/12/16\n', '2018/12/17\n', '2018/12/18\n', '2018/12/19\n', '2018/12/20\n', '2018/12/21\n', '2018/12/22\n', '2018/12/23\n', '2018/12/24\n', '2018/12/25\n', '2018/12/26\n', '2018/12/27\n', '2018/12/28\n', '2018/12/29\n', '2018/12/30\n', '2018/12/31\n']

date_listから受け取ったdateをdayslashで/を入れてslash_dateに格納します。\nが入ってしまうのは勘弁。

Jupyter Notebookで使用する

いつものようにJupyter Notebookを使用して新規ファイルを作成しようとしたら,Xonshが入っていることに気付く。
どうやらpip install xonshするだけでJupyterのカーネルに追加されるそうです。

ユニケージコマンドは果たして使用できるのか?

実行できた！どうやらローカルのコマンドも使用できるようです。

ちなみにGoで作成したコマンドも使用できました。

Pocket

re:Invent 2018 参加レポート NPO HACKATHON FOR SOCIAL GOOD　その１

AWS イベント
2018年12月4日
人見翔

Pocket

ラスベガスから日本に帰ってきました。人見です。

NPO HACKATHON FOR SOCIAL GOOD
なるものに参加して来たのでレポートします。

NPOハッカソンはre:Invent 2018のハッカソンイベントの中の1つで
複数のNPOから提示された課題の中からチームで一つ選んで開発するハッカソンです。
NPOは非営利団体のことです。

スケジュールでは9AM–MIDNIGHTと記載されており、
実際に朝８時開場で深夜1時になってもまだ終わらないという感じだったので
おそらくre:Inventのイベントの中でも最長のものだと思います。

朝のラスベガス

夜中のラスベガス

チームは５人までで、自由に組むことができます。

実は前日にハッカソンのチームを組むイベントがあったらしいのですが、
私は当日にチームを組みました。

こんな感じの紙を受付でもらって、

自分がどの役割なのかを自己紹介しながらチームメンバーを探します。
私はバックエンドエンジニアにしました。

メンバーが見つかるか不安だったのですが、
AWSの方もチームを探すのに困ったら手伝うよと言ってくれましたし、
当日オロオロしていたら、声をかけてもらえてチームに入ることができました。
すごいフランクな感じなので、英語が苦手でも大丈夫だと思います。

チームで席を決めてからは、自己紹介タイムで
自分が作ったことあるものや、使ったことのあるAWSのサービス
AWS利用歴などを話しました。
まだハッカソン開始前でお題は発表されていなかったのですが、
NPOならコストかけない方がいいからサーバーレスがいいよねとか、
DynamoDBがいいよねとか、課題を想像しながら戦略を話し合いました。

ハッカソン開始になってオープニングムービーが流れ、
各NPOから解決したい問題が発表されます。
この課題発表の英語のリスニングが超絶難しくて、ざっくりとしか概要をつかめず焦りましたが、
その後のチームメンバーとのディスカッションの時に聞いたり、
NPOの方に質問できる時間があったのでなんとか理解することができました。

私のチームはCompassionという団体の課題を選びました。
課題は「子供とスポンサーがスムーズにコミュニケーションすることができるツール」の開発です。

求められてる機能としては
・音声や動画のライブコミュニケーション
・レスポンスが早いこと
・翻訳機能があること
・汚い言葉を検知して、除外すること
・発展途上国での通信環境も考慮すること

などなど、要件がたくさんありましたが、
ざっくりまとめると

「世界中の色々な言葉を話す子供たちと健全に会話ができるツール」

の開発です。

そんなこんなで開発がスタートしました。

その２へ続きます。

Pocket

re:Invent 2018 新機能！LambdaのCustom Runtimesを試してみた

AWS Lambda
2018年11月30日
Kitano Yuichi

Pocket

Hello, サービス開発チームの北野です。

re:Inventでラスベガスに来ています。とうとう最終日です。

今日はKeynoteでServerless関連が大きくアップデートしました。
LambdaのRubyサポート, Lambda Layers, API GatewayのWebSocket対応, ALB for Lambdaなどなど、
どれも使ってみるのが楽しみになるアップデートでした。

LambdaのCustom Runtimesの発表を見て、
「これはもしやハンズラボの謎技術ユニケージ on Lambdaができるのでは…？」
という悪魔のささやきが聞こえましたが、無視しました。

ちなみに私は業務でユニケージを触ったことはございません。

それはともかく、LambdaのCustom Runtimesが気になったので、公式チュートリアルに沿って試してみました。

https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-walkthrough.html

Lambdaの作成

まずはLambdaをマネジメントコンソールから作成します。
ランタイムに「独自のランタイムを使用する」という選択肢が増えているので、これを選びます。
名前とロールは適当に設定して関数を作成します。

独自のランタイムを使用する場合、プログラムはマネジメントコンソールで編集できないようなので、プログラムはローカルマシンで作成します。

bootstrapの作成

独自のランタイムを使用する場合、bootstrapシェルスクリプトを起点にLambdaが動くようです。
サンプルスクリプトを見ると、LambdaのRuntimeAPIに対してGETでHTTPアクセスしてLambdaを起動したEventを取得して、
LambdaのRuntimeAPIに対してPOSTでHTTPアクセスしてResponseを返す仕組みになっています。

今回はサンプルスクリプトをちょっとだけ変更して使います。

bootstrap

#!/bin/sh

set -euo pipefail

# Initialization - load function handler
source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"

# Processing
while true
do
  HEADERS="$(mktemp)"
  # Get an event
  EVENT_DATA=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/next")
  REQUEST_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)

  # Execute the handler function from the script
  RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT_DATA")
  echo $RESPONSE | tr "@" "\n"

  # Send the response
  curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQUEST_ID/response"  -d "$RESPONSE"
done

#!/bin/sh

set -euo pipefail

# Initialization - load function handler

source $LAMBDA_TASK_ROOT/"$(echo $_HANDLER | cut -d. -f1).sh"

# Processing

while true

HEADERS="$(mktemp)"

# Get an event

EVENT_DATA=$(curl -sS -LD "$HEADERS" -X GET "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/next")

REQUEST_ID=$(grep -Fi Lambda-Runtime-Aws-Request-Id "$HEADERS" | tr -d '[:space:]' | cut -d: -f2)

# Execute the handler function from the script

RESPONSE=$($(echo "$_HANDLER" | cut -d. -f2) "$EVENT_DATA")

echo $RESPONSE | tr "@" "\n"

# Send the response

curl -X POST "http://${AWS_LAMBDA_RUNTIME_API}/2018-06-01/runtime/invocation/$REQUEST_ID/response" -d "$RESPONSE"

done

function.shの作成

bootstrapから呼び出して実行するシェルスクリプトfunction.shを作成します。
シェルスクリプトのfunctionには戻り値が無いので、標準出力を使って擬似的に戻り値があるような振る舞いをさせます。
シェルスクリプトに馴染みがないとよくわからないと思うので、bootstrapの振る舞いと合わせて後ほど解説します。

function.shもサンプルスクリプトを少し変更して使います。

function.sh

function handler () {
  EVENT_DATA=$1
  echo "$EVENT_DATA" 1>&2;
  echo "　　　,.rニ二)＿　　@　,'　　 ＿＿＿二)　@!　　　 　＿＿ﾉ　@|　　　＿＿,ﾉ　　　@l､___,,..ノ　　　　HANDS LAB"
}

function handler () {

EVENT_DATA=$1

echo "$EVENT_DATA" 1>&2;

echo "　　　,.rニ二)＿　　@　,'　　＿＿＿二)　@!　　　　＿＿ﾉ　@|　　　＿＿,ﾉ　　　@l､___,,..ノ　　　　HANDS LAB"

}

bootstrapとfunction.shの振る舞い

シェルスクリプトの動作について少しだけ解説します。
まず環境変数$_HANDLERには、Lambdaで設定しているハンドラが設定されます。
今回はfunction.handlerという値が設定される想定です。

そしてbootstrapの6行目
source $LAMBDA_TASK_ROOT/”$(echo $_HANDLER | cut -d. -f1).sh”
の
echo $_HANDLER | cut -d. -f1
で、function.handlerを”.”で文字列分割した1つ目を取得しています。
これを展開すると、
source $LAMBDA_TASK_ROOT/function.sh
ということになります。

１７行目も似たような形で、
RESPONSE=$($(echo “$_HANDLER” | cut -d. -f2) “$EVENT_DATA”)
の
echo “$_HANDLER” | cut -d. -f2
で、function.handlerを”.”で文字列分割した2つ目を取得しています。
これを展開すると、
RESPONSE=$(handler “$EVENT_DATA”)
ということになります。
このhandlerはfunction.shで定義したfunctionで、handler実行時の標準出力がRESPONSE変数に格納されます。
＄（）を使ってfunctionの標準出力を変数に格納することで、擬似的に戻り値があるような振る舞いをさせています。

Lambdaのコードアップロード

作成した二つのファイルはzip圧縮して一つのファイルにします。

bootstrap
function.sh

マネジメントコンソールを開いて、コードエントリタイプで「.zipファイルをアップロード」を選択します。
アップロードボタンを押して作成したzipファイルを選択し、ハンドラを修正して保存ボタンを押します。

これで動かす準備が出来ました。テスト実行してみましょう。

Lambdaのテスト実行

右上の方にあるテストボタンを押します。

テスト用のEventを作る必要があるので、名前だけつけて適当に作成します。

作成したEventが設定されていることを確認して、再度テストボタンを押します。

「実行結果：成功」でちゃんと動いています。やったね！

終わりに

LambdaのCustom Runtimesを動かすことができました。
便利だなと思う半面、せっかくのシンプルなLambdaにだいぶ管理しなければならないことが増えてしまう印象があり、Custom Runtimesの使用は慎重に検討したいところです。
選択肢が増えたことはとても良いことだと思うので、本当にCustom Runtimesを使う必要があるのか？他にもっと良い方法が無いか？と自問自答して、適切な技術選択をしていけたらと思います。

Pocket

re:Invent 2018 Cloud9でAWS CLI v2 を動かそう

AWS
2018年11月29日
Kitano Yuichi

Pocket

Hello, サービス開発チームの北野です。

現在、re:Inventでラスベガスに来ています。勝手にブログ強化週間中です。

ハンズラボCLI大好き代表としては聞き逃がせないなと思って、
DEV322-R – [REPEAT] What’s New with the AWS CLIのセッションを聞いてきました。

以前からv2の話は少しずつでていましたが、ついにv2のdeveloper releaseが出たようです。
https://github.com/aws/aws-cli/releases/tag/2.0.0dev0

現在のCLIと互換性が保証されないものの、補完機能が強力になって、wizard機能がつき、yaml出力に対応するので、とっつきやすくなるんじゃないかと期待しています。

Cloud9とAWS CLI

実はCloud9とAWS CLIの相性がすごく良いと思っていて、私はIDEとしてよりブラウザで動かせるシェル環境としてCloud9を愛用しております。

Cloud9でAWS CLIを動かすときは、AWS_ACCESS_KEY_IDとAWS_SECRET_ACCESS_KEYを意識する必要がなくなります。
Cloud9がうまいことやってくれて、ログインしたユーザーが操作できる範囲の権限を持った一時的なCredentialsを生成してくれるのです。

どうなっているのかというと、Cloud9のここの設定をONにしておくと(デフォルトON)、

Cloud9が~/.aws/credentialsに一時的なCredentialsを生成して設定してくれます。便利。

Cloud9にAWS CLI v2をインストール

まずは最初にCloud9にインストールされているawscliをアンインストールしちゃいます。

AWS Developer Blogを参考に、GitHubリポジトリをソースにしてpip installします。

https://aws.amazon.com/jp/blogs/developer/aws-cli-v2-development/

最後に、ダウンロードされたソースの中身をec2-userがさわれるようにchownします。

awsコマンドのバージョンを確認して、2.0.0dev0になっていたら無事インストールできました。

AWS CLI v2を使ってみる

DynamoDBのテーブル名まで補完してくれるらしいので、DynamoDBを作って確かめてみます。
適当な名前のDynamoDBのテーブルを作ります。

補完を適用するためのコマンドを実行して、テーブル名が補完できそうな
aws dynamodb describe-table --table-nameまで入力します。

ここで<TAB>キーを押すと…先程作ったDynamoDBのテーブル名が補完されました。すごい！

終わりに

互換性が保証されていないという点には注意が必要そうですが、補完が強力になってCLIが使いやすくなりそうです。
v2正式リリースまで情報を追っていこうと思います。

Pocket

re:Invent 2018 新機能！TransitGatewayを試してみた

AWS
2018年11月28日
Kitano Yuichi

Pocket

Hello, サービス開発チームの北野です。

ラスベガスでAWSのイベント、re:Inventに絶賛参加中です。

Monday Night Liveでいろいろ新機能が発表されました！
その中で、「今すぐにでも使いたい！」と私が感じた機能、TransitGatewayを試してみました。
弊社ではそれなりの数のVPCがVPC peeringで相互接続されているので期待大です！

TransitGatewayについてはAWSの公式ブログも公開されています。
https://aws.amazon.com/jp/blogs/news/new-aws-transit-gateway/

これまでのVPC間の接続

これまでVPC間の接続はVPC peeringで行われていました。図にするとこんな感じです。

VPC peeringではVPC1からVPC2を経由してVPC3へ接続するみたいなことはできないので、全てのVPCをVPC peeringする必要がありました。
これが３個程度のVPCなら特に問題はありません。もう少し増やしてみます。

VPCが５個になっただけでVPC peeringの数は１０個になりました。
計算するとVPC n個に対して、VPC peeringの数はn*(n-1)/2個必要です。
要するにO(n^2)でVPC peeringの数が増えてしまっていくのです。

これからのVPC間の接続

そこで出てきたのがTransitGatewayです。これを使うと下図のようにVPC間の接続を一つにまとめてくれます。

DirectConnectの接続もサポート予定とのことで、AWSのネットワーク構成がシンプルにできそうです！

TransitGatewayを試してみた

先程の図のように、VPCを3つ作ってその中の一つにCloud9を立てて、残り二つにそれぞれEC2インスタンスを立てます。
VPC1(10.101.0.0/16）, VPC2(10.102.0.0/16), VPC3(10.103.0.0/16)の３つのVPCができている状況です。
サブネット、セキュリティグループなどは適切に設定してやります。