12 »

カテゴリー: Python

混ぜるな危険!? ユニケージとxonshの融合

Pocket

はじめに

こんにちは清水です!
この記事は、Xonsh Advent Calendar 2018 – Qiitaの6日目の記事です。

ユニケージとは

個人的な解釈ですがawkで頑張らずともユニケージコマンドを使用することで比較的楽にshell芸ができます。

一例ですがこんなことができます。

cat test.txt

1 2	cat test.txt

shimizu nagano python
kondo kanagawa java
saito kanagawa python
maeda tokyo c
kojima aichi ruby

shimizu nagano python

kondo kanagawa java

saito kanagawa python

maeda tokyo c

kojima aichi ruby

このファイルの2列目の値だけ欲しい。
awkで書くとこんな感じ。

cat test.txt | awk '{print $2}'

1 2	cat test.txt \| awk '{print $2}'

ユニケージコマンド(self)を使用するとこのようにかけます。

cat test.txt | self 2

1 2	cat test.txt \| self 2

僕はまだユニケージ初心者なのでより詳細な情報は以下の記事を参照してください。

xonshとは

Pythonで作られたクロスプラットフォームのUnixライクなシェル言語とコマンドプロンプトです。
Pythonの対話モードとUnixコマンドが合体したみたいなものです。

個人的にshellなるべく書きたくないマンなのでPythonで書けるのは衝撃でした。

pipで入ります。使用するときはターミナルでxonshと打つと起動します。

pip install xonsh

1 2	pip install xonsh

例

$ files = $(ls).split()                                     
$ print(files)
['Applications', 'CRM', 'Desktop', 'Documents', 'Downloads', 'Library', 'Movies', 'Music', 'Pictures', 'Public', 'Users', 'go', 'iCloud', 'Drive（アーカイブ）', 'path', 'pict', 'test.txt']

$ files = $(ls).split()

$ print(files)

['Applications', 'CRM', 'Desktop', 'Documents', 'Downloads', 'Library', 'Movies', 'Music', 'Pictures', 'Public', 'Users', 'go', 'iCloud', 'Drive（アーカイブ）', 'path', 'pict', 'test.txt']

ライブラリも使用できます

$ import pandas as pd
$ df = pd.read_csv('test.csv')
$ df                      
   id            name      from
0   1         shimizu    nagano
1   2           kondo  kanagawa
2   3  saito kanagawa       NaN
3   4           maeda     tokyo
4   5          kojima     aichi

$ import pandas as pd

$ df = pd.read_csv('test.csv')

$ df

id name from

0 1 shimizu nagano

1 2 kondo kanagawa

2 3 saito kanagawa NaN

3 4 maeda tokyo

4 5 kojima aichi

詳しくはこのアドベントカレンダーのリーダーである@vaaaaanquishの記事をご覧ください。

Pythonistaに贈るXonshのススメ

今回紹介すること

今回は謎技術ユニケージとxonshを組み合わせた「ひょっとしたら、これ使えるかもしれない(笑)」的なものを紹介していきます。

selfとのコラボ

先ほど使用したselfコマンド。このコマンドはawk '{print $1 $3}'のように出力したいフィールドを指定することでそのフィールドを表示します。

$ cat test.txt                                                                                                         
shimizu nagano python
kondo kanagawa java
saito kanagawa python
maeda tokyo c
kojima aichi ruby

$ cat test.txt | self 1 3
shimizu python
kondo java
saito python
maeda c
kojima ruby

$ cat test.txt

shimizu nagano python

kondo kanagawa java

saito kanagawa python

maeda tokyo c

kojima aichi ruby

$ cat test.txt | self 1 3

shimizu python

kondo java

saito python

maeda c

kojima ruby

xonshと組み合わせる

lang = $(cat test.txt | self 3).split()
print(lang)
['python', 'java', 'python', 'c', 'ruby']

lang = $(cat test.txt | self 3).split()

print(lang)

['python', 'java', 'python', 'c', 'ruby']

いつ使うかよくわかりませんが、まぁ便利そう(pandas使ってもいいんですけどね)

殺人的なワンライナーも書けます。

$ user = {i.split()[0]: i.split()[1] for i in $(cat test.txt | self 1 3).split('\n')[:-1]}                             $ user
{'kojima': 'ruby',
 'kondo': 'java',
 'maeda': 'c',
 'saito': 'python',
 'shimizu': 'python'}

$ user = {i.split()[0]: i.split()[1] for i in $(cat test.txt | self 1 3).split('\n')[:-1]} $ user

{'kojima': 'ruby',

'kondo': 'java',

'maeda': 'c',

'saito': 'python',

'shimizu': 'python'}

mdateとのコラボ

こののコマンドは開始日から終了日を全てスペース区切りで表示します。
mdate -e <開始日(yyyymmdd)> <終了日(yyyymmdd)>

# 2018年の12月の日付を全て出す
$ mdate -e 20181201 20181231
20181201 20181202 20181203 20181204 20181205 20181206 20181207 20181208 20181209 20181210 20181211 20181212 20181213 20181214 20181215 20181216 20181217 20181218 20181219 20181220 20181221 20181222 20181223 20181224 20181225 20181226 20181227 20181228 20181229 20181230 20181231

# 2018年の12月の日付を全て出す

$ mdate -e 20181201 20181231

20181201 20181202 20181203 20181204 20181205 20181206 20181207 20181208 20181209 20181210 20181211 20181212 20181213 20181214 20181215 20181216 20181217 20181218 20181219 20181220 20181221 20181222 20181223 20181224 20181225 20181226 20181227 20181228 20181229 20181230 20181231

xonshと組み合わせる

$ date_list = $(mdate -e 20181201 20181231).split()
$ print(date_list)                                                                                                     
['20181201', '20181202', '20181203', '20181204', '20181205', '20181206', '20181207', '20181208', '20181209', '20181210', '20181211', '20181212', '20181213', '20181214', '20181215', '20181216', '20181217', '20181218', '20181219', '20181220', '20181221', '20181222', '20181223', '20181224', '20181225', '20181226', '20181227', '20181228', '20181229', '20181230', '20181231']

$ date_list = $(mdate -e 20181201 20181231).split()

$ print(date_list)

['20181201', '20181202', '20181203', '20181204', '20181205', '20181206', '20181207', '20181208', '20181209', '20181210', '20181211', '20181212', '20181213', '20181214', '20181215', '20181216', '20181217', '20181218', '20181219', '20181220', '20181221', '20181222', '20181223', '20181224', '20181225', '20181226', '20181227', '20181228', '20181229', '20181230', '20181231']

split関数がいい感じにスペース区切り文字列を分割してくれるので20181201から20181231までのリストを生成できます。これは割と使えるのでなないかと個人的に思っています

dayslashとのコラボ

説明するよりも見た方が早いです。

$ echo 20181206 | dayslash yyyy/mm/dd  1                                                                               
2018/12/06

$ echo 20181206 | dayslash yyyy/mm/dd 1

2018/12/06

いい感じに/を入れてくれます。 1はフィールド指定です。

xonshと組み合わせる

$ slash_date = []                                                                              
$ for date in date_list: 
.......     slash_date.append($(echo @(date) | dayslash yyyy/mm/dd 1))
$ print(slash_date)                                                      
['2018/12/01\n', '2018/12/02\n', '2018/12/03\n', '2018/12/04\n', '2018/12/05\n', '2018/12/06\n', '2018/12/07\n', '2018/12/08\n', '2018/12/09\n', '2018/12/10\n', '2018/12/11\n', '2018/12/12\n', '2018/12/13\n', '2018/12/14\n', '2018/12/15\n', '2018/12/16\n', '2018/12/17\n', '2018/12/18\n', '2018/12/19\n', '2018/12/20\n', '2018/12/21\n', '2018/12/22\n', '2018/12/23\n', '2018/12/24\n', '2018/12/25\n', '2018/12/26\n', '2018/12/27\n', '2018/12/28\n', '2018/12/29\n', '2018/12/30\n', '2018/12/31\n']

$ slash_date = []

$ for date in date_list:

....... slash_date.append($(echo @(date) | dayslash yyyy/mm/dd 1))

$ print(slash_date)

['2018/12/01\n', '2018/12/02\n', '2018/12/03\n', '2018/12/04\n', '2018/12/05\n', '2018/12/06\n', '2018/12/07\n', '2018/12/08\n', '2018/12/09\n', '2018/12/10\n', '2018/12/11\n', '2018/12/12\n', '2018/12/13\n', '2018/12/14\n', '2018/12/15\n', '2018/12/16\n', '2018/12/17\n', '2018/12/18\n', '2018/12/19\n', '2018/12/20\n', '2018/12/21\n', '2018/12/22\n', '2018/12/23\n', '2018/12/24\n', '2018/12/25\n', '2018/12/26\n', '2018/12/27\n', '2018/12/28\n', '2018/12/29\n', '2018/12/30\n', '2018/12/31\n']

date_listから受け取ったdateをdayslashで/を入れてslash_dateに格納します。\nが入ってしまうのは勘弁。

Jupyter Notebookで使用する

いつものようにJupyter Notebookを使用して新規ファイルを作成しようとしたら,Xonshが入っていることに気付く。
どうやらpip install xonshするだけでJupyterのカーネルに追加されるそうです。

ユニケージコマンドは果たして使用できるのか?

実行できた！どうやらローカルのコマンドも使用できるようです。

ちなみにGoで作成したコマンドも使用できました。

Pocket

見よう見まねで機械学習をやってみた(ポケモン編)

Python 機械学習
2018年6月26日
清水幸佑

Pocket

こんにちは！新卒の清水です。
最近、勉強または趣味でやっていたPyQの機械学習・初級をやり終えたので自分でもやってみました。

題材

以前Kaggleのチュートリアルはやったことはありますが、用意されているデータの説明がやはり英語だったのでそれなりにハードルがありました。
なので今回はネットを放浪中にポケモンのcsvデータがあったので、これを使用して行きたいと思います。

何をする？

個人的にみずタイプのポケモンが好みなのでステータスからみずタイプかどうか判定しようと思います。

環境

OS: macOS High Sierra 10.13.5
Python: 3.6.5
scikit-learn : 0.19.1
jupyter notebook

とりあえずデータをみてみる

pandasを使用してcsvデータを読み込みます。

pip3 install pandas

1 2	pip3 install pandas

import pandas as pd
df = pd.read_csv('pokemon_status.csv')
df.head(10)

import pandas as pd

df = pd.read_csv('pokemon_status.csv')

df.head(10)

df.info()

df.info()

ポケモンが909体(メガ進化も含む)なのでどうやら第七世代(サン・ムーン)までのデータのようです。

データの選別

ポケモンの各ステータス(HP, こうげき, ぼうぎょ, とくこう, とくぼう, すばやさ)を説明変数X、タイプを目的変数yとして学習させていこうと思います。
みずタイプであるのか、そうでないのかで判断したいのでみずタイプのポケモンには1をそうでないものには0を付与します。

関数を用意

def type_to_num(type):
    if type == 'みず':
        return 1
    else:
        return 0

# type_numの列を作成
df['type_num'] = df['タイプ１'].apply(type_to_num)

def type_to_num(type):

if type == 'みず':

return 1

else:

return 0

# type_numの列を作成

df['type_num'] = df['タイプ１'].apply(type_to_num)

applyメソッドを使用すると指定した列データ全てに関数を実行してくれます。
データをみてみましょう。

df.iloc[9:15]

1 2	df.iloc[9:15]

みずタイプが含まれている行を出してみました。みずタイプには1が振られています。

学習させる

もちろんscikit-learnを使用して学習させます。
今回は目的変数が2値なのでロジスティック回帰で行います。

トレーニングデータとテストデータの割合は7:3で分割します。

pip install scikit-learn

1 2	pip install scikit-learn

C = 1000としていますがこのCはハイパーパラメータと呼び、Cの値が大きすぎるほど過学習しやすくなり、小さすぎると学習にならない問題があります。
今回はCの値を0.01, 0.1, 1, 10, 100, 1000とパラメータを変えて影響があるか確認し、特に影響がなかったので1000のまま放置してます。


X = df.iloc[:,7:12]
y = df['type_num']

# トレーニングデータとテストデータに分ける
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)


# ロジスティック回帰の呼び出し
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(C=1000)

# データを学習させる
lr.fit(X_train, y_train)

# スコアを表示
lr.score(X_test, y_test)

X = df.iloc[:,7:12]

y = df['type_num']

# トレーニングデータとテストデータに分ける

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# ロジスティック回帰の呼び出し

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression(C=1000)

# データを学習させる

lr.fit(X_train, y_train)

# スコアを表示

lr.score(X_test, y_test)

およそ87%の割合で判定することができました。
ほぼ自分一人の力で機械学習をしたのは初めてなのでまぁまぁいいのではないかと思います。

考察

判定に失敗した例としてオーダイルをみずタイプではないと判定しました。
そんなにポケモンを知らなくても、見れば多くの人はみずタイプだろうと判断するでしょう。

しかし、オーダイルの進化前のアリゲイツはみずタイプと判定しました

改善案としてはステータスの族ごとに学習をさせることで改善することはできると思います。
ですが、より高い精度を求めるならポケモンの画像データを使用するのがいいと思いました(全体的に青っぽいとか)。

最後に

ポケモンの知識がないと難しいところがあるのでやはりデータのリサーチは必要だということを感じました。
全体的な機械学習の流れは覚えられてきたのでこれから色々と試していきたいと思います。

Pocket

FlaskのAjax通信でつまずいた話

Python 新人研修
2018年5月11日
清水幸佑

Pocket

こんにちは2018年度新卒の清水です!
新人研修でHTML, CSS, JavaScriptを使いwebアプリを作っています。
私はフロントをあまり書いてこなかったので心機一転して学習しています。
ちなみに、学生のときサーバサイドをやってました(JavaとPythonはよく書いてました)。

やりたいこと

ブラウザをリフレッシュしてもデータが残るようにしたい
ローカルストレージはデータ構造が複雑になりそうなのでRDBでやりたい
サーバサイドを書きたい(できればPython)

方針

Ajax通信を使いロード時にデータを取得
RDBはMySQLを使用　理由:以前よく使っていた、SQL書きたい
サーバサイドはPythonのflaskを使用　理由:APIを作ったことがある

コード

Python

バージョンは3.6.5です
flaskをインストールします

pip3 install flask

1 2	pip3 install flask

MySQLからデータを取得するところは省きます

# coding: UTF-8

from flask import Flask, make_response
import json
import db_conect

api = Flask(__name__)

@api.route('/', methods=['GET'])
def get_user():
    row = db_conect.get_task()
    res_json = {
        'title' : row[2],
        'details': row[3],
        'limit': str(row[4]),
        'insert': str(row[5]),
    }
    return make_response(json.dumps(res_json, ensure_ascii=False))


if __name__ == '__main__':
    api.run(host='localhost', port=8080)

# coding: UTF-8

from flask import Flask, make_response

import json

import db_conect

api = Flask(__name__)

@api.route('/', methods=['GET'])

def get_user():

row = db_conect.get_task()

res_json = {

'title' : row[2],

'details': row[3],

'limit': str(row[4]),

'insert': str(row[5]),

}

return make_response(json.dumps(res_json, ensure_ascii=False))

if __name__ == '__main__':

api.run(host='localhost', port=8080)

とりあえず curlコマンドでjsonが取得できるかテストします

curl http://localhost:8080/ | jq .

1 2	curl http://localhost:8080/ \| jq .

{
  "title": "リスト作成",
  "details": "html, css, jsを使う",
  "limit": "2018-05-05 00:00:00",
  "insert": "2018-04-29 00:41:17"
}

{

"title": "リスト作成",

"details": "html, css, jsを使う",

"limit": "2018-05-05 00:00:00",

"insert": "2018-04-29 00:41:17"

}

ちゃんと取れました

HTML JavaScript

HTML

<!DOCTYPE html>
<html lang="ja">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>Document</title>
</head>
<body>
    <h1>Ajax練習</h1>
    <p>アクセス先 : http://localhost:8080/ </p>
    <p>リクエストメソッド : GET</p>
    <input type="text" class="input">
    <button class='get-btn'>ボタン</button>
    <div class="info"></div>
    <script src="http://code.jquery.com/jquery-3.3.1.js"></script>
    <script src="test.js"></script>
</body>
</html>

<!DOCTYPE html>

<head>

<title>Document</title>

</head>

<body>

<h1>Ajax練習</h1>

<p>アクセス先 : http://localhost:8080/ </p>

<p>リクエストメソッド : GET</p>

</body>

</html>

JavaScript

$(function() {
    $('.get-btn').on('click', () => {
        //http通信開始
        $.ajax({
            url: "http://localhost:8080/",
            dataType: "json",
            type: "GET",
        }).done(function(res) {
            console.log(res)
        }).fail(function(res) {
            console.log(res)
        });
    });
});

$(function() {

$('.get-btn').on('click', () => {

//http通信開始

$.ajax({

url: "http://localhost:8080/",

dataType: "json",

type: "GET",

}).done(function(res) {

console.log(res)

}).fail(function(res) {

console.log(res)

});

ボタンが押されたらajax通信をしてjsonを取得します
見た目はこのように

いざ実行

Chromeのデベロッパーツールを使用してテストを見ていきます
おや?エラーを吐きました

翻訳すると

要求されたリソースに「Access-Control-Allow-Origin」ヘッダーが存在しません。
したがって、原点「ヌル」はアクセスが許可されません。

要求されたリソースに「Access-Control-Allow-Origin」ヘッダーが存在しません。

したがって、原点「ヌル」はアクセスが許可されません。

なんだかよくわかりませんね

Access-Control-Allow-Origin + flask　でググっていると以下のサイトを見つけました
Javascript – No ‘Access-Control-Allow-Origin’ header is present on the requested resource

どうやらPython3系以降は pip install flask-corsでflask-corsを使用して解決するそうです。
私はpip3 install flask-corsで入れました。

# coding: UTF-8

from flask import Flask, make_response
from flask_cors import CORS #追加
import json
import db_conect

api = Flask(__name__)
CORS(api)　#追加

# 以下同文

# coding: UTF-8

from flask import Flask, make_response

from flask_cors import CORS #追加

import json

import db_conect

api = Flask(__name__)

CORS(api)　#追加

# 以下同文

いざ実行(二度目)

解決していない…なぜだ

 前記したサイトにはPython2系の解決法も記載されていたのでこちらもテスト

# coding: UTF-8

from flask import Flask, make_response
import json
import db_conect

api = Flask(__name__)

# 追加
@api.after_request
def after_request(response):
  response.headers.add('Access-Control-Allow-Origin', '*')
  response.headers.add('Access-Control-Allow-Headers', 'Content-Type,Authorization')
  response.headers.add('Access-Control-Allow-Methods', 'GET,PUT,POST,DELETE,OPTIONS')
  return response

# 以下同文

# coding: UTF-8

from flask import Flask, make_response

import json

import db_conect

api = Flask(__name__)

# 追加

@api.after_request

def after_request(response):

response.headers.add('Access-Control-Allow-Origin', '*')

response.headers.add('Access-Control-Allow-Headers', 'Content-Type,Authorization')

response.headers.add('Access-Control-Allow-Methods', 'GET,PUT,POST,DELETE,OPTIONS')

return response

# 以下同文

いざ実行(三度目の正直)

ついに成功!
なぜPython2系の解決法で成功したのかは不明

結局何が問題だったの？

Access-Control-Allow-Originがサーバ側で許可されないないのが問題だった
Access-Control-Allow-Origin', '*'を設定することにより、任意のドメインがサイト間でアクセスできるようになる

だんだん調べて行くとSame-Origin Policy(同一生成元ポリシー)やCORS(Cross-Origin Resource Sharing)制限などのネットワーク用語が出てきたので理解できるよう努力していきたいと思っています。

Pocket

CodePipelineの進行状況をSlackに通知する

AWS Python CloudWatch CodePipeline Lambda
2017年10月26日
ハンズラボ

Pocket

こんにちは。百木田です。
CI、回してますか？

CodePipelineで実行するステージの進行状況を手軽に見たいと思い、Slackに流れるようにしたので共有します。

ポイントとしては、CodePipelineからLambda functionを呼ぶのではなく、CloudWatchイベントでCodePipelineステージのステータスの変化を検知してLambda functionを呼び出します。

今回はできるだけシンプルにするために、すでにCodePipelineは作成済みの想定で、すべてのステージにおけるSUCCEEDEDとFAILEDのステータスを通知します。なのでCodePipelineに変更は必要ありません。
また、Slack Botを作成しトークンを発行して使っていますがIncomming Webhookでも同じようなことはできるかと思います。

Serverless Frameworkを使ってCloudWatchイベントの設定と、slackに通知するためのLambda functionをデプロイします。

環境

$ serverless version
1.22.0

$ serverless version

1.22.0

ディレクトリ構成

- functions/
  - status_notification.py
- serverless.yml
- serverless.env.yml

- functions/

- status_notification.py

- serverless.yml

- serverless.env.yml

デプロイ

コードは記事の下の方に書いときます。上記のディレクトリ構成のように配置したらデプロイします。

$ serverless deploy

1 2	$ serverless deploy

デプロイできたらCodePipelineを動かしてみます。そうするとslackにこのような通知が来るかと思います。

いつの実行結果なのかをトレースできるようにCodePipelineの実行IDの前半7桁を表示しています。この辺はお好きにカスタマイズしてみてください。

まとめ

CloudWatchイベントの検知がリアルタイムじゃないので、CodePipelineの進行と通知にラグがあったり、前のステージの実行完了と次のステージの実行開始の通知が前後することなどもありますが、実行結果がわかればいいかなくらいの感じなので気にしないことにしてます。

ありがとうございました。

以下、コードたち

status_notification.py

# -*- coding:utf-8 -*-
"""CloudWatch Eventから送られてきたCodePipelineのステージステータスの変更をSlackに通知する"""

import os
import boto3
import urllib.request, urllib.parse

URL = 'https://slack.com/api/chat.postMessage'
SLACK_BOT_TOKEN = os.environ['SLACK_BOT_TOKEN']
CHANNEL = os.environ['CHANNEL']

client = boto3.client('codepipeline')


def handler(event, context):
    stage_name = event['detail']['stage']
    state = event['detail']['state']
    pipeline_execution_id = event['detail']['execution-id']

    post_message = '[' + pipeline_execution_id[:7] + '] ' + ' ' + state.ljust(10) + ':   ' + stage_name

    post_data = {}
    post_data['text'] = post_message
    post_data['token'] = SLACK_BOT_TOKEN
    post_data['channel'] = CHANNEL

    data_encoded = urllib.parse.urlencode(post_data).encode("utf-8")
    req = urllib.request.Request(URL, data_encoded)

    with urllib.request.urlopen(req) as response:
        response.read().decode('utf-8')

    return

# -*- coding:utf-8 -*-

"""CloudWatch Eventから送られてきたCodePipelineのステージステータスの変更をSlackに通知する"""

import os

import boto3

import urllib.request, urllib.parse

URL = 'https://slack.com/api/chat.postMessage'

SLACK_BOT_TOKEN = os.environ['SLACK_BOT_TOKEN']

CHANNEL = os.environ['CHANNEL']

client = boto3.client('codepipeline')

def handler(event, context):

stage_name = event['detail']['stage']

state = event['detail']['state']

pipeline_execution_id = event['detail']['execution-id']

post_message = '[' + pipeline_execution_id[:7] + '] ' + ' ' + state.ljust(10) + ': ' + stage_name

post_data = {}

post_data['text'] = post_message

post_data['token'] = SLACK_BOT_TOKEN

post_data['channel'] = CHANNEL

data_encoded = urllib.parse.urlencode(post_data).encode("utf-8")

req = urllib.request.Request(URL, data_encoded)

with urllib.request.urlopen(req) as response:

response.read().decode('utf-8')

return

serverless.env.yml

slack:
  BOT_TOKEN: xoxb-xxxxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxx
  CHANNEL: XXXXXXXXX

slack:

BOT_TOKEN: xoxb-xxxxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxx

CHANNEL: XXXXXXXXX

serverless.yml

※ detailのセクションを消すと、すべてのステータスが検知対象になります。

service: slack-notification-sample
frameworkVersion: ">=1.18.0 <2.0.0"

provider:
  name: aws
  runtime: python3.6
  region: ap-northeast-1
  stage: dev
  environment:
    TZ: Asia/Tokyo

package:
  include:
    - functions/**
  exclude:
    - serverless.yml
    - serverless.env.yml

functions:
  statusNotification:
    handler: functions/status_notification.handler
    events:
      - cloudwatchEvent:
          event:
            source:
              - aws.codepipeline
            detail-type:
              - CodePipeline Stage Execution State Change
            detail:
              state:
                - SUCCEEDED
                - FAILED
    environment:
      CHANNEL: ${file(./serverless.env.yml):slack.CHANNEL}
      SLACK_BOT_TOKEN: ${file(./serverless.env.yml):slack.BOT_TOKEN}

service: slack-notification-sample

frameworkVersion: ">=1.18.0 <2.0.0"

provider:

name: aws

runtime: python3.6

region: ap-northeast-1

stage: dev

environment:

TZ: Asia/Tokyo

package:

include:

- functions/**

exclude:

- serverless.yml

- serverless.env.yml

functions:

statusNotification:

handler: functions/status_notification.handler

events:

- cloudwatchEvent:

event:

source:

- aws.codepipeline

detail-type:

- CodePipeline Stage Execution State Change

detail:

state:

- SUCCEEDED

- FAILED

environment:

CHANNEL: ${file(./serverless.env.yml):slack.CHANNEL}

SLACK_BOT_TOKEN: ${file(./serverless.env.yml):slack.BOT_TOKEN}

Pocket

Kinesis FirehoseがS3に出力したファイルを１レコードずつ読み込む

AWS Python
2017年3月2日
ハンズラボ

Pocket

皆々様、お久しぶりのブログ更新です。

Kinesis FirehoseがS3に出力したファイルをPythonでモニャモニャしたいと思っていたところ以下のことでつまづいてしまいました。

１つのファイルに複数レコード出力されている場合、改行(区切り文字)がなく１レコードずつ読み込めない！

改行とか入っていて、１行ずつ読み込むんだろう・・・みたいな想像を勝手にしていたのでちょっとつまずいてしまいました。

AWSのデモデータをKinesisFirehoseに流すと実際のファイルはの中身は下記のようになります。

{"ticker_symbol":"TGH","sector":"FINANCIAL","change":-0.6,"price":65.43}{"ticker_symbol":"JYB","sector":"HEALTHCARE","change":-2.27,"price":42.95}{"ticker_symbol":"WAS","sector":"RETAIL","change":0.53,"price":13.04}{"ticker_symbol":"NGC","sector":"HEALTHCARE","change":0.32,"price":5.41}

1	{"ticker_symbol":"TGH","sector":"FINANCIAL","change":-0.6,"price":65.43}{"ticker_symbol":"JYB","sector":"HEALTHCARE","change":-2.27,"price":42.95}{"ticker_symbol":"WAS","sector":"RETAIL","change":0.53,"price":13.04}{"ticker_symbol":"NGC","sector":"HEALTHCARE","change":0.32,"price":5.41}

こういったJsonストリームデータをPythonで処理する時ってどうしたらいいんだろうと調べていたらjsonライブラリにJSONDecoderというのがあるのを見つけました。

下記サンプルです。

import json
import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('backet name')
obj = bucket.Object('key name')
obj = obj.get()
json_stream = obj['Body'].read()

decoder = json.JSONDecoder()

while len(json_stream) > 0:

    record, index = decoder.raw_decode(json_stream)
    json_stream = json_stream[index:]
    print record

import json

import boto3

s3 = boto3.resource('s3')

bucket = s3.Bucket('backet name')

obj = bucket.Object('key name')

obj = obj.get()

json_stream = obj['Body'].read()

decoder = json.JSONDecoder()

while len(json_stream) > 0:

record, index = decoder.raw_decode(json_stream)

json_stream = json_stream[index:]

print record

これを実行すると下記のように出力されました〜。

{"ticker_symbol":"TGH","sector":"FINANCIAL","change":-0.6,"price":65.43}
{"ticker_symbol":"JYB","sector":"HEALTHCARE","change":-2.27,"price":42.95}
{"ticker_symbol":"WAS","sector":"RETAIL","change":0.53,"price":13.04}
{"ticker_symbol":"NGC","sector":"HEALTHCARE","change":0.32,"price":5.41}

{"ticker_symbol":"TGH","sector":"FINANCIAL","change":-0.6,"price":65.43}

{"ticker_symbol":"JYB","sector":"HEALTHCARE","change":-2.27,"price":42.95}

{"ticker_symbol":"WAS","sector":"RETAIL","change":0.53,"price":13.04}

{"ticker_symbol":"NGC","sector":"HEALTHCARE","change":0.32,"price":5.41}

そうです、この記事・・・単にストリームデータの読み込み方についての記事です！KinesisFirehoseは完全に引きです！

でもストリームデータを扱うことは個人的には今後も増えそうなので今回調べておいてよかったです！

ではでは〜。

Pocket

12 »