Apache mesos調査_paper_abstract

 諸々経緯があってApache Mesosを調べてみることに。

論文があったので、読んで理解を深める。

Mesos:  A Platform for Fine-Grained Resource Shareing in the Data Center

Abstract

Mesosはcomodity clusterを共有するplatform
対象はHadoop , MPI(Message Passing Interface)などclustering computing framework間

• framework毎のdata replicationを排除
• fine-Grained mannerでresourceを共有

各machineにstoreされたdataを順番にreadすることにより、frameworkにdata localityを実現。Mesosはdistributed two-level- scheduling(resource offers)を導入
各frameworkにどれくらいのresourceがofferできるか決める。

frameworkはどのresourceをacceptできるかとどの計算が実行できるか決める。
Mesosがframework間でclusterを共有するときに、ほぼ最適なdata localityを実現できる。

以降、一章ずつまとめていくかな。

AWS lambdaの簡単な環境構築_CLI

ほとんどAWSのサイトに書いてあるので、リンクだけまとめます。

AWSの登録、IAMの設定は省略。

AWS CLIの環境構築
https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-chap-welcome.html

Lambdaの操作方法
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/gettingstarted-awscli.html

ケアレスミスで躓いたこと。

$ aws lambda list-functions --max-items 10

Could not connect to the endpoint URL: "https://lambda.us-east2.amazonaws.com/2015-03-31/functions/"

regionの設定をミスってしまったため、コマンド発行が失敗しました。

補足：上記リンクにはupdate-function-codeがなかったので、以下のように更新します。

 aws lambda update-function-code --function-name hello-world  --zip-file fileb://function.zip

nodejsでmidi作成

TonejsのMidiを調査
https://github.com/Tonejs/Midi

Midiプロジェクトの説明は

Convert MIDI into Tone.js-friendly JSON

Tone.js親和性のJSONにMidiを変換する。

実際はMidiのパースしてJSONに変換も可能。



Midiのパース、Midi書き出し自体は、midi-fileで実現している。
https://github.com/carter-thaxton/midi-file


JSONフォーマットは下記

https://github.com/Tonejs/Midi#format


1からMidiを作成する場合
https://github.com/Tonejs/Midi#encoding-midi


JSONフォーマットのサンプル
https://github.com/Tonejs/Midi/tree/master/test/midi/bach



ちなみに3つissueがあがってる。
https://github.com/Tonejs/Midi/issues

chrome music labのsong makerについて

https://musiclab.chromeexperiments.com/Song-Maker/

ブラウザ上で簡単に作曲ができて、midi ,wav にダウンロードできるサイト。
面白そうなのでどんな動きをしているか調べてみる。

ブラウザ上の動作
* マス目をなぞるのはchrome music lab のmelody makerを少し拡張したもの。
* 再生したり音を鳴らしたりするのはtone.jsを使っている。

midi,wavのダウンロード機能
* saveボタンを押したときに、midiファイルと楽譜データをsave
* ダウンロードするファイルを選択するときには、サーバ上のファイルをダウンロードするだけ
ｰ>つまりクラウド上でwav変換を行っているように見える。


https://serverlessrepo.aws.amazon.com/applications/arn:aws:serverlessrepo:us-east-1:375983427419:applications~s3-lambda-ffmpeg-aac-wav-to-mp3-s3
このような仕組みがあるので、S3にmidiと楽譜データをアップしてしまえば勝手にlambdaが変換してくれる仕組みを作れるらしい。

https://github.com/simalexan/s3-lambda-ffmpeg-aac-wav-to-mp3-s3
ソースコードを見た限りspawnしているだけですね。
簡単簡単。

tone.jsの環境構築(chrome-music-lab/melodymaker)

chrome-music-labというところで、WebAudioAPIのサンプルがたくさんあるので
動かしてみました。
https://github.com/googlecreativelab/chrome-music-lab

まずは、melodymakerを動かすまで。

■準備
nvmのインストール
> curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.34.0/install.sh | bash
> nvm install --lts
> nvm use --lts

LTSにすると、node-saasでビルドエラーが発生するため、バージョンを下げる。

> nvm install v10.18.1
> nvm use v10.18.1
> git clone  https://github.com/googlecreativelab/chrome-music-lab
> cd chrome-music-lab/melodymaker
> npm init
> npm install
> npx webpack
> npm install webpack-dev-server webpack-cli --save-dev
> npx webpack-dev-server

validateSchema is not a function

上記エラーが出力され起動できなかった。
webpackとwebpack-dev-serverのバージョンの不一致かなと。
##後ほど要調査

> python3 -m http.server 3000
とりあえず起動確認のため、上記コマンドで確認。

ブラウザで http://localhost:3000  を開くと動作確認できる。
ちなみに、スマホでは表示されなかった。