覚書ブログ

2022年9月18日日曜日

nginxコードリーディング(worker-process生成関連)

nginxを何気なく使っていたが、ちゃんとした機能を知らなかったためコードリーディングして、知り得た機能をまとめていく。

アーキテクチャの話についてはここらへんを見ればわかる。 http://www.aosabook.org/en/nginx.html

まずプロセス生成関連のシーケンスを知っておきたいと思ったので、worker processの生成関連を調べてみた。

worker_process生成のロジック

nginx.confでworker_processes "auto"に指定している場合コア数に応じてworker_processが生成される。

簡易的なフローが以下。

コマンドの呼び出しフロー

ncpuの設定関数の呼び出しフローをまとめる。このシーケンスでcommandsの呼び出し方が大体わかるようになった。

次はソケット関連の設定を調べてみる。

2022年9月10日土曜日

[memo]USB MassStorageをLinuxにマウント

USBが認識していることを確認。

who@raspberrypi:~$ sudo dmesg
[230931.187643] scsi 0:0:0:0: Direct-Access      USB      SanDisk 3.2Gen1 1.00 PQ: 0 ANSI: 6                                       
[230931.189402] sd 0:0:0:0: Attached scsi generic sg0 type 0                                                                       
[230931.189892] sd 0:0:0:0: [sda] 488570880 512-byte logical blocks: (250 GB/233 GiB)                                              
[230931.191338] sd 0:0:0:0: [sda] Write Protect is off                                                                             
[230931.191373] sd 0:0:0:0: [sda] Mode Sense: 43 00 00 00                                                                          
[230931.192273] sd 0:0:0:0: [sda] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA                           
[230931.202748]  sda: sda1                                                                                                         
[230931.205919] sd 0:0:0:0: [sda] Attached SCSI removable disk                         


who@raspberrypi:~$ lsusb
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 002: ID 0781:5583 SanDisk Corp. Ultra Fit
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 001 Device 002: ID 2109:3431 VIA Labs, Inc. Hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

/dev/sda1で認識していることがわかる。

ファイルシステムを確認

who@raspberrypi:~$ sudo blkid /dev/sda1
/dev/sda1: UUID="4BEE-903F" BLOCK_SIZE="512" TYPE="vfat"

デフォルトがvfat。Linux上でマウントするためext4に変更する。

ファイルシステムの変更

who@raspberrypi:~$ sudo mkfs.ext4 -L SnaDisk /dev/sda1
mke2fs 1.46.5 (30-Dec-2021)
/dev/sda1 contains a vfat file system
Proceed anyway? (y,N) y
Creating filesystem with 61071356 4k blocks and 15269888 inodes
Filesystem UUID: faba5e9f-2caf-4ed5-8559-099c08660077
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (262144 blocks): 
done
Writing superblocks and filesystem accounting information: done

変更されたことを確認

who@raspberrypi:~$ sudo blkid /dev/sda1
/dev/sda1: LABEL="SnaDisk" UUID="faba5e9f-2caf-4ed5-8559-099c08660077" BLOCK_SIZE="4096" TYPE="ext4"

USBのマウント(fstab)

https://wiki.archlinux.jp/index.php/Fstab　を参考にdump,passsを設定する。コピペミスなどを考慮して、下記スクリプトで追記する。

echo "`blkid /dev/sda1 | awk '{print $3}' ` /mnt/sd ext4 defaults 0 0" | sudo tee -a /etc/fstab

2022年7月18日月曜日

dragonflyをraspberypiで動かしてみる

Welcome file

dragonflyをraspberrypi 4上で動かしてみようというモチベーション。

docker run --network=host --ulimit memlock=-1 docker.dragonflydb.io/dragonflydb/dragonfly
docker ps | grep dragonfly

うんともすんとも言わない。entrypoint.shで終了しているようなので、実行してみる。

docker ps -a | grep dragonfly
sudo docker commit -m “exited” xxxxxx
docker images
sudo docker run --rm -it yyyyy bash

コンテナを起動

root@xxxxx:/data# bash -x entrypoint.sh -v -i -t
+ ulimit -l 65000
+ set -e
+ ‘[’ v ‘!=’ -v ‘]’
+ set – dragonfly --logtostderr -v -i -t
++ id -u
+ ‘[’ dragonfly = dragonfly -a 0 = 0 ‘]’
+ exec su-exec dfly entrypoint.sh dragonfly --logtostderr -v -i -t
Illegal instruction (core dumped)

起動時にコアダンプしているっぽい。
strace をしてみたら、mmap直後でcoredumpしているため、ソースコードからビルドして問題点の確認が必要そう。

2022年6月12日日曜日

iceoryx(nter-process-communication middleware )

iceoryx というのがちょっと気になったので調べてみた。

気になった理由
Eclipse Foundationの動画のhttps://youtu.be/FEaI5oKlYbc
でROS、Adaptiveに関連する説明があったので、気になり調べてみようと。

日本語の解説サイト
publickey以外見当たらない。
ゼロコピーで瞬時にプロセス間の大規模データ通信を可能にする「Eclipse iceoryx」ミドルウェア、Eclipse Foundationが公開

iceoryxのゴールとしては

プロセス間通信をゼロコピーで実現し、高速化
ROS2、APの通信パターン互換
Automotive-grade SW Quality
Modern C++
マルチプラットフォーム

とのこと。Rustもiceoryx-rsで開発中とのこと。

Where is Eclipse iceoryx used?　でどこで使われているかが記載されている。

使う機会があるかどうか不明だが、helloworldくらいは動かしてみようかと思う。

2021年8月28日土曜日

標準入力をファイル入力にする

まぁあるあるの実装かもしれないけど、とりあえずログとして残しておく。

#include <stdio.h>
  
int main(){
        int ret = 0;
        FILE* tmpstd = stdin;
        stdin = fopen("test.txt" , "rb");
        ret =getchar();
        printf("getchar ret= %d/n",ret);

        // 
        stdin = tmpstd;
        ret =getchar();
        printf("getchar ret= %d/n",ret);

        return 0;
}

ファイルがない場合EOFを返すので注意する。

環境依存する実装のため、必ずすべて動作するとは限らない。

2021年2月11日木曜日

goを２日だけ勉強してみた

2日ちょいですが、goの勉強をした内容をまとめてみました。

環境構築

install script を作ってみた。
goをインストールしただけでREPLは使えない。
最小構成を提供し、必要に応じてインストールというのは正しい。

Hello World

当たり前だが、golangのプロジェクトレイアウトに沿って構築。

Makefileを使ってビルドするのが慣例らしい。

Module

Redmine REST Clientのモジュールを作ってみた。rest.go
コマンドライン引数解析、JSON解析

ローカルで開発したモジュールは相対パスで記述しない。
go.modのreplacce directiveを使って相対パスに置き換える仕組みを使うのが一般的らしい。

手こずったところ

Naming Rule

publicの関数が先頭大文字
JSONの構造体も先頭大文字

Test

go test を実行するだけで簡単にテストが実行できる。
しかも、カバレッジ計測も簡単にできるのが嬉しい。
まだ、テストユーティリティが使いこなせていない。

> go test -v ponta027.dip.jp/rest -coverprofile = covert.out
> go tool cover -html= cover.out -o cover.html

これだけでカバレッジ結果がHTML出力される。

使ってみた感想

動かすだけであれば学習コストが低い。

言語仕様をまだ調べきれていないので。

コンパイラが未使用変数、importがあるとエラーとなるため、クリーンなコードがかける。
NamingRuleは慣れるまで大変。
周辺ツールが結構充実している。
クロスコンパイルが簡単にできる

環境変数を設定するだけで実現

全然知らないことが多いので、これからもう少し勉強してみようかと思う。

2020年11月3日火曜日

Apache mesos調査_paper_abstract

諸々経緯があってApache Mesosを調べてみることに。

論文があったので、読んで理解を深める。

Mesos: A Platform for Fine-Grained Resource Shareing in the Data Center

Abstract

Mesosはcomodity clusterを共有するplatform
対象はHadoop , MPI(Message Passing Interface)などclustering computing framework間

framework毎のdata replicationを排除
fine-Grained mannerでresourceを共有

各machineにstoreされたdataを順番にreadすることにより、frameworkにdata localityを実現。Mesosはdistributed two-level- scheduling(resource offers)を導入
各frameworkにどれくらいのresourceがofferできるか決める。

frameworkはどのresourceをacceptできるかとどの計算が実行できるか決める。
Mesosがframework間でclusterを共有するときに、ほぼ最適なdata localityを実現できる。

以降、一章ずつまとめていくかな。

登録: 投稿 (Atom)