devkuma – Redis

Redis の概要

kc@example.com (kc kim) — Mon, 24 May 2021 10:12:26 +0900

概要

Redis は Remote Dictionary Server の略であり、「キー・値」構造の非定型データを保存、管理するためのオープンソースベースの非リレーショナルデータベース管理システムである。2009年に Salvatore Sanfilippo が初めて開発した。2015年から Redis Labs が支援している。さまざまなサービスで Redis が自由に使用されている。

Pareto principle(パレートの法則)

社会で起こる現象の80%は、20%の原因によって発生するという法則である。Web サイトへのアクセスにもパレートの法則がよく当てはまる。

インターネット通信の80%は、わずか20%のサイトへのアクセスと推定され、この20%の Web サイトデータをキャッシュしておけば効率を劇的に向上できる。

とされる。

(インフラエンジニアの教科書 - ネットワーク編, 2017, Gilbut)

したがって、共通で使用されるデータを Redis を利用してキャッシュとして保存しておくことは、リソースを効率的に利用する方法になり得る。

Redis の特徴

Redis は key-value store NoSQL DB である。
- 単純な string に対する key-value 構造をサポート
- バイナリデータの書き込み
Single Thread で動作する。
- シングルスレッドで動作するため、演算の原子性を保証する。
多様なデータ構造をサポートする。
- collection サポート: List、Set、Sorted Set、Hash などのデータ構造をサポート
高速
- 秒間 100,000 QPS レベルの性能を誇る。
Disk 保存
- Disk に永続的に保存できる。
レプリケーション(replication)
- 他のノードへ内容を複製できる master/slave 構造をサポートする。
Sharding サポート
- Redis Cluster を通じてデータ sharding をサポートする。
Publish/Subscribe サポート
- メッセージブローカーとして使用可能
Expire(有効期限)
- key に expire を設定し、古くなったデータを自動削除できる。
データのスナップショットまたは AOF ログによって復旧できるため、ある程度の永続性も保証される。
Java Spring では、セッション管理やキャッシュによく使用される。

なぜ Collection が重要なのか?

Redis は In-Memory データベース である。つまり、すべてのデータをメモリに保存して照会する。既存のリレーショナルデータベース(Oracle、MySQL)よりはるかに高速だが、その理由はメモリアクセスがディスクアクセスより速いためである。ただし、速いという点は Redis のいくつかの特徴の一部に過ぎない。他の In-Memory データベース、たとえば Memcached との最大の違いは、多様なデータ構造 をサポートする点である。Redis は以下のように、さまざまなデータ構造を Key-Value 形式で保存する。

Redis は基本的に String、Bitmap、Hash、List、Set、Sorted Set を提供しており、バージョンが上がるにつれて現在は Geospatial Index、HyperLogLog、Stream などのデータ型もサポートしている。

では、このように多様なデータ構造を提供することがなぜ重要なのだろうか。それは 開発の利便性と難易度 のためである。

たとえば、リアルタイムランキングサーバーを実装するときにリレーショナル DBMS を利用するなら、DB にデータを保存し、保存された SCORE 値でソートして再度読み出す過程が必要になる。件数が増えると速度が遅くなりがちだが、この過程でディスクを使用するためである。In-memory ベースでサーバー側のデータ処理を直接実装することもできるが、Redis の Sorted-Set を利用する方がより速く簡単な方法である。

Redis Persistence

Redis はディスクにデータを保存する方法として、RDB(Snapshot) と AOF(Append Only File) 方式を使用する。
どちらの方式も内部的に fork() 関数を使用するため、十分なメモリが必要である。

RDB(Snapshot)
- メモリ上のデータをディスクへ移す方式である。
- スナップショット方式はメモリの状態をそのまま取得するため、特定時点のバックアップと復旧に有利であり、AOF 方式に比べてより速くデータをメモリに読み込める。
- サーバーがダウンすると、バックアップされたスナップショット間に変更されたデータは失われる。
- 2つの方式がある。
  - SAVE: blocking 方式で、順次すべての Redis 動作を停止し、その時点の Snapshot を Disk に保存する。
  - BGSAVE: non-blocking 方式で、別プロセスを通じて実行時点のメモリ snapshot をディスクに保存する。
AOF(Append Only File)
- Redis のすべての write/update 演算を log ファイル形式で記録する方法である。
- サーバーが起動すると、順次演算を再実行してデータを復旧する。
- 演算処理が実行されるたびに記録するため、現在時点までのログを残すことができる。
- ログファイルに対して append のみを実行するため write 速度が速く、サーバーがダウンしてもデータ損失が発生しない。
- すべての演算についてログを残すため、データ量が非常に大きい。
- サーバー再起動時、すべての演算を再実行するため restart 速度が遅い。

Redis をクラウドで使用

アプリケーション開発に Amazon Web Services や Microsoft Azure を使用する場合、各クラウドサービスは Redis サービスを提供しているため、それを活用できる。

クラウドサービス	サービス名
Amazon Web Services	Amazon ElastiCache for Redis
Microsoft Azure	Azure Redis Cache

もちろん各クラウドサービスのコンピュータインスタンスに直接 Redis をインストールすることもできるが、管理コストを考えるとこれらのサービスを選択するのがよい。

参照

Redis | Wikipedia
[redisgate][http://redisgate.kr/]

Redis を Docker でインストール

kc@example.com (kc kim) — Fri, 31 Mar 2023 17:46:26 +0900

Redis Docker インストール

学習や検証のために簡単に使うのであれば、Docker を使って Redis をインストールする方法を推奨する。

Redis Docker イメージのダウンロード

次のコマンドを実行して Redis Docker をダウンロードする。ここでは alpine バージョンを取得した。

別のバージョンタグが必要な場合は、https://hub.docker.com/_/redis/tags を参照するとよい。

% docker pull redis:alpine

ダウンロード後にイメージを確認すると、以下のように一覧を確認できる。

% docker images
REPOSITORY         TAG       IMAGE ID       CREATED        SIZE
redis              alpine    a4cf5af74f5e   2 days ago     30.4MB

Redis Docker コンテナの作成と実行

次のコマンドを実行する。

% docker run -d -p 6379:6379 --name=redis redis:alpine

-p: host に公開するポートを指定
--name: コンテナ名を指定

実行後、実行中のコンテナを確認する。

% docker container ls
CONTAINER ID   IMAGE          COMMAND                  CREATED          STATUS          PORTS                    NAMES
1df277cb625c   redis:alpine   "docker-entrypoint.s…"   30 seconds ago   Up 29 seconds   0.0.0.0:6379->6379/tcp   redis

Redis Docker への接続

Redis Docker コンテナ内部への接続

Redis に接続する前に、Redis がインストールされた Docker コンテナの内部へ接続する。

% docker exec -it redis /bin/bash

もし以下のようなエラーメッセージが出る場合は、/bin/sh で接続してみる。

OCI runtime exec failed: exec failed: unable to start container process: exec: "/bin/bash": stat /bin/bash: no such file or directory: unknown

% docker exec -it redis /bin/sh

Redis へ接続

コンテナ内部へ接続できたら、Redis に接続してみる。redis-cli コマンドで Redis に接続する。

/data # redis-cli
127.0.0.1:6379>

接続できると、上記のように IP:port> プロンプトへ変更される。

Redis の情報を確認するには、以下のように info を入力すればよい。

127.0.0.1:6379> info
# Server
redis_version:7.0.10

... 以下省略 ...

抜けるには Ctrl+C を押せばよい。

Redis redis-cli

kc@example.com (kc kim) — Fri, 10 Mar 2023 14:39:26 +0900

redis-cli インストール

macOS 環境に Homebrew でインストールする方法は以下のとおりである。

brew tap aoki/redis-cli
brew update && brew doctor
brew install redis-cli

github.com/aoki/homebrew-redis-cli

サーバー制御

redis-cli 接続

ホスト名とポート番号を省略すると、localhost の 6379 に接続される。

$ redis-cli

リモート接続は以下のように行う。

$ redis-cli -h #{ホスト名} -p #{ポート番号}

その他の主なオプションは以下のとおりである。

-n: database 番号
-a: パスワード
-s: ソケット
-u: サーバー URL など、接続時にさまざまなオプション設定が使用可能

サーバー情報の照会

redis-cli info

> info
# Server
redis_version:6.0.9
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:ffd199d8341c2d8f
redis_mode:standalone
... 以下省略 ....

接続中クライアント一覧の照会

> client list

接続中クライアントの切断

> client kill 10.0.0.8:33333

コマンド実行後に受信したリクエストをすべてダンプ

redis-cli monitor

> monitor
OK

Key 操作

key、value の設定

set {key名} {value}

> set key01 value01
OK

key で value を照会

get {key名}

> get key01
value01

key 一覧の照会

> keys *
key01

key の削除

> del key01
1

key が存在するか確認。1なら true

exists {key名} {value}

> exists key01
0

key がまだ存在しない場合にデータをセット

setnx {key名} {value}

> setnx key01 value02
1
> setnx key01 value02
0

結果が 0 であれば、key が存在するためデータが更新されなかったことを意味する。

既存 key 名の変更

rename {以前の key名} {新しい key名}

> rename key01 key02 
OK
> rename key03 key04
ERR no such key

現在のデータベースの key 数を返す

> dbsize
2

特定 key を別のデータベースへ移動

> move key01 1
1

DB 番号の選択

> select 1
OK

現在のデータベースの key をすべて削除

> flushdb
OK

すべてのデータベースの key をすべて削除

> flushall
OK

正規表現

Redis で使用できる正規表現は次のみである。

[]: 括弧内の文字のいずれか1つ
*: 任意の文字列
?: 単一文字

使用例

# すべての Key 一覧を照会する。
$ keys *

# 数字で始まる key を照会する。
$ keys [0-9]*

Multiple Key

複数の key 値をまとめて設定

> mset key01 value01 key02 value02 key03 value03 
OK

複数の key 値を一度に照会

> mget key01 key02 key03
value01
value02
value03

expire

有効期限を設定して key を設定

以下の例では 60 秒に設定している。

> setex key01 60 value01 
OK

既存 key の有効期限設定

> expire key02 30

Math

key 値に 1 を加える

以下の例では key02 に 1 を設定し、1 を増加させる。

> set key02 1 
OK
> incr key02 
2

key 値に指定した数を加える

> incrby key02 100 
102

key 値から 1 を引く

> decr key02 
101

key 値から指定した数を引く

> decrby key02 51 
50

List

List の先頭に値を追加

空白で区切って複数の値を指定できる。

> lpush list01 value01
1

List の末尾に値を追加

空白で区切って複数の値を指定できる。

> rpush list01 value02
2

List 要素の数を返す

> llen list01
2

List で指定番号の要素を返す

> lindex list01 0
value01

List で指定した開始番号から終了番号までの要素を返す

> lrange list01 0 1
value01
value02

List の指定番号の要素を指定値へ変更

> lset list01 1 value03
OK
> lindex list01 1
value03

List の最初の要素を返して削除

> lpop list01
value01

List の最後の要素を返して削除

> rpop list01
value03

List で指定した開始番号から終了番号までの要素だけを残す形でリストを変更

> ltrim list01 1 3
OK

Hash

親 Key、子 Key(field)、値(value)によって管理されるデータ形式である。たとえば、親 Key を製品 ID、子 Key を製品属性情報の保存に使うと、RDB のデータ管理に近い考え方で使用できる。

Hash の指定フィールドに値を追加

> hset hash01 field01 value01
(integer) 1

Hash の指定フィールドの値を返す

> hget hash01 field01
"value01"

Hash の複数フィールドに追加

> hmset hash01 field02 value02 field03 value03
OK

Hash の複数フィールドの値を返す

> hmget hash01 field01 field02 field03
value01
value02
value03

Hash フィールドをすべて返す

> hkeys hash01
field01
field02
field03

Hash フィールドの値をすべて返す

> hvals hash01
value01
value02
value03

Hash の指定フィールドの値に指定数を加算

> hincrby hash01 field04 100
101

Hash の指定フィールドが存在するか確認

> hexists hash01 field01
1

Hash フィールド数を返す

> hlen hash01
4

Hash の指定フィールドを削除

> hdel hash01 field04
1

その他の操作

keys を使用できないときに key を検索する方法

scan 0 match devkuma-* count 1000

key 名は wildcard 検索でき、devkuma-* は devkuma- で始まる key を検索する。

Redis データ構造(Structure)の照会と保存

kc@example.com (kc kim) — Fri, 31 Mar 2023 17:46:26 +0900

データ構造(Collection)

Redis はさまざまなデータ構造(Structure)を提供する。

Redis でのデータ表現の基本型は、1つの Key と1つ以上の Field/Element 値で構成される。

Key
- ASCII value を保存する。
Value (Field/Element)
- 基本的に String データを保存する。
- Container タイプのデータを保存する。
Container タイプ
- Hash、List、Set、Sorted Set などを含む。

Strings

String は Redis value のもっとも基本的なデータ型である。value に文字や数字などを保存する。保存時に数字と文字を別途区別しない。
Redis String は binary safe である。これは Redis string が JPEG image や serialized Ruby object のようなあらゆる種類の data を含められることを意味する。

String value は最大 512 MB の長さを持つことができる。

Strings Redis コマンド

キー・値構造でデータを保存し、照会してみる。

コマンド	文法	説明
`set`	`set key`	key-value を保存する。
`get`	`get key`	key に該当する value を照会する。
`del`	`del key`	key を削除する。

127.0.0.1:6379> set devkuma 1000
OK
127.0.0.1:6379> get devkuma
"1000"
127.0.0.1:6379> del devkuma
(integer) 1
127.0.0.1:6379> get devkuma
(nil)
127.0.0.1:6379>

Lists

List は単純に挿入順で整列された String list である。String 型が配列構造になったものと考えればよい。
新しい要素を list の前または後ろに追加できる。最大約40億要素まで保持できるとされる。

コマンド	文法	説明
`lpush`	`LPUSH key element [element ...]`	left push であり、左から、index は 0 からデータを保存する。
`lpop`	`LPOP key`	left pop であり、list の index 0 からデータを抽出する。
`rpush`	`RPUSH key element [element ...]`	right push であり、右から、つまり index last からデータを保存する。
`rpop`	`RPOP key`	right pop であり、list の index last からデータを抽出する。
`lrange`	`LRANGE key start stop`	list のデータを start から end まで抽出する。 lrange で end を -1 と宣言すると、その list のデータをすべて抽出する。

LPUSH コマンドは新しい要素を head の前に追加し、RPUSH は後ろに追加する。empty key に実行される場合は new list が作成されて追加される。

127.0.0.1:6379> lpush fruit apple
(integer) 1
127.0.0.1:6379> lpush fruit banana
(integer) 2
127.0.0.1:6379> lpush fruit orange
(integer) 3
127.0.0.1:6379> lrange fruit 0 2
1) "orange"
2) "banana"
3) "apple"
127.0.0.1:6379>

Sets

Set は整列されていない String collection である。List 型からインデックスがなくなった型である。Value に重複がない。Lists より高速に処理できる。

ランダムにデータを抽出できるという意味では、機械学習などに使用できるかもしれない。

コマンド	文法	説明
`sadd`	`SADD key member [member...]`	set の key に member を追加する。
`srem`	`SREM key member [member...]`	set の key から member を削除する。
`smembers`	`SMEMBERS key`	set の key のすべての member を照会する。

sadd コマンドで key animal に要素を追加してみる。

127.0.0.1:6379> sadd animal dog
(integer) 1
127.0.0.1:6379> smembers animal
1) "dog"
127.0.0.1:6379> sadd animal cat cow
(integer) 2
127.0.0.1:6379> smembers animal
1) "dog"
2) "cat"
3) "cow"

srem コマンドで key animal から要素を削除してみる。

127.0.0.1:6379> srem animal cat
(integer) 1
127.0.0.1:6379> smembers animal
1) "dog"
2) "cow"
127.0.0.1:6379>

全体を削除するには del コマンドを使用する。

127.0.0.1:6379> del animal
(integer) 1
127.0.0.1:6379> smembers animal
(empty array)
127.0.0.1:6379>

Sorted Sets

Sorted set は Redis set と似た、重複しない String の集合である。 Set 型に score という概念が付いたものである。ここでも Value に重複はない。score 順に整列したり、score に対してしきい値処理をしたりできる。ゲームのリアルタイムランキング表示などに使えそうである。

Hashes

Hashes の場合、key 1つに複数の field と value のペアで構成される。Set に文字列で指定できる field という概念が付いたものである。

すべての hash は最大 2^32 - 1 個の field-value ペア、つまり約40億個以上を保存できる。

コマンド	文法	説明
`hset`	`HSET key field [field value...]`	1つまたは複数の値を設定する。
`hget`	`HGET key field`	1つまたは複数の値を取得する。

Bitmaps and HyperLogLogs

Redis はまた、実際には String base type を基盤としながら独自の意味を持つ data type である Bitmap および HyperLogLogs もサポートする。

参考

Redis data types | Redis

Redis Command SETEX key Seconds value

kc@example.com (kc kim) — Fri, 31 Mar 2023 17:46:26 +0900

SETEX

SETEX コマンドは、文字列値に key と秒数(second)を指定する。指定した秒数の後にデータが削除される。
有効期限を持つデータを保存するときに便利に使われる。

使用可能バージョン: version 2.0.0 以降
論理的な処理時間計算量: O(1)

以下2つのコマンドと同じように動作する。

SET mykey value
EXPIRE mykey seconds

SETEX の使い方

使い方は以下のとおりである。

SETEX [key] [seconds] [value]

文字列値を保存する key を作成するとき、タイムアウト(timeout)も設定できる。key はタイムアウト時間が経過した後に削除される。以下2つのコマンドと同じ効果である。

指定した時間後にデータが削除される: 秒単位で指定。指定した秒(second)の後にデータが削除される。有効期限を持つデータを保存するときに便利に使われる。使い方は SETEX key seconds value である。

Example Command> setex key 5 value Result> OK Command> ttl key Result> 2 残り時間を秒(second)で知らせる Command> get key Result> (nil) 5秒が経過してデータが削除されたアニメーションを見る

TTL コマンドは残り時間を秒(second)で知らせる。