MinIOを用いたS3ローカル開発環境の構築ガイド（RELEASE.2023-10）

services:

# MinIOサーバーコンテナの設定
  minio:
    container_name: minio_test
    image: minio/minio:latest

# MinIOサーバーを開始し、管理コンソール(GUI)のアクセスポートを指定
    command: ['server', '/data', '--console-address', ':9001']
    ports:
      - "9000:9000" # APIアクセス用
      - "9001:9001" # 管理コンソール(GUI)用

# USERとPASSWORDを省略する事も可能です。
# その場合は minioadmin | minioadmin に自動で設定されます。
    environment:
      - "MINIO_ROOT_USER=minio"
      - "MINIO_ROOT_PASSWORD=minio123"

# minioが管理する設定ファイルや、アップロードしたファイルを
# ローカルで参照したい場合や、登録したファイルを永続化したい場合は
# ローカルのディレクトリをマウントします。
#    volumes:
#      - ./minio/data:/data

# PC再起動後にminioコンテナが自動で起動してほしい場合など
# 停止していたら自動で起動していてほしい場合は有効化します。
#    restart: unless-stopped


# MinIOクライアント(mc)コンテナの設定
  mc:
    image: minio/mc:latest
    container_name: mc_test
    depends_on:
      - minio
    environment:
      - "MINIO_ROOT_USER=minio" # 上と同じユーザー名
      - "MINIO_ROOT_PASSWORD=minio123" # 上と同じパスワード

# mcコマンドでバケット作成と、作成したバケットにファイルを配置します。
# まずは aliasを設定して、それ以降のコマンドで簡単にminio本体を
# 指定できるようにします。
# 今回は myminio というエイリアス名にしました。
# mbは、バケットの新規作成を行う。make bucketの略
# cpは、ローカルのファイルをminioにコピーします。
    entrypoint: >
      /bin/sh -c "
      mc alias set myminio http://minio:9000 minio minio123;

      mc mb myminio/mail-template;
      mc mb myminio/image;
      mc mb myminio/csv;

      mc cp init_data/mail-template/* myminio/mail-template/;
      mc cp init_data/image/* myminio/image/;
      mc cp init_data/csv/* myminio/csv/;
      "

# minioにアップロードしたいファイルが入っているディレクトリをマウントします。
    volumes:
      - ./myData/init_data:/init_data

minio_test# tree .
.
├── compose.yaml
└── myData
    └── init_data
        ├── csv
        │   └── example.csv
        ├── image
        │   ├── slide_01.jpg
        │   └── slide_04.jpg
        └── mail-template
            └── mail.vm

docker compose up -d

# 以下のコマンドを使用して、mcをダウンロードしてください。実行ファイルは任意のディレクトリに保存されます。
minio_test/mc# curl https://dl.min.io/client/mc/release/linux-amd64/mc \
  --create-dirs \
  -o ./minio-binaries/mc

# 動作確認
# インストールしたmcが最新版か確認し、バージョンを表示させて正しくインストールされたかをチェックします。
# mcコマンドをPathに通すかはお好みで。今回は通さずにいきます。
minio_test/mc# ./minio-binaries/mc update
> You are already running the most recent version of ‘mc’.
minio_test/mc# ./minio-binaries/mc -version
> mc version RELEASE.2023-10-30T18-43-32Z (commit-id=9f2fb2b6a9f86684cbea0628c5926dafcff7de28)
> Runtime: go1.21.3 linux/amd64
> Copyright (c) 2015-2023 MinIO, Inc.
> License GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>

# エイリアスの設定
# MinIOサーバへのアクセスに必要なエイリアスを設定します。
minio_test/mc# ./minio-binaries/mc alias set myminio http://localhost:9000 minio minio123;
> Added `myminio` successfully.

# ファイル操作の例
# バケット内のファイル一覧を表示
minio_test/mc# ./minio-binaries/mc ls myminio/image
> [2023-11-07 21:18:54 JST]  11KiB STANDARD slide_01.jpg
> [2023-11-07 21:18:54 JST]  18KiB STANDARD slide_04.jpg
minio_test/mc# ./minio-binaries/mc ls myminio/csv
> [2023-11-07 21:18:54 JST]    71B STANDARD example.csv

# ファイルの中身を画面出力
minio_test/mc# ./minio-binaries/mc cat myminio/csv/example.csv
> name,age,job
> tanaka,30,engineer
> suzuki,25,designer
> satou,,40,manager

# ファイルの一括アップロード
minio_test/mc# ./minio-binaries/mc cp ../myData/init_data/image/* myminio/image/;
> ...t_data/image/slide_04.jpg: 28.62 KiB / 28.62 KiB 

# ファイルの削除
minio_test/mc# ./minio-binaries/mc ls myminio/mail-template
> [2023-11-15 11:46:25 JST]   340B STANDARD mail.txt
minio_test/mc# ./minio-binaries/mc rm myminio/mail-template/mail.txt
> Removed `myminio/mail-template/mail.txt`.

plugins {
    id 'java'
}

java {
    sourceCompatibility = '17'
}

repositories {
    mavenCentral()
}

dependencies {
// https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-s3
    implementation 'com.amazonaws:aws-java-sdk-s3:1.12.582'
}

package com.example.miniotest;

import com.amazonaws.ClientConfiguration;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.auth.EC2ContainerCredentialsProviderWrapper;
import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.GetObjectRequest;
import com.amazonaws.services.s3.model.S3Object;
import com.amazonaws.services.s3.model.S3ObjectSummary;
import com.amazonaws.services.s3.model.ListObjectsV2Result;
import com.amazonaws.regions.Regions;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;

public class Main {

  public static void main(String... args) {
    new Main().execute();
  }

  /**
   * MinIOのS3互換性テスト
   * バケット内のファイル一覧を取得し、内容を表示する
   */
  private void execute() {
    System.out.println("--- Start ---");

    // ローカルのMinIOに接続する場合と、
    // AWS S3に接続する場合で切り替える。
    // spring bootのプロファイルで切り替える事を想定。
    boolean isLocal = true;

    // MinIOはAWS S3と互換性があるので
    // AWSのライブラリから接続する事ができる。
    AmazonS3 s3Client = null;
    if (isLocal) {
      s3Client = getAmazonS3ClientForLocal();
    } else {
      s3Client = getAmazonS3ClientForAwsS3();
    }

    // バケット名
    final String bucketName = "csv";
    // バケット内のすべてのオブジェクトをリストする
    ListObjectsV2Result result = s3Client.listObjectsV2(bucketName);
    List<S3ObjectSummary> objects = result.getObjectSummaries();

    // 取得できたファイル名の数だけループする
    for (S3ObjectSummary os : objects) {
      System.out.println("バケットから取得したファイル名 : " + os.getKey());

      // ストリームでファイルの内容を取得する。
      // もちろんファイルをダウンロードする事もできる。
      try (S3Object s3object = 
             s3Client.getObject(
               new GetObjectRequest(bucketName, os.getKey()));

           BufferedReader reader = 
             new BufferedReader(
               new InputStreamReader(s3object.getObjectContent()))) {

        String line;
        while ((line = reader.readLine()) != null) {
          // １行ずつファイルの中身を画面出力
          System.out.println(line);
        }

      } catch (IOException e) {
        e.printStackTrace();
      }
      // ファイルの切り替わりで空行を入れておく
      System.out.println();
    }

    System.out.println("--- End ---");
  }

  /**
   * ローカルのMinioに接続する場合はこちら
   * @return AmazonS3インターフェースの実装であるAmazonS3クライアントインスタンス。
   */
  private AmazonS3 getAmazonS3ClientForLocal() {
    final String id = "minio";
    final String pass = "minio123";
    final String endpoint = "http://127.0.0.1:9000";

    return AmazonS3ClientBuilder.standard()
        .withCredentials(
            new AWSStaticCredentialsProvider(
              new BasicAWSCredentials(id, pass)))
        .withEndpointConfiguration(
            new AwsClientBuilder.EndpointConfiguration(
              endpoint, Regions.AP_NORTHEAST_1.getName()))
        .build();
  }

  /**
   * Amazon S3クライアントを取得し、AWS S3サービスへの接続を設定します。
   * このメソッドは、Amazon EC2インスタンス上での実行時にIAMロールを用いて自動的に
   * 認証情報を取得し、S3との接続を確立します。IAMロールにはS3へのアクセスを許可する
   * ポリシーが関連付けられている必要があります。
   *
   * クライアントは以下のように構成されます：
   * - リージョン：Regions.AP_NORTHEAST_1（アジアパシフィック（東京））
   * - 最大接続数：500
   * - 接続タイムアウト：120秒
   * - エラーリトライ回数：最大15回
   *
   * 注意：このメソッドは、EC2インスタンス上で実行されることを想定しています。
   * EC2以外で実行する場合は、AWS認証情報を別途提供する必要があります。
   *
   * @return AmazonS3インターフェースの実装であるAmazonS3クライアントインスタンス。
   * @see com.amazonaws.auth.EC2ContainerCredentialsProviderWrapper
   * @see com.amazonaws.services.s3.AmazonS3
   * @see com.amazonaws.services.s3.AmazonS3ClientBuilder
   * @see com.amazonaws.regions.Regions
   */
  private AmazonS3 getAmazonS3ClientForAwsS3() {
    return AmazonS3ClientBuilder.standard()
        .withCredentials(new EC2ContainerCredentialsProviderWrapper())
        .withRegion(Regions.AP_NORTHEAST_1)
        .withClientConfiguration(
            new ClientConfiguration()
                .withMaxConnections(500)
                .withConnectionTimeout(120 * 1000)
                .withMaxErrorRetry(15))
        .build();
  }
}

--- Start ---
バケットから取得したファイル名 : example.csv
name,age,job
tanaka,30,engineer
suzuki,25,designer
satou,40,manager

--- End ---