デフォルトサーバーから直接インポートできるようにしました (Synesthesias#146)

* デフォルトURLからメタデータを取得できることのユニットテスト

* jsonパースで、問題が起きたときに落ちない例外で済ますために json["key"] を json.at("key") に置き換え

* readme追記

* CoordinateSystem.ToNaturalLanguageを追加

* デフォルトURLからファイルをダウンロードできることのテスト

* 同上

* CMSサーバーでは Bearer認証が設定されていると逆に認証失敗になるので、その仕様に合わせた

* fix mac os test failure

* 同上

* サードパーティのライセンス表記と、libplateauのライセンス表記を追加

* 同上

* Create LICENCE.md

* fix typo in the readme

* Update LICENCE.md

* Update LICENCE.md

* Update LICENCE.md

Author: linoal

LICENCE.md

@@ -161,6 +161,7 @@ Windows, Mac, Linux でのテストと成果物のダウンロードができま
 - Unreal Engine で利用する都合上、ヘッダーファイルで `std::filesystem` は利用しない
   - .cppファイル内での利用は可
   - パスの受け渡しは string(中身はutf8形式) で行い、`.cpp`内で `auto path = std::filesystem::u8path(path_str)` で path に直すのが良い
+- コンテナ要素へのアクセスは `[i]` ではなく `.at(i)` を用いる。Unityからの利用で範囲外アクセスになったとき、前者は例外も出さずに問答無用でUnityが落ちる。後者は例外として補足できる。
 
 # トラブルシューティング
 - **Q.** 手元のマシンではユニットテストが通るのに、CIサーバーの自動テストが通りません。
@@ -172,6 +173,14 @@ Windows, Mac, Linux でのテストと成果物のダウンロードができま
 
 
 # ライセンス
+## ライセンス制約
+libcitygml は LGPL ライセンスのため、libcitygml と静的リンクする libplateau にも LGPLライセンスが伝播します。  
+したがって、このリポジトリはLGPLライセンスで公開しなければなりません。  
+なお、libplateauと動的リンクする PLATEAU SDK for Unity には LGPLライセンスは伝播しません。
+
+## ライセンス管理
+サードパーティソフトの権利表記を ThirdPartyNotices.md に記載してください。
+
 - libplateau本体
   - 未定
 

README.md

@@ -48,6 +48,7 @@ namespace plateau::network {
         /**
          * @param server_url 接続先のURLです。空文字の場合、デフォルトのものを利用します。
          * @param api_token 接続時のBearer認証トークンです。空文字の場合、デフォルトのものを利用します。
+         * 空文字の場合にデフォルトになる理由は、利用者側からデフォルトURL等が見えないほうが安全だからです。
          */
         Client(const std::string& server_url, const std::string& api_token);
 
@@ -64,6 +65,13 @@ namespace plateau::network {
          * 受け取る json の例 : https://plateau-api-mock-v2.deta.dev/sdk/datasets/23ku/files
          */
         DatasetFiles getFiles(const std::string& id) const;
+
+        /**
+         * @brief ファイルをダウンロードします。
+         * @param destination_directory_path ダウンロード先のローカルディレクトリのパスです。
+         * @param url URLです。
+         * @return ダウンロードしたファイルのパスを返します。
+         */
         std::string download(const std::string& destination_directory_path, const std::string& url) const;
 
         /// 開発用に用意したモックサーバーのURLです。

ThirdPartyNotices.md

@@ -10,11 +10,14 @@ namespace fs = std::filesystem;
 
 namespace {
     /// httplib::Client を作成し、それにURLとAPIトークンを設定して返します。
+    /// APIトークンが空文字なら Bearer 認証を設定しません。
     httplib::Client createHttpLibClient(const std::string& url, const std::string& api_token) {
         auto client = httplib::Client(url);
         // Bearer認証を設定します。
-        httplib::Headers headers = {{"Authorization", "Bearer " + api_token}};
-        client.set_default_headers(headers);
+        if(!api_token.empty()){
+            httplib::Headers headers = {{"Authorization", "Bearer " + api_token}};
+            client.set_default_headers(headers);
+        }
         return client;
     }
 
@@ -64,22 +67,22 @@ namespace plateau::network {
         if (res && res->status == 200) {
             auto jres = json::parse(res->body);
 
-            for (int i = 0; i < jres["data"].size(); i++) {
-                DatasetMetadataGroup dataset_meta_data_group;
-                dataset_meta_data_group.id = jres["data"][i]["id"];
-                dataset_meta_data_group.title = jres["data"][i]["title"];
-
-                for (int j = 0; j < jres["data"][i]["data"].size(); j++) {
-                    DatasetMetadata dataset_meta_data;
-                    dataset_meta_data.id = jres["data"][i]["data"][j]["id"];
-                    dataset_meta_data.title = jres["data"][i]["data"][j]["title"];
-                    dataset_meta_data.description = jres["data"][i]["data"][j]["description"];
-                    if (jres["data"][i]["data"][j].contains("featureTypes")) {
-                        dataset_meta_data.feature_types = jres["data"][i]["data"][j]["featureTypes"];
+            for (auto & json_dataset_metadata_group : jres.at("data")) {
+                DatasetMetadataGroup dataset_metadata_group;
+                dataset_metadata_group.id = json_dataset_metadata_group.at("id");
+                dataset_metadata_group.title = json_dataset_metadata_group.at("title");
+
+                for (auto & json_dataset_metadata : json_dataset_metadata_group.at("data")) {
+                    DatasetMetadata dataset_metadata;
+                    dataset_metadata.id = json_dataset_metadata.at("id");
+                    dataset_metadata.title = json_dataset_metadata.at("title");
+                    dataset_metadata.description = json_dataset_metadata.at("description");
+                    if (json_dataset_metadata.contains("featureTypes")) {
+                        dataset_metadata.feature_types = json_dataset_metadata.at("featureTypes");
                     }
-                    dataset_meta_data_group.datasets.push_back(dataset_meta_data);
+                    dataset_metadata_group.datasets.push_back(dataset_metadata);
                 }
-                out_metadata_groups.push_back(dataset_meta_data_group);
+                out_metadata_groups.push_back(dataset_metadata_group);
             }
         }
     }
@@ -107,11 +110,11 @@ namespace plateau::network {
                 dataset_files.emplace(key, std::vector<DatasetFileItem>());
                 for (const auto& file_item: file_items) { // 各ファイルについて
                     DatasetFileItem dataset_file;
-                    dataset_file.max_lod = file_item["maxLod"].get<int>();
-                    dataset_file.mesh_code = file_item["code"];
-                    dataset_file.url = file_item["url"];
+                    dataset_file.max_lod = file_item.at("maxLod").get<int>();
+                    dataset_file.mesh_code = file_item.at("code");
+                    dataset_file.url = file_item.at("url");
 
-                    dataset_files[key].push_back(dataset_file);
+                    dataset_files.at(key).push_back(dataset_file);
                 }
             }
         }
@@ -126,22 +129,35 @@ namespace plateau::network {
         auto gml_file_path = fs::absolute(fs::path(destination_directory) / gml_file);
         fs::create_directories(destination_directory);
 
-        auto cli = createHttpLibClient(server_url_, api_token_);
-        cli.enable_server_certificate_verification(false);
-
         // '\\' を '/' に置換
         auto pos = url_str.find(u8'\\');
         while (pos != std::string::npos) {
             url_str.replace(pos, 1, u8"/");
             pos = url_str.find(u8'\\', pos + 1);
         }
 
-        auto path_after_domain = url_str.substr(url_str.substr(8).find('/') + 8);
+        // URL をドメイン部とそれ以降に分けます。
+        auto domain_end_pos = url_str.substr(8).find('/') + 8;
+        auto path_after_domain = url_str.substr(domain_end_pos);
+        auto path_domain = url_str.substr(0, domain_end_pos);
+
+        // HTTPリクエストを投げます。
+        // 注意:
+        // ここでは api_token は空文字、すなわち Bearer認証を利用しません。
+        // APIサーバーから json を受け取るためには api_token が必要なのに対して、
+        // cmsサーバーからgmlファイルを受け取るためには Bearer認証されていると認証失敗扱いになるためです。
+        auto cli = createHttpLibClient(path_domain, ""/* api_token_ を利用せず空文字*/);
+
+        // この1行がないと、MacとUbuntuでモックサーバーに対するテストが失敗します。
+        cli.enable_server_certificate_verification(false);
+
         auto res = cli.Get(path_after_domain);
+        // 結果を受け取ります。
         auto content_type = res->get_header_value("Content-Type");
         bool is_text =
                 content_type.find("text") != std::string::npos ||
-                content_type.find("json") != std::string::npos;
+                content_type.find("json") != std::string::npos ||
+                content_type.find("xml") != std::string::npos;
         auto ofs_mode = std::ios_base::openmode(is_text ? 0 : std::ios::binary);
         auto ofs = std::ofstream(gml_file_path.c_str(), ofs_mode);
         if (!ofs.is_open()) {

include/plateau/network/client.h

@@ -110,7 +110,7 @@ TEST_F(DatasetTest, fetch_local_generates_files) { // NOLINT
     };
     checkFilesExist(images, image_dir);
 
-    fs::remove_all(temp_test_dir);
+//    fs::remove_all(temp_test_dir);
 }
 
 TEST_F(DatasetTest, fetch_server_generates_files) { // NOLINT
@@ -127,6 +127,7 @@ TEST_F(DatasetTest, fetch_server_generates_files) { // NOLINT
     auto gml_path = fs::path(bldg_dir).append(u8"53392642_bldg_6697_2_op.gml").make_preferred();
 //        auto gml_path = fs::path(bldg_dir).append("53392587_bldg_6697_2_op.gml").make_preferred();
     ASSERT_TRUE(fs::exists(gml_path)) << fs::absolute(gml_path) << " does not exist.";
+    ASSERT_TRUE(fs::file_size(gml_path) > 0) << "gml file is not empty.";
 
     // codelistsファイルがコピー先に存在します。
     auto codelists_dir = fs::path(temp_test_dir).append(u8"13100_tokyo23-ku_2020_citygml_3_2_op/codelists");

src/network/client.cpp

@@ -8,30 +8,60 @@ namespace plateau::network {
     class ClientTest : public ::testing::Test {
     protected:
         void SetUp() override {
-//            client.setApiServerUrl(Client::getDefaultServerUrl());
         }
 
-//        Client client = Client();
     };
 
-    TEST_F(ClientTest, GetMetadata) { // NOLINT
-        auto meta_data = Client::createClientForMockServer().getMetadata();
-        ASSERT_NE(meta_data->size(), 0) << "Metadata Exists.";
-        if (!meta_data->empty()) {
-            ASSERT_EQ(meta_data->at(0).id, "tokyo");
+    TEST_F(ClientTest, GetMetadataOfMockServer) { // NOLINT
+        auto metadata_groups = Client::createClientForMockServer().getMetadata();
+        ASSERT_NE(metadata_groups->size(), 0) << "Metadata Exists.";
+        if (!metadata_groups->empty()) {
+            ASSERT_EQ(metadata_groups->at(0).id, "tokyo");
         }
     }
 
-    TEST_F(ClientTest, GetFiles){ // NOLINT
+    TEST_F(ClientTest, GetFilesOfMockServer){ // NOLINT
         auto files = Client::createClientForMockServer().getFiles("23ku");
         ASSERT_TRUE(!files.empty());
     }
 
-    TEST_F(ClientTest, Download) { // NOLINT
+    TEST_F(ClientTest, DownloadFromMockServer) { // NOLINT
         std::string gml_file_name = "53392642_bldg_6697_2_op.gml";
         fs::remove(gml_file_name);
         auto fpath_str = Client::createClientForMockServer().download(u8".", Client::getMockServerUrl() + u8"/13100_tokyo23-ku_2020_citygml_3_2_op/udx/bldg/53392642_bldg_6697_2_op.gml");
         auto fpath = fs::u8path(fpath_str);
         ASSERT_TRUE(fs::file_size(fpath));
     }
+
+    TEST_F(ClientTest, GetMetadataOfDefaultServer) { // NOLINT
+        auto client = Client("", "");
+        auto metadata_groups = client.getMetadata();
+        ASSERT_TRUE(!metadata_groups->empty()) << "Metadata groups is not empty.";
+        auto metadata_group = metadata_groups->at(0);
+        ASSERT_TRUE(!metadata_group.datasets.empty()) << "First metadata group has metadata.";
+        ASSERT_TRUE(!metadata_group.title.empty()) << "First metadata group has title.";
+        ASSERT_TRUE(!metadata_group.id.empty()) << "First metadata group has id.";
+        auto metadata = metadata_group.datasets.at(0);
+        ASSERT_TRUE(!metadata.title.empty()) << "Metadata has title.";
+        ASSERT_TRUE(!metadata.id.empty()) << "Metadata has id.";
+    }
+
+    TEST_F(ClientTest, DownloadFilesOfDefaultServer) { // NOLINT
+        auto client = Client("", "");
+        auto first_id = client.getMetadata()->at(0).datasets.at(0).id;
+        auto files = client.getFiles(first_id);
+        ASSERT_TRUE(!files.empty()) << "Dataset files is not empty.";
+        auto files_of_first_package = files.begin()->second;
+        ASSERT_TRUE(!files_of_first_package.empty());
+        auto file = files_of_first_package.at(0);
+        ASSERT_TRUE(0 <= file.max_lod && file.max_lod <= 4 );
+        ASSERT_TRUE(!file.mesh_code.empty());
+        ASSERT_TRUE(!file.url.empty());
+        auto url = file.url;
+        fs::remove("./" + fs::path(url).filename().u8string());
+        auto downloaded_path = fs::u8path(client.download("./", url));
+        ASSERT_TRUE(fs::exists(downloaded_path));
+        ASSERT_TRUE(fs::file_size(downloaded_path) > 0);
+        fs::remove(downloaded_path);
+    }
 }

test/test_dataset.cpp

@@ -28,6 +28,26 @@ public enum CoordinateSystem
         EUN = 3
     }
 
+    public static class CoordinateSystemExtension
+    {
+        public static string ToNaturalLanguage(this CoordinateSystem system)
+        {
+            switch (system)
+            {
+                case CoordinateSystem.ENU:
+                    return "ENU(PLATEAUでの座標系)";
+                case CoordinateSystem.ESU:
+                    return "ESU(Unreal Engineでの座標系)";
+                case CoordinateSystem.EUN:
+                    return "EUN(Unityでの座標系)";
+                case CoordinateSystem.WUN:
+                    return "WUN(EUNの左右反転補正)";
+                default:
+                    throw new ArgumentOutOfRangeException(nameof(system), "Unknown coordinate system.");
+            }
+        }
+    }
+
     /// <summary>
     /// 極座標と平面直角座標を変換します。
     /// また座標変換の基準を保持します。