Bekerja dengandatasets.xmlLogin
\[Halaman web ini hanya akan menarik minat untuk Meme itERDDAP™Login\]
Setelah Anda mengikutiERDDAP™ instruksi instalasiAnda harus mengeditdatasets.xmlSitemap Login /content/erddap/ untuk menggambarkan dataset yang AndaERDDAP™instalasi akan melayani.
- Sitemap
Sitemap
Beberapa Majelis Diperlukan
Menyiapkan dataset dalamERDDAP™tidak hanya masalah penunjuk ke direktori atau URL dataset. Anda harus menulis chunk XML untukdatasets.xmlyang menggambarkan dataset.
- Untuk dataset gridded, untuk membuat dataset sesuai denganERDDAPStruktur data untuk data gridded, Anda harus mengidentifikasi subset variabel dataset yang berbagi dimensi yang sama. (Sitemap Sitemap)
- Metadata arus dataset diimpor secara otomatis. Tetapi jika Anda ingin memodifikasi metadata atau menambahkan metadata lain, Anda harus menentukannyadatasets.xmlSitemap DanERDDAP™membutuhkan metadata lain, termasukatribut global (SitemapinfoUrlLoginsourceUrl, ringkasan, dan judul) Loginatribut variabel (Sitemaplong\_namedan unit) Sitemap Sama seperti metadata yang saat ini dalam dataset menambahkan informasi deskriptif ke dataset, metadata yang diminta olehERDDAP™menambahkan informasi deskriptif ke dataset. Metadata tambahan adalah tambahan yang baik untuk dataset Anda dan membantuERDDAP™melakukan pekerjaan yang lebih baik untuk menyajikan data Anda kepada pengguna yang tidak akrab dengannya.
- ERDDAP™Anda harus melakukan hal-hal khusus dengan Meme itgaris bujur, lintang, ketinggian (atau kedalaman) , dan variabel waktuSitemap
Jika Anda membeli ide-ide ini dan mengeluarkan upaya untuk membuat XML untukdatasets.xml, Anda mendapatkan semua keunggulanERDDAP™termasuk:
- Pencarian teks penuh untuk dataset
- Cari dataset berdasarkan kategori
- Formulir Akses Data ( datasetID Login) sehingga Anda dapat meminta subset data dalam banyak format file yang berbeda
- Bentuk untuk meminta grafik dan peta ( datasetID Login)
- Layanan Peta Web (WMS) untuk dataset gridded
- RESTfulakses ke data Anda
Membuatdatasets.xmlmengambil upaya yang cukup untuk beberapa dataset pertama, tetapi itu akan lebih mudah Sitemap Setelah dataset pertama, Anda sering dapat menggunakan banyak pekerjaan Anda untuk dataset berikutnya. SitemapERDDAP™datang dengan duaLoginuntuk membantu Anda membuat XML untuk setiap dataset didatasets.xmlSitemap Jika Anda terjebak, lihatbagian untuk mendapatkan dukungan tambahanSitemap
Database Login
Ketika penyedia data datang ke Anda berharap untuk menambahkan beberapa data ke AndaERDDAP, itu bisa sulit dan memakan waktu untuk mengumpulkan semua metadata (dataset) diperlukan untuk menambahkan dataset keERDDAPSitemap Banyak sumber data (misalnya, file .csv, File Excel, database) tidak memiliki metadata internal, sehinggaERDDAP™memiliki Formulir Penyedia Data yang mengumpulkan metadata dari penyedia data dan memberikan penyedia data beberapa panduan lain, termasuk panduan yang luas untukDatabaseSitemap Informasi yang diajukan diubah menjadidatasets.xmlformat dan kemudian diemail keERDDAP™Login (Login) dan tulisan (Sitemap) Login Login /logs/dataProviderForm.log . Dengan demikian, bentuk semi-otomatis proses mendapatkan dataset menjadiERDDAPtapiERDDAP™administrator masih harus menyelesaikandatasets.xmlchunk dan kesepakatan dengan mendapatkan file data (Login) dari penyedia atau menghubungkan ke database.
Penerapan file data aktual dari sumber eksternal adalah risiko keamanan yang besar, sehinggaERDDAP™tidak berurusan dengan itu. Anda harus mencari solusi yang bekerja untuk Anda dan penyedia data, misalnya, email (untuk file kecil) , tarik dari awan (misalnya, DropBox atau Google Drive) sftp situs (dengan password) Sitemap Login (USB thumb drive atau hard drive eksternal) Sitemap Anda mungkin hanya harus menerima file dari orang yang Anda tahu. Anda harus memindai file untuk virus dan mengambil tindakan pencegahan keamanan lainnya.
Tidak ada tautan diERDDAP™Formulir Penyedia Data (misalnya, padaERDDAP™Login) Sitemap Sebaliknya, ketika seseorang memberitahu Anda mereka ingin memiliki data mereka yang dilayani oleh AndaERDDAPAnda dapat mengirim mereka email mengatakan sesuatu seperti: Ya, kita bisa mendapatkan data Anda keERDDAPSitemap Untuk memulai, silakan mengisi formulir di https://yourUrl/erddap/dataProviderForm.html (Sitemaphttp://Sitemaphttps://tidak diaktifkan) Sitemap Setelah selesai, saya akan menghubungi Anda untuk mengerjakan rincian akhir. Jika Anda hanya ingin melihat formulir (tanpa mengisinya) Anda dapat melihat bentuknyaERDSitemapERDDAPSitemapSitemapLoginBagian 1LoginBagian 2LoginBagian 3SitemapBagian 4Sitemap Tautan ini diERD ERDDAP™mengirimkan informasi kepada saya, bukan Anda, jadi jangan menyerahkan informasi dengan mereka kecuali Anda benar-benar ingin menambahkan data keERD ERDDAPSitemap
Jika Anda ingin menghapus Formulir Penyedia Data dari AndaERDDAP™Sitemap
<dataProviderFormActive>false</dataProviderFormActive>
di file setup.xml Anda.
Impetus untuk iniNOAASitemapAkses Umum untuk Hasil Penelitian (Login) Loginyang membutuhkan semua Meme itNOAAdata lingkungan yang didanai melalui pajakpayer dolar yang tersedia melalui layanan data (tidak hanya file) dalam 12 bulan pembuatan. Jadi ada peningkatan minat dalam menggunakanERDDAP™untuk membuat dataset tersedia melalui layanan ASAP. Kami membutuhkan cara yang lebih efisien untuk menangani sejumlah besar penyedia data.
Umpan balik / Saran? Bentuk ini baru, jadi silakan emailerd dot data at noaa dot govjika Anda memiliki umpan balik atau saran untuk meningkatkan ini.
Login
ERDDAP™datang dengan dua program baris perintah yang alat untuk membantu Anda membuat XML untuk setiap dataset yang Anda inginkanERDDAP™Sitemap Setelah Anda menyiapkanERDDAP™dan menjalankannya (setidaknya satu kali) Anda dapat menemukan dan menggunakan program ini di Meme it Login /webapps/erddap/WEB-INF direktori. Ada skrip shell Linux / Unix (dengan ekstensi .sh) dan skrip Windows (dengan ekstensi .bat) untuk setiap program.\[Pada Linux, jalankan alat-alat ini sebagai pengguna yang sama (Login) yang akan menjalankan Tomcat.\]Ketika Anda menjalankan setiap program, itu akan meminta pertanyaan Anda. Untuk setiap pertanyaan, ketik respons, lalu tekan Enter. Atau tekan ^C untuk keluar program setiap saat.
Program tidak akan berjalan?
- Jika Anda mendapatkan program yang tidak diketahui (atau serupa) pesan kesalahan, masalah mungkin bahwa sistem operasi tidak bisa menemukan Meme itJavaSitemap Anda perlu mencari tahu di manaJavadi komputer Anda, lalu edit referensi java di file .bat atau .sh yang Anda coba gunakan.
- Jika Anda mendapatkan file jar tidak ditemukan atau kelas tidak menemukan pesan kesalahan, makaJavatidak dapat menemukan salah satu kelas yang tercantum dalam file .bat atau .sh Anda mencoba untuk digunakan. Solusinya adalah mencari tahu di mana file .jar adalah, dan mengedit referensi java ke dalam file .bat atau .sh.
- Jika Anda menggunakan versiJavaitu terlalu tua untuk program, program tidak akan berjalan dan Anda akan melihat pesan kesalahan seperti
Exception di thread "main" java.lang.UnsupportedClassVersionError:
beberapa/kelas/nama : Versi yang tidak didukung.minor Login
Solusinya adalah untuk memperbarui versi terbaru dari versi terbaruJavadan pastikan file .sh atau .bat untuk program ini menggunakannya.
Alat mencetak berbagai pesan diagnostik:
- Kata "ERROR" digunakan ketika sesuatu pergi begitu salah bahwa prosedur gagal untuk menyelesaikan. Meskipun menjengkelkan untuk mendapatkan kesalahan, kesalahan memaksa Anda untuk menghadapi masalah.
- Kata "WARNING" digunakan ketika sesuatu yang salah, tetapi prosedurnya dapat diselesaikan. Ini cukup langka.
- Apa pun yang lain hanyalah pesan informatif. Anda dapat menambahkan \ verbose keLoginSitemapLoginbaris perintah untuk mendapatkan pesan informatif tambahan, yang kadang-kadang membantu memecahkan masalah.
Dua alat adalah bantuan besar, tetapi Anda masih harus membaca semua instruksi ini di halaman ini dengan hati-hati dan membuat keputusan penting sendiri.
Login
- Login adalah program baris perintah yang dapat menghasilkan draft kasar dari XML dataset untuk hampir semua jenis dataset.
Kami STRONGLY RECOMMEND yang Anda gunakan GenerateDatasets Xml bukan membuat chunksdatasets.xmldengan tangan karena:
- Login Xml bekerja dalam beberapa detik. Melakukan ini dengan tangan setidaknya satu jam kerja, bahkan ketika Anda tahu apa yang Anda lakukan.
- Login Xml melakukan pekerjaan yang lebih baik. Melakukan ini dengan tangan memerlukan pengetahuan luas tentang bagaimanaERDDAP™Sitemap Tidak mungkin bahwa Anda akan melakukan pekerjaan yang lebih baik dengan tangan. (Bob Simons selalu menggunakan GenerateDatasets Xml untuk draft pertama, dan dia menulisERDDAPSitemap)
- Login Xml selalu menghasilkan chunk yang validdatasets.xmlSitemap Sitemapdatasets.xmlbahwa Anda menulis mungkin akan memiliki setidaknya beberapa kesalahan yang mencegah Meme itERDDAP™dari memuat dataset. Hal ini sering membutuhkan jam orang untuk mendiagnosis masalah ini. Jangan buang waktu Anda. Sitemap Login Xml melakukan kerja keras. Kemudian Anda dapat memperbaiki .xml dengan tangan jika Anda ingin.
Ketika Anda menggunakan GenerateDatasets Program xml:
- Pada Windows, pertama kali Anda menjalankan GenerateDatasetsXml, Anda perlu mengedit file GenerateDatasetsXml.bat dengan editor teks untuk mengubah path ke java. exe file sehingga Windows dapat menemukanJavaSitemap
- Login Xml pertama meminta Anda untuk menentukan EDDType (Login Login) dataset. SitemapDaftar Jenis Dataset (dalam dokumen ini) untuk mengetahui apa yang diperlukan untuk dataset yang Anda kerjakan. Selain EDDTypes biasa, ada juga beberapaJenis Dataset Khusus/Pseudo (e.g., salah satu yang merangkai katalog THREDDS untuk menghasilkan sepotongdatasets.xmluntuk setiap set data di katalog) Sitemap
- Login Xml kemudian meminta Anda serangkaian pertanyaan khusus untuk EDDType. Pertanyaan mengumpulkan informasi yang diperlukan untukERDDAP™untuk mengakses sumber dataset. Untuk memahami apaERDDAP™meminta, lihat dokumentasi untuk EDDType yang Anda tentukan dengan mengklik jenis dataset yang sama diDaftar Jenis DatasetSitemap
Jika Anda perlu memasukkan string dengan karakter khusus (e.g., karakter whitespace pada karakter awal atau akhir, non-ASCII) masukkanstring gaya JSON (dengan karakter khusus melarikan diri dengan karakter \) Sitemap Misalnya, untuk memasukkan karakter tab, masukkan "\t" (dengan kutip ganda di sekitarnya, yang memberi tahuERDDAP™JSON-style string
- Seringkali, salah satu jawaban Anda tidak akan apa yang dihasilkanDatasetXml kebutuhan. Anda kemudian dapat mencoba lagi, dengan jawaban yang direvisi untuk pertanyaan, sampai GenerateDataset Xml dapat berhasil menemukan dan memahami data sumber.
- Jika Anda menjawab pertanyaan dengan benar (atau cukup benar) Login Xml akan terhubung ke sumber dataset dan mengumpulkan informasi dasar (misalnya, nama variabel dan metadata) Sitemap Untuk dataset yang berasal dari lokalNetCDF .ncdan file terkait, GenerateDatasets Xml seringkali akan mencetak struktur ncdump-seperti file setelah pertama membaca file. Ini mungkin memberi Anda informasi untuk menjawab pertanyaan yang lebih baik pada loop berikutnya melalui GenerateDatasetsXml.
- Login Xml kemudian akan menghasilkan draft kasar dari XML dataset untuk dataset tersebut.
- Informasi diagnostik dan draft kasar dari XML dataset akan ditulis untuk Login /logs/GenerateDatasetXml.log
- draft kasar dari XML dataset akan ditulis untuk Login /logs/GenerateDatasetXml.out
"0 file" Pesan Kesalahan
Jika Anda menjalankan GenerateDatasets LoginLoginatau jika Anda mencoba memuatEDDGridDari...Files atau EDDTableDari... DatabaseERDDAP™, dan Anda mendapatkan pesan kesalahan "0" yang menunjukkan bahwa Meme itERDDAP™menemukan 0 file pencocokan di direktori (ketika Anda berpikir bahwa ada file yang cocok di direktori itu) Sitemap
-
Periksa bahwa Anda telah menentukan nama lengkap direktori. Dan jika Anda menentukan nama file sampel, pastikan Anda menentukan nama lengkap file, termasuk nama direktori penuh.
-
Periksa bahwa file benar-benar ada di direktori itu.
-
Periksa ejaan nama direktori.
-
Login Sangat mudah untuk membuat kesalahan dengan regexe. Untuk tujuan pengujian, coba regex .\* yang harus sesuai dengan semua nama file. (Lihat inidatabaseLoginLoginSitemap)
-
Periksa bahwa pengguna yang menjalankan program (e.g., user=tomcat (Sitemap) untuk Tomcat/ERDDAP) memiliki izin 'read' untuk file-file tersebut.
-
Dalam beberapa sistem operasi (misalnya, SELinux) dan tergantung pada pengaturan sistem, pengguna yang menjalankan program harus memiliki izin 'read' untuk seluruh rantai direktori yang mengarah ke direktori yang memiliki file.
-
Jika Anda memiliki masalah yang tidak dapat Anda selesaikan,dukungan permintaandengan informasi sebanyak mungkin. Demikian pula, jika tampaknya seperti EDDType yang sesuai untuk dataset yang diberikan tidak bekerja dengan dataset itu, atau jika tidak ada EDDType yang tepat, silakan mengajukanSitemapdengan rincian (dan file sampel jika relevan) Sitemap
Anda perlu mengedit output dari GenerateDatasets Xml untuk membuatnya lebih baik.
-
Login: Logindatasets.xmlLogin Sitemap ANDA HARUS MEMBACA DAN EDIT XML SEBELUM MENGGUNAKAN TI DALAM PUBLICERDDAPSitemap Login Xml RELIES DI LOT OF RULES-OF-THUMB WHICH AREN'T ALWAYS CORRECT. ANDA RESPONSIBEL UNTUK MEMILIKI CORRECTNESS dari XML yang ANDA ADD UNTUKERDDAPLogindatasets.xmlLogin
(Fakta menyenangkan: Saya tidak berteriak. Untuk alasan hukum historis, penafian harus ditulis dalam semua topi.)
Output GenerateDatasetsXml adalah draft kasar. Anda akan hampir selalu perlu mengeditnya. Meme it Kami telah membuat dan terus melakukan upaya besar untuk membuat output seperti siap-ke-go mungkin, tetapi ada batasan. Seringkali, informasi yang diperlukan tidak tersedia dari metadata sumber.
Masalah fundamental adalah bahwa kita meminta program komputer (Login) untuk melakukan tugas di mana, jika Anda memberikan tugas yang sama untuk 100 orang, Anda akan mendapatkan 100 hasil yang berbeda. Tidak ada jawaban "benar" tunggal. Jelas, program datang paling dekat untuk membaca pikiran Bob (Login) tetapi bahkan demikian, itu bukan program AI yang tahan lama, hanya sekelompok heuristik yang dicukur bersama-sama untuk melakukan tugas seperti AI. (Hari program AI all-understanding mungkin datang, tapi belum. Jika/ketika itu, kita manusia mungkin memiliki masalah yang lebih besar. Berhati-hatilah apa yang Anda inginkan.)
-
Untuk tujuan informasi, output menunjukkan sumber globalAttributes dan sumber variabelAttributes sebagai komentar.ERDDAP™menggabungkan sumberAttributes danaddAttributes (yang telah sebelumnya) untuk membuat gabungan Atribut yang ditunjukkan kepada pengguna. (Dan atribut lain secara otomatis ditambahkan ke longitude, latitude, ketinggian, kedalaman, dan variabel waktu ketikaERDDAP™sebenarnya membuat dataset) Sitemap
-
Jika Anda tidak menyukai sumberAttribute, menuliskannya dengan menambahkan addAttribute dengan nama yang sama tetapi nilai yang berbeda (atau tidak ada nilai, jika Anda ingin menghapusnya Meme it) Sitemap
-
SitemapaddAttributesadalah saran yang dihasilkan komputer. Login Jika Anda tidak menyukai addAttribute, mengubahnya.
-
Jika Anda ingin menambahkan lainnyaaddAttributesPromo
-
Jika Anda ingin mengubahdestinationName, mengubahnya. Tapi tidak berubahsourceNameSitemap
-
Anda dapat mengubah urutandataVariableatau menghapus salah satu dari mereka. Meme it
- Anda kemudian dapat menggunakanLogin (Sitemap) untuk berulang kali menguji XML untuk dataset itu untuk memastikan bahwa dataset yang dihasilkan muncul saat Anda inginERDDAPSitemap
- Jangan ragu untuk membuat perubahan kecil kedatasets.xmlchunk yang dihasilkan, misalnya, menyediakan lebih baikinfoUrl, ringkasan, atau judul.
Sitemap
Jika Anda menyertakan \-doNotAddStandardNames sebagai parameter baris perintah ketika Anda menjalankan menghasilkan Login Xml, menghasilkan Login Xml tidak akan menambahstandard\_nameLoginaddAttributesuntuk variabel apa pun selain variabel bernama latitude, longitude, ketinggian, kedalaman atau waktu (yang sudah jelasstandard\_nameLogin) Sitemap Ini dapat berguna jika Anda menggunakan output dari menghasilkan Login LoginERDDAP™tanpa mengedit output, karena menghasilkan Login Xml sering menebakstandard\_nameSitemap (Perhatikan bahwa kita selalu merekomendasikan bahwa Anda mengedit output sebelum menggunakannyaERDDAPSitemap) Menggunakan parameter ini akan memiliki efek terkait kecil lainnya karena ditebakstandard\_namesering digunakan untuk tujuan lain, misalnya, untuk membuat barulong\_name, dan untuk membuat pengaturan warnaBar.
Login
Sebagai alternatif untuk menjawab pertanyaan secara interaktif di keyboard dan pengulangan untuk menghasilkan set data tambahan, Anda dapat menyediakan argumen baris perintah untuk menjawab semua pertanyaan untuk menghasilkan satu set data. Login Xml akan memproses parameter tersebut, tulis output ke file output, dan keluar program.
Untuk mengatur program ini, pertama kali menggunakan program dalam mode interaktif dan menulis jawaban Anda. Berikut ini contoh parsial: Katakanlah Anda menjalankan script: ./GenerateDatasetsXml.sh Kemudian masukkan: EDDTableDariAsciiFiles Kemudian masukkan: /u00/data/ Kemudian masukkan: .\.asc Kemudian masukkan: /u00/data/sampleFile.asc Kemudian masukkan: ISO-8859-1
Untuk menjalankan ini dengan cara non-interaktif, gunakan baris perintah ini: ./GenerateDatasetsXml.sh EDDTableDariAsciiFiles /u00/data/.\*\.asc /u00/data/sampleFile.asc ISO859-8-1 Jadi pada dasarnya, Anda hanya daftar semua jawaban di baris perintah. Ini harus berguna untuk dataset yang sering berubah sedemikian rupa sehingga mengharuskan kembali Hasil Dataset Login (SitemapEDDGridSitemap) Sitemap
Sitemap
- Jika parameter mengandung ruang atau beberapa karakter khusus, kemudian mengkodekan parameter sebagaistring gaya JSON, e.g., parameter saya dengan ruang dan dua\nLogin
- Jika Anda ingin menentukan string kosong sebagai parameter, gunakan: tidak ada
- Jika Anda ingin menentukan nilai default dari parameter, gunakan: default
- Login Xml mendukung a -i Login Login Sitemap Login parameter baris perintah yang memasukkan output ke dalam yang ditentukandatasets.xmlLogin (default adalah Login Logindatasets.xml) Sitemap Login Xml mencari dua baris dalam dataset Login
<!-- Begin GenerateDatasetsXml #*tagName someDatetime* -->
Login
<!-- End GenerateDatasetsXml #*tagName someDatetime* -->
dan mengganti segala sesuatu di antara garis-garis dengan konten baru, dan mengubah waktu tertentu.
- Sakelar -i hanya diproses (dan perubahandatasets.xmlhanya dibuat) jika Anda menjalankan GenerateDatasets Xml dengan argumen baris perintah yang menentukan semua jawaban untuk semua pertanyaan untuk satu loop program. (Lihat 'Scripting' di atas.) (Pemikiran adalah: Parameter ini digunakan dengan skrip. Jika Anda menggunakan program dalam mode interaktif (mengetik info di keyboard) Anda mungkin untuk menghasilkan beberapa chunks yang salah dari XML sebelum Anda menghasilkan yang Anda inginkan.)
- Jika garis awal dan akhir tidak ditemukan, maka garis-garis dan konten baru dimasukkan tepat sebelum<Login
- Ada juga -I (modal i) beralih untuk tujuan pengujian yang bekerja sama seperti -i, tetapi membuat file yang disebutdatasets.xml Sitemap dan tidak membuat perubahandatasets.xmlSitemap
- Jangan menjalankan GenerateDatasets Xml dengan -i dalam dua proses sekaligus. Ada kesempatan hanya satu set perubahan akan disimpan. Mungkin ada masalah serius (misalnya, file rusak) Sitemap
Jika Anda menggunakan "GenerateDatasetsXml -verbose", itu akan mencetak pesan diagnostik lebih dari biasanya.
Jenis Dataset Khusus/Pseudo
Secara umum, opsi EDDType di GenerateDatasets Xml cocok dari jenis EDD yang dijelaskan dalam dokumen ini (LoginDaftar Jenis Dataset) dan menghasilkan satudatasets.xmlchunk untuk membuat satu dataset dari satu sumber data tertentu. Ada beberapa pengecualian dan kasus khusus:
EDDGridLogin
EDDType ini menghasilkan semuadatasets.xmlchunks diperlukan untuk membuatEDDGridLogindataset dari semuaEDDGriddataset di remoteERDDAPSitemap Anda akan memiliki pilihan untuk menjaga aslinyadatasetIDLogin (yang mungkin duplikat beberapa Meme itdatasetIDs sudah diERDDAP) atau menghasilkan nama baru yang akan unik (tetapi biasanya tidak dibaca manusia Meme it) Sitemap
Login
EDDType ini menghasilkan semuadatasets.xmlchunks diperlukan untuk membuatLogindataset dari semua dataset EDDTable di remoteERDDAPSitemap Anda akan memiliki pilihan untuk menjaga aslinyadatasetIDLogin (yang mungkin duplikat beberapa Meme itdatasetIDs sudah diERDDAP) atau menghasilkan nama baru yang akan unik (tetapi biasanya tidak dibaca manusia Meme it) Sitemap
EDDGridSitemap
EDDType ini menghasilkan semuadatasets.xmlchunks diperlukan untuk semua Meme itEDDGridLogindataset yang dapat ditemukan dengan merangkai berulang melalui THREDDS (Sitemap) Katalog Ada banyak bentuk URL katalog THREDDS. Opsi ini REQUIRES URL THREDDS .xml dengan /katalog / di dalamnya, misalnya,
https://oceanwatch.pfeg.noaa.gov/thredds/catalog/catalog.xml Sitemap
https://oceanwatch.pfeg.noaa.gov/thredds/catalog/Satellite/aggregsatMH/chla/catalog.xml
Katalog .html
https://oceanwatch.pfeg.noaa.gov/thredds/Satellite/aggregsatMH/chla/catalog.html , yang tidak dapat diterimaEDDGridSitemap
Jika Anda memiliki masalah denganEDDGridSitemap Katalog
- Pastikan URL yang Anda gunakan adalah valid, termasuk / katalog / dan berakhir dengan /katalog.xml .
- Jika memungkinkan, gunakan alamat IP publik (Sitemap https://oceanwatch.pfeg.noaa.gov ) di URL, bukan alamat IP numerik lokal (Sitemap https://12.34.56.78 ) Sitemap Jika THREDDS hanya dapat diakses melalui alamat IP numerik lokal, Anda dapat menggunakan [<Login (Login) SitemapERDDAP™pengguna melihat alamat publik, meskipun Meme itERDDAP™mendapatkan data dari alamat numerik lokal.
- Jika Anda memiliki masalah yang tidak dapat Anda selesaikan,periksa tips pemecahan masalahSitemap
- Kode tingkat rendah untuk ini sekarang menggunakanUnidatanetcdf-java katalog kode crawler (Login Katalog) sehingga dapat menangani semua katalog THREDDS (yang bisa sangat kompleks) SitemapUnidatauntuk kode itu.
EDDGridLonPM180DariErddapKatalog
EDDType ini menghasilkandatasets.xmlSitemapEDDGridLonPM180dataset dari semuaEDDGriddataset dalam sebuahERDDAPyang memiliki nilai longitude lebih dari 180.
- Jika memungkinkan, gunakan alamat IP publik (Sitemap https://oceanwatch.pfeg.noaa.gov ) di URL, bukan alamat IP numerik lokal (Sitemap https://12.34.56.78 ) Sitemap SitemapERDDAP™hanya dapat diakses melalui alamat IP numerik lokal, Anda dapat menggunakan [<Login (Login) SitemapERDDAP™pengguna melihat alamat publik, meskipun Meme itERDDAP™mendapatkan data dari alamat numerik lokal.
EDDGridDatasheet PDF
EDDType ini menghasilkandatasets.xmlSitemapEDDGridLon0360dataset dari semuaEDDGriddataset dalam sebuahERDDAPyang memiliki nilai longitude kurang dari 0.
- Jika memungkinkan, gunakan alamat IP publik (Sitemap https://oceanwatch.pfeg.noaa.gov ) di URL, bukan alamat IP numerik lokal (Sitemap https://12.34.56.78 ) Sitemap SitemapERDDAP™hanya dapat diakses melalui alamat IP numerik lokal, Anda dapat menggunakan [<Login (Login) SitemapERDDAP™pengguna melihat alamat publik, meskipun Meme itERDDAP™mendapatkan data dari alamat numerik lokal.
Login
Mengingat direktori awal, melintasi direktori ini dan semua subdirectories dan mencoba untuk membuat dataset untuk setiap kelompok file data yang ditemukan.
- Ini menganggap bahwa ketika dataset ditemukan, dataset mencakup semua subdirectories.
- Jika dataset ditemukan, direktori sibling serupa akan diperlakukan sebagai set data terpisah (misalnya, direktori untuk 1990-an, 2000-an, 2010 akan menghasilkan dataset terpisah) Sitemap Mereka harus mudah digabungkan dengan tangan - hanya mengubah dataset pertama<fileDir> ke direktori induk dan menghapus semua dataset saudara berikutnya.
- Ini hanya akan mencoba untuk menghasilkan potongandatasets.xmluntuk jenis ekstensi file yang paling umum di direktori (tidak menghitung .md5, yang diabaikan) Sitemap Jadi, berikan direktori dengan 10.ncfile dan file 5 .txt, dataset akan dihasilkan untuk.ncfile saja.
- Ini menganggap bahwa semua file dalam sebuah direktori dengan ekstensi yang sama milik dataset yang sama. Jika sebuah direktori memiliki beberapa.ncfile dengan data SST dan beberapa.ncfile dengan data klorofil, hanya satu sampel.ncfile akan dibaca (Login klorofil?) dan hanya satu dataset akan dibuat untuk jenis file. Dataset itu mungkin akan gagal untuk memuat karena komplikasi dari mencoba memuat dua jenis file ke dataset yang sama.
- Jika ada lebih dari 4 file dengan ekstensi yang paling umum di direktori, ini menganggap bahwa mereka tidak file data dan hanya melewatkan direktori.
- Jika ada 4 atau lebih file di direktori, tetapi ini tidak dapat berhasil menghasilkan potongandatasets.xmluntuk file (misalnya, jenis file yang tidak didukung) , ini akan menghasilkanLogindataset untuk file.
- Pada akhir diagnostik yang menulis ini ke file log, hanya sebelumdatasets.xmlchunks, ini akan mencetak tabel dengan ringkasan informasi yang dikumpulkan dengan menelusuri semua subdirectories. Tabel akan mencantumkan setiap subdirectory dan menunjukkan jenis ekstensi file yang paling umum, jumlah total file, dan jenis dataset yang dibuat untuk file ini (Sitemap) Sitemap Jika Anda dihadapkan dengan struktur file bersarang yang kompleks, mempertimbangkan menjalankan GenerateDatasets Xml dengan EDDType=EDDsDariFiles hanya untuk menghasilkan informasi ini,
- Pilihan ini mungkin tidak melakukan pekerjaan yang bagus untuk menebak EDDType terbaik untuk kelompok file data tertentu, tetapi cepat, mudah, dan layak mencoba. Jika file sumber cocok, itu bekerja dengan baik dan merupakan langkah pertama yang baik dalam menghasilkandatasets.xmluntuk sistem file dengan banyak subdirectories, masing-masing dengan file data dari set data yang berbeda.
EDDTableDariEML dan EDDTableDariEMLBatch
EDDType khusus ini menghasilkandatasets.xmluntuk membuatLogindataset dari setiap tabel yang dijelaskan dalamBahasa Metadata EkologiXML API Varietas "Batch" bekerja pada semua file EML di direktori lokal atau jarak jauh. Silahkan lihat terpisahdokumentasi untuk EDDTableDariEMLSitemap
Login
EDDType khusus ini menghasilkandatasets.xmluntuk membuatLogindataset dari informasi dalamLoginLogin Jika Anda dapat mendapatkan akses ke file data sumber (file inport-xml harus memiliki clues untuk di mana untuk menemukannya) Anda dapat membuat dataset kerja diERDDAPSitemap
Langkah-langkah berikut menguraikan cara menggunakan GenerateDatasets Xml dengan file inport-xml untuk mendapatkan dataset kerjaERDDAPSitemap
- Setelah Anda memiliki akses ke file inport-xml (baik sebagai URL atau file lokal) : menjalankan GenerateDataset Xml, tentukan EDDType=EDDTableDariInPort, tentukan URL inport-xml atau nama file penuh, tentukan yangChild=0, dan tentukan informasi yang diminta lainnya (Sitemap) Sitemap (Pada titik ini, Anda tidak perlu memiliki file data sumber atau menentukan namanya.) YangChild=0 pengaturan memberitahu GenerateDatasets Xml untuk menulis informasi untuk Sitemap Sitemap<informasi entitas><inport-xml file (jika ada) Sitemap Ini juga mencetak ringkasan informasi Latar Belakang, termasuk semua unduh-url yang tercantum dalam file inport-xml.
- Lihat semua informasi (termasuk informasi Latar Belakang yang Hasil Dataset Login) Login (Login) untuk mencoba untuk menemukan file data sumber (Login) Sitemap Jika Anda dapat menemukannya (Login) Unduh (Login) ke dalam sebuah direktori yang dapat diaksesERDDAPSitemap (Jika Anda tidak dapat menemukan file data sumber, tidak ada titik dalam proses.)
- Login Login Login Jika file data sumber sesuai dengan salah satu file inport-xml<informasi entitas><entitas>, tentukan yangChild= Login (g., 1, 2, 3, ...) SitemapERDDAP™akan mencoba untuk mencocokkan nama kolom dalam file data sumber untuk nama dalam informasi entitas, dan meminta untuk menerima/metikkan/memperbaiki perbedaan. Atau, jika file inport-xml tidak memiliki<informasi entitas><entitas>, tentukan yangChild=0.
- Di chunk daridatasets.xmlyang dibuat oleh GenerateDataset Xml, revisi [global]<addAttributesSitemap (Sitemap) sesuai kebutuhan/dikat.
- Di chunk daridatasets.xmlyang dibuat oleh GenerateDatasetsXml, tambahkan/lihat [<dataVariableSitemap (Login) informasi yang diperlukan/teruskan untuk menggambarkan setiap variabel. Pastikan Anda mengidentifikasi setiap variabel Sitemap<sourceNameSitemap (Login) (seperti itu muncul dalam sumber) Login Sitemap<destinationNameSitemap (Login) (yang memiliki lebih banyak keterbatasan pada karakter yang diizinkan daripada Meme itsourceName) Login Sitemap<Sitemap (Login) (terutama jika itu adalahwaktu atau variabel kalitampdi mana unit harus menentukan format) Sitemap Sitemap<missing\_valueSitemap (Sitemap) Login
- Ketika Anda dekat dengan finishing, berulang kali menggunakanLoginalat untuk cepat melihat apakah deskripsi dataset valid dan jika dataset akan munculERDDAP™seperti yang Anda inginkan. Meme it
Ini akan bagus jika kelompok menggunakan InPort untuk mendokumentasikan dataset mereka juga akan digunakanERDDAP™untuk membuat data aktual yang tersedia:
- ERDDAP™adalah solusi yang dapat digunakan sekarang sehingga Anda dapat memenuhiNOAASitemapAkses Umum untuk Hasil Penelitian (Login) Sitemapsekarang, bukan pada beberapa waktu vague di masa depan.
- ERDDAP™membuat data aktual yang tersedia untuk pengguna, bukan hanya metadata. (Apa yang bagus adalah metadata tanpa data?)
- ERDDAP™mendukung metadata (tidak dapat, unit variabel) Tidak seperti beberapa perangkat lunak server data lain yang dipertimbangkan. (Apa yang bagus adalah data tanpa metadata?) Untuk menggunakan perangkat lunak yang tidak mendukung metadata adalah untuk mengundang data yang rusak dan disalahgunakan.
- ERDDAP™gratis dan perangkat lunak open-source tidak seperti beberapa perangkat lunak lain yang dipertimbangkan. Pengembangan yang sedang berlangsungERDDAP™sudah dibayar. SitemapERDDAP™pengguna gratis.
- ERDDAP's penampilan dapat dengan mudah disesuaikan untuk mencerminkan dan menyoroti grup Anda (LoginERDSitemapERDDAP) Sitemap
- ERDDAP™menawarkan cara yang konsisten untuk mengakses semua dataset.
- ERDDAP™dapat membaca data dari berbagai jenis file data dan dari database terkait.
- ERDDAP™dapat menangani dataset besar, termasuk dataset di mana data sumber berada dalam banyak file data.
- ERDDAP™dapat menulis data ke berbagai jenis file data, atas permintaan pengguna, termasuk jenis file data ilmiah seperti netCDF, ESRI .csv, danODV .txtSitemap
- ERDDAP™dapat membuat grafik dan peta kustom dari subset data, berdasarkan spesifikasi pengguna.
- ERDDAP™dapat menangani dataset non-data seperti koleksi gambar, video, atau file audio.
- ERDDAP™telah diinstal dan digunakan di Meme itlebih dari 60 institusi di seluruh duniaSitemap
- ERDDAP™terdaftar sebagai salah satu server data yang disarankan untuk digunakan dalamNOAASitemapNOAAAkses Data Procedural DirectiveTidak seperti beberapa perangkat lunak lain yang dipertimbangkan.
- ERDDAP™adalah produkNMFSSitemapNOAAsehingga menggunakannya dalamNMFSLoginNOAAharus menjadi titik kebanggaan untuk Meme itNMFSLoginNOAASitemap
SitemapERDDAP™coba. Jika Anda memerlukan bantuan, silakan kirim pesan di Meme itERDDAP™Sitemap
Login
Opsi EDDType khusus ini bukan jenis dataset. Ini adalah alat yang dapat menambahkan atribut \_FillValue ke beberapa variabel dalam beberapa set data. SitemapLoginSitemap
Login Sitemap
Opsi EDDType khusus ini bukan jenis dataset. Sebagai gantinya, ceritakan GenerateDatasets Xml untuk mencari melalui koleksi gridded.nc (dan terkait) file untuk menemukan dan mencetak daftar file dengan nilai waktu duplikat. Ketika melihat nilai waktu, itu mengubahnya dari unit asli ke"seconds since 1970-01-01"jika file yang berbeda menggunakan string unit yang berbeda. Anda perlu menyediakan direktori awal (dengan atau tanpa slash trailing) Nama file ekspresi reguler (.g., .\\.nc ) , dan nama variabel waktu dalam file.
Login
Opsi EDDType khusus ini bukan jenis dataset. Sebagai gantinya, ceritakan GenerateDatasets Xml untuk mencetakLogin\-seperti cetak dari.ncLogin.ncg.hdfLogin Ini sebenarnya menggunakan netcdf-javaLogin, yang merupakan alat yang lebih terbatas daripada versi C NCdump. Jika Anda menggunakan opsi ini, GenerateDatasetsXml akan meminta Anda untuk menggunakan salah satu opsi: "-h" (Login) "-c" (Sitemap) "-vall" (Login) "-v var1;var2", "-v var1 (0 Artikel - 0,00 €) Sitemap Ini berguna karena, tanpa ncdump itu sulit untuk tahu apa yang ada dalam.ncLogin.ncg.hdffile dan dengan demikian EDDType Anda harus menentukan untuk GenerateDataset Login Sitemap.ncfile ml, ini akan mencetak output ncdump untuk hasil.ncperubahan file g.ncSitemap.hdfLogin
Login
- Login adalah program baris perintah yang dapat Anda gunakan setelah Anda telah membuat upaya pertama di XML untuk dataset baru didatasets.xmlSitemap Dengan DasDds, Anda dapat berulang kali menguji dan memperbaiki XML. Ketika Anda menggunakan program DasDds:
- Pada Windows, pertama kalinya Anda menjalankan DasDds, Anda perlu mengedit DasDds. bat file dengan editor teks untuk mengubah jalan ke java. exe file sehingga Windows dapat menemukanJavaSitemap
- DasDds meminta Anda untuk Meme itdatasetIDuntuk dataset yang Anda kerjakan.
- DasDds mencoba untuk membuat dataset dengan itudatasetIDSitemap
- DasDds selalu mencetak banyak pesan diagnostik. Jika Anda menggunakan "DasDds -verbose", DasDds akan mencetak pesan diagnostik lebih dari biasanya.
- Untuk keamanan, DasDds selalu menghapus semua informasi dataset yang tersimpan (Login) untuk dataset sebelum mencoba untuk membuat dataset. Ini adalah setara dengan pengaturanbendera kerasJadi untuk dataset agregat, Anda mungkin ingin menyesuaikan fileNameRegex sementara untuk membatasi jumlah file konstruktor data menemukan.
- Jika dataset gagal dimuat (untuk alasan apa pun) DasDds akan berhenti dan menunjukkan pesan kesalahan untuk kesalahan pertama yang ditemukan.
Jangan mencoba untuk menebak apa masalah yang mungkin. Baca pesan ERROR dengan hati-hati.
Jika perlu, baca pesan diagnostik preceding untuk menemukan lebih banyak petunjuk dan informasi, juga. - Membuat perubahan ke XML dataset untuk mencoba memecahkan masalah yang
dan biarkan DasDds mencoba untuk membuat dataset lagi. - Jika Anda berulang kali memecahkan setiap masalah, Anda akhirnya akan memecahkan semua masalah
dan dataset akan dimuat.
- Semua output DasDds (diagnostik dan hasil) ditulis ke layar dan untuk Login /logs/DasDds.log
- Jika DasDds dapat membuat dataset, DasDds kemudian akan menunjukkan AndaLogin (Struktur Atribut Dataset) LoginLogin (Database Struktur) SitemapLogin (Sitemap) informasi untuk dataset di layar Anda dan menulis mereka untuk Login Login
- Seringkali, Anda ingin membuat beberapa perubahan kecil ke XML dataset untuk membersihkan metadata dataset dan DasDds.
Login Alat Pihak Ketiga:ERDDAPLogin
ERDDAP-lint adalah program dari Rob Fuller dan Adam Leadbetter dari Institut Laut Irlandia yang dapat Anda gunakan untuk meningkatkan metadata dari AndaERDDAP™LoginERDDAP-lint "mendapatkan aturan dan aplikasi web statis sederhana untuk menjalankan beberapa tes verifikasi terhadap AndaERDDAP™Login Semua tes berjalan di browser web." SitemapUnix/Linux lint tool, Anda dapat mengedit aturan yang ada atau menambahkan aturan baru. SitemapERDDAPLoginInformasi lebih lanjut
Alat ini sangat berguna untuk dataset yang Anda buat beberapa waktu yang lalu dan sekarang ingin membawa up-to-date dengan preferensi metadata saat ini. Contohnya, versi awal GenerateDatasets Xml tidak memberikan upaya untuk menciptakan globalcreator\_nameLogincreator\_email, pencipta\_type, ataucreator\_urlLogin Anda bisa menggunakanERDDAP-lint untuk mengidentifikasi dataset yang tidak memiliki atribut metadata.
Berkat Rob dan Adam untuk membuat alat ini dan membuatnya tersedia untukERDDAP™Sitemap
Struktur Dasardatasets.xmlLogin
Tag yang diperlukan dan opsional diperbolehkan dalamdatasets.xmlLogin (dan jumlah kali mereka mungkin muncul Meme it) ditampilkan di bawah ini. Praktikumdatasets.xmlakan memiliki banyak<Tag dataset> dan hanya menggunakan tag lain dalam<Sitemap
<?xml version="1.0" encoding="ISO-8859-1" ?>
<erddapDatasets>
<angularDegreeUnits>...</angularDegreeUnits> <!-- 0 or 1 -->
<angularDegreeTrueUnits>...</angularDegreeTrueUnits> <!-- 0 or 1 -->
<cacheMinutes>...</cacheMinutes> <!-- 0 or 1 -->
<commonStandardNames>...</commonStandardNames> <!-- 0 or 1 -->
<convertInterpolateRequestCSVExample /> <!-- 0 or more -->
<convertInterpolateDatasetIDVariableList /> <!-- 0 or more -->
<convertToPublicSourceUrl /> <!-- 0 or more -->
<decompressedCacheMaxGB>...</decompressedCacheMaxGB> <!-- 0 or 1 -->
<decompressedCacheMaxMinutesOld>...</decompressedCacheMaxMinutesOld> <!-- 0 or 1 -->
<drawLandMask>...</drawLandMask> <!-- 0 or 1 -->
<emailDiagnosticsToErdData>...</emailDiagnosticsToErdData> <!-- 0 or 1 -->
<graphBackgroundColor>...</graphBackgroundColor> <!-- 0 or 1 -->
<ipAddressMaxRequests>...</ipAddressMaxRequests> <!-- 0 or 1 -->
<ipAddressMaxRequestsActive>...<ipAddressMaxRequestsActive> <!-- 0 or 1 -->
<ipAddressUnlimited>...<ipAddressUnlimited> <!-- 0 or 1 -->
<loadDatasetsMinMinutes>...</loadDatasetsMinMinutes> <!-- 0 or 1 -->
<loadDatasetsMaxMinutes>...</loadDatasetsMaxMinutes> <!-- 0 or 1 -->
<logLevel>...</logLevel> <!-- 0 or 1 -->
<nGridThreads>...</nGridThreads> <!-- 0 or 1 -->
<nTableThreads>...</nTableThreads> <!-- 0 or 1 -->
<palettes>...</palettes> <!-- 0 or 1 -->
<partialRequestMaxBytes>...</partialRequestMaxBytes> <!-- 0 or 1 -->
<partialRequestMaxCells>...</partialRequestMaxCells> <!-- 0 or 1 -->
<requestBlacklist>...</requestBlacklist> <!-- 0 or 1 -->
<slowDownTroubleMillis>...</slowDownTroubleMillis> <!-- 0 or 1 -->
<subscriptionEmailBlacklist>...</subscriptionEmailBlacklist> <!-- 0 or 1 -->
<unusualActivity>...</unusualActivity> <!-- 0 or 1 -->
<updateMaxEvents>...</updateMaxEvents> <!-- 0 or 1 --><standardLicense>...</standardLicense> <!-- 0 or 1 -->
<standardContact>...</standardContact> <!-- 0 or 1 -->
<standardDataLicenses>...</standardDataLicenses> <!-- 0 or 1 -->
<standardDisclaimerOfEndorsement>...</standardDisclaimerOfEndorsement> <!-- 0 or 1 -->
<standardDisclaimerOfExternalLinks>...</standardDisclaimerOfExternalLinks> <!-- 0 or 1 -->
<standardGeneralDisclaimer>...</standardGeneralDisclaimer> <!-- 0 or 1 -->
<standardPrivacyPolicy>...</standardPrivacyPolicy> <!-- 0 or 1 -->
<startHeadHtml5>...</startHeadHtml5> <!-- 0 or 1 -->
<startBodyHtml5>...</startBodyHtml5> <!-- 0 or 1 -->
<theShortDescriptionHtml>...</theShortDescriptionHtml> <!-- 0 or 1 -->
<endBodyHtml5>...</endBodyHtml5> <!-- 0 or 1 --><user username="..." password="..." roles="..." /> <!-- 0 or more -->
<dataset>...</dataset> <!-- 1 or more -->
</erddapDatasets>
Hal ini dimungkinkan bahwa pengkodean lain akan diizinkan di masa depan, tetapi untuk sekarang, hanya ISO-8859-1 dianjurkan.
Login
Baru dalam versi 2.25 dukungan untuk XInclude. Ini mengharuskan Anda menggunakan parser SAX<Sitemap</useSaxParser> di setup Anda.xml. Ini dapat memungkinkan Anda untuk menulis setiap dataset dalam filenya sendiri, kemudian memasukkannya ke dalamdatasets.xml, penggunaan ulang bagian dari definisi dataset, atau keduanya. Jika Anda ingin melihat contoh,LoginMengatur definisi variabel XInclude to reuse.
- Sitemap
Login
Bekerja dengandatasets.xmlfile adalah proyek non-trivial. Harap baca semua catatan ini dengan hati-hati. Setelah Anda memilihJenis datasetsilahkan membaca deskripsi rinci tentang hal itu dengan hati-hati.
Memilih Jenis Dataset
Dalam kebanyakan kasus, hanya ada satuERDDAP™jenis dataset yang sesuai untuk sumber data yang diberikan. Dalam beberapa kasus (Login.ncLogin) , ada beberapa kemungkinan, tetapi biasanya salah satu dari mereka pasti terbaik. Keputusan pertama dan terbesar yang harus Anda buat adalah: sangat tepat untuk mengobati dataset sebagai kelompok array multidimensi (jika melihat Meme itEDDGridjenis dataset) atau sebagai tabel data seperti database (jika melihat Meme itJenis dataset EDDTable) Sitemap
Melayani Data
Biasanya, tidak perlu memodifikasi sumber data (misalnya, mengkonversi file ke beberapa jenis file lain) SitemapERDDAP™bisa melayaninya. Salah satu asumsiERDDAP™adalah bahwa sumber data akan digunakan sebagai. Meme it Biasanya karya ini baik. Beberapa pengecualian adalah:
- Database LoginERDDAP™dapat melayani data langsung dari database dan Cassandra. Tetapi untuk keamanan, balancing beban, dan masalah kinerja, Anda dapat memilih untuk mengatur database lain dengan data yang sama atau menyimpan data keNetCDFg.ncfile dan memilikiERDDAP™melayani data dari sumber data baru. SitemapLoginLoginLoginSitemap
- Tidak Didukung Sumber Data --ERDDAP™dapat mendukung sejumlah besar jenis sumber data, tetapi dunia diisi dengan 1000 (Sitemap) sumber data yang berbeda (tidak dapat, struktur file data) Sitemap SitemapERDDAP™tidak mendukung sumber data Anda:
- Jika sumber dataNetCDF .ncfile, Anda dapat menggunakanLoginuntuk memodifikasi file data on-the-fly, atau menggunakanNCOuntuk mengubah file data secara permanen.
- Anda dapat menulis data ke jenis sumber data yang Meme itERDDAP™LoginNetCDFLogin.ncfile adalah rekomendasi umum yang baik karena mereka adalah file biner yangERDDAP™bisa membaca dengan sangat cepat. Untuk data tabular, pertimbangkan menyimpan data dalam koleksi.ncfile yang menggunakanLogin Sitemap (Login) Struktur data Array yang berkelanjutan dan dapat ditangani denganERDDAPSitemapSitemapSitemap Jika mereka diatur secara logis (setiap data untuk chunk ruang dan waktu) LoginERDDAP™dapat mengekstrak data dari mereka dengan sangat cepat.
- Anda dapat meminta dukungan untuk sumber data yang ditambahkanERDDAP™WordPress.org John di noaaa.gov.
- Anda dapat menambahkan dukungan untuk sumber data itu dengan menulis kode untuk menanganinya sendiri. SitemapLoginERDDAP™Panduan Programmer
- Kecepatan -ERDDAP™dapat membaca data dari beberapa sumber data jauh lebih cepat daripada yang lain. Sebagai contoh, membacaNetCDFg.ncfile cepat dan membaca file ASCII lebih lambat. Dan jika ada yang besar (Sitemap) atau besar (Sitemap) jumlah file data sumber,ERDDAP™akan menanggapi beberapa permintaan data secara perlahan. Biasanya, perbedaan tidak terlihat pada manusia. Namun, jika Anda berpikirERDDAP™lambat untuk dataset tertentu, Anda dapat memilih untuk memecahkan masalah dengan menulis data ke setup yang lebih efisien (biasanya: beberapa, terstruktur dengan baik,NetCDFg.ncLogin) Sitemap Untuk data tabular, lihatsaran iniSitemap
Login
Hal ini sering lebih mudah untuk menghasilkan XML untuk dataset dengan membuat salinan deskripsi dataset kerja di dataset.xml dan kemudian memodifikasinya.
Mengkodekan Karakter Khusus
Sitemapdatasets.xmladalah file XML, Anda MUSTLogin"&", "<"&", "<", dan ">". Login<Login Sitemap<Sitemap Sitemap<Login Waktu & Tides<Sitemap
XML tidak mentolerir kesalahan sintaks
Setelah Anda mengedit file dataset.xml, itu adalah ide yang baik untuk memverifikasi bahwa hasilnyaXML APIdengan menelusuri teks XML ke dalam pemeriksa XML sepertiLoginSitemap
Pemecahan Masalah Tips
- Cara Lain Untuk Mendiagnosis Masalah Dengan Dataset
Selain dua utamaLoginLogin - Loginadalah file log dengan semuaERDDAPPesan diagnostik.
- LoginLaporan harianmemiliki informasi lebih dari halaman status, termasuk daftar dataset yang tidak memuat dan pengecualian (Login) mereka dihasilkan.
- LoginLoginadalah cara cepat untuk memeriksaERDDAPstatus dari browser web. Ini termasuk daftar dataset yang tidak memuat (meskipun tidak pengecualian terkait) Statistik (menunjukkan kemajuanEDDGridLoginLoginLoginLoginEDDGridLoginSitemapLogindataset yang digunakanLogin (tapi tidak cache Login) ) Sitemap
- Jika Anda terjebak, lihatbagian untuk mendapatkan dukungan tambahanSitemap
variabel khusus
- Garis bujur, lintang, ketinggian (atau kedalaman) Sitemap (Login) Login destinationNameSitemap
- Sitemap
- variabel LLAT dibuat diketahuiERDDAP™jika variabel sumbu (SitemapEDDGridLogin) atau variabel data (untuk dataset EDDTable) destinationName"longudo", "latitude", "altitude", "depth", atau"time"Sitemap
- Kami sangat mendorong Anda untuk menggunakan nama standar ini untuk variabel ini setiap saat mungkin. Tidak diperlukan. Jika Anda tidak menggunakan nama variabel khusus ini,ERDDAP™tidak akan mengenali makna mereka. Meme it Misalnya, variabel LLAT diperlakukan khusus dengan Membuat Grafik ( datasetID Login) : jika variabel X Axis adalah "longitude" dan variabel Y Axis adalah "latitude", Anda akan mendapatkan peta (menggunakan proyeksi standar, dan dengan masker tanah, batas politik, dll.) bukan grafik.
- ERDDAP™akan secara otomatis menambahkan banyak metadata ke variabel LLAT (misalnya, "ioos\_category", "Login", dan beberapa atribut terkait standar seperti "\_CoordinateAxisType") Sitemap
- ERDDAP™akan secara otomatis, on-the-fly, tambahkan banyak metadata global yang terkait dengan nilai LLAT dari subset data yang dipilih (misalnya, "geospatial\_lon\_min") Sitemap
- Klien yang mendukung standar metadata ini akan dapat memanfaatkan metadata tambahan untuk memposisikan data dalam waktu dan ruang.
- Klien akan menemukan lebih mudah untuk menghasilkan pertanyaan yang mencakup variabel LLAT karena nama variabel sama di semua dataset yang relevan.
- Untuk variabel "longitude" dan variabel "latitude":
- LogindestinationName"longudo" dan "latitude" hanya jikaLoginadalah derajat \east dan derajat \ utara, masing-masing. Jika data Anda tidak sesuai dengan persyaratan ini, gunakan nama variabel yang berbeda (misalnya, x, y, lonRadians, latRadians) Sitemap
- Jika Anda memiliki data longitude dan latitude yang dinyatakan dalam unit yang berbeda dan dengan demikiandestinationNames, misalnya, lonRadians dan latRadians, Membuat Grafik ( datasetID Login) akan membuat grafik (misalnya, seri waktu) bukan peta.
- Untuk variabel "altitude" dan variabel "depth":
- LogindestinationName"altitude" untuk mengidentifikasi jarak data di atas permukaan laut (nilai="up" positif) Sitemap Opsional, Anda dapat menggunakan "altitude" untuk jarak di bawah permukaan laut jika nilai negatif di bawah laut (atau jika Anda menggunakan, misalnya, Sitemap<nama att="scale\_factor" type="int">- 1 Artikel<Login (Sitemap) untuk mengubah nilai kedalaman menjadi nilai ketinggian.
- LogindestinationName"depth" untuk mengidentifikasi jarak data di bawah permukaan laut (nilai="down" positif) Sitemap
- Dataset mungkin tidak memiliki variabel "altitude" dan "depth".
- Untuk nama variabel ini,Loginharus "m", "meter", atau "meter". Jika unit berbeda (misalnya, fathoms) Anda dapat menggunakan Sitemap<nama att="scale\_factorSitemap Sitemap Login <Login (Sitemap) Sitemap<nama att="units">meters<Login (Login) untuk mengkonversi unit ke meter.
- Jika data Anda tidak sesuai dengan persyaratan ini, gunakandestinationName (misalnya, di atasGround, jarak Login) Sitemap
- Jika Anda tahu CRS vertikal, tentukan dalam metadata, misalnya, "EPSG:5829" (ketinggian instan di atas permukaan laut) "EPSG:5831" (kedalaman instan di bawah permukaan laut) , atau "EPSG:5703" (NAVD88 tinggi) Sitemap
- Sitemap"time"variabel:
- LogindestinationName "time"hanya untuk variabel yang mencakup seluruh tanggal + waktu (atau tanggal, jika itu semua ada Meme it) Sitemap Jika, misalnya, ada kolom terpisah untuk tanggal dan timeOfDay, jangan gunakan nama variabel"time"Sitemap
- SitemapLoginuntuk informasi lebih lanjut tentang atribut unit untuk variabel timeStamp.
- Variabel waktu dan terkaitSitemap variabel Stampunik dalam bahwa mereka selalu mengkonversi nilai data dari format waktu sumber (apa pun itu) menjadi nilai numerik (detik sejak 1970-01-01T00:00Z) atau nilai String (ISO9001,SGS,TUV (Login) Login) tergantung pada situasi.
- Ketika data waktu permintaan pengguna, mereka dapat memintanya dengan menentukan waktu sebagai nilai numerik (detik sejak 1970-01-01T00:00Z) atau nilai String (ISO9001,SGS,TUV (Login) Login) Sitemap
- ERDDAP™memiliki utilitas untukMengkonversi Numeric Waktu ke/dari Waktu StringSitemap
- SitemapSitemapERDDAPPenawaran dengan WaktuSitemap
Mengapa hanya dua struktur data dasar?
- Karena sulit bagi klien manusia dan klien komputer untuk menangani serangkaian struktur dataset yang kompleks,ERDDAP™menggunakan hanya dua struktur data dasar:
- Sitemapstruktur data gridded (misalnya, untuk data satelit dan data model) Login
- Sitemapstruktur data tabel (misalnya, untuk buoy in-situ, stasiun, dan data lintas) Sitemap
- Tentu saja, tidak semua data dapat diungkapkan dalam struktur ini, tetapi banyak dari itu bisa. Tabel, khususnya, adalah struktur data yang sangat fleksibel (melihat keberhasilan program database relasional) Sitemap
- Ini membuat kueri data lebih mudah dibangun.
- Ini membuat respon data memiliki struktur sederhana, yang memudahkan untuk melayani data dalam berbagai jenis file standar (yang sering hanya mendukung struktur data sederhana) Sitemap Ini adalah alasan utama yang kami set upERDDAP™cara ini.
- Ini, pada gilirannya, membuatnya sangat mudah bagi kami (atau siapa pun) untuk menulis perangkat lunak klien yang bekerja dengan semuaERDDAP™Login
- Ini memudahkan untuk membandingkan data dari berbagai sumber.
- Kami sangat menyadari bahwa jika Anda digunakan untuk bekerja dengan data dalam struktur data lain Anda mungkin awalnya berpikir bahwa pendekatan ini sederhana atau tidak mencukupi. Tetapi semua struktur data memiliki tradeoffs. Tidak sempurna. Bahkan struktur do-it-all memiliki kelemahan mereka: bekerja dengan mereka kompleks dan file hanya dapat ditulis atau membaca dengan perpustakaan perangkat lunak khusus. Jika Anda menerimaERDDAP's pendekatan cukup untuk mencoba bekerja dengan itu, Anda mungkin menemukan bahwa ia memiliki kelebihannya (sangat dukungan untuk beberapa jenis file yang dapat menahan respons data) Sitemap LoginERDDAP™slide menunjukkan (Sitemapstruktur data slide) berbicara banyak tentang masalah ini. Meme it
- Dan bahkan jika pendekatan ini terdengar aneh bagi Anda, sebagian besarERDDAP™klien tidak akan pernah memperhatikan - mereka hanya akan melihat bahwa semua dataset memiliki struktur sederhana yang bagus dan mereka akan bersyukur bahwa mereka dapat mendapatkan data dari berbagai sumber yang dikembalikan dalam berbagai format file.
Login
- Bagaimana jika variabel grid dalam dataset sumber DON'T berbagi variabel sumbu yang sama?
SitemapEDDGriddataset, semua variabel data penggunaan MUST (Login) semua variabel sumbu. Jadi jika dataset sumber memiliki beberapa variabel dengan satu set dimensi, dan variabel lainnya dengan set dimensi yang berbeda, Anda harus membuat dua set data dalamERDDAPSitemap Misalnya, Anda mungkin membuat satuERDDAP™dataset berjudul "Some Judul (di permukaan) " untuk menahan variabel yang hanya digunakan\[Sitemap\]\[Login\]\[Login\]dimensi dan membuat dimensi lainERDDAP™dataset berjudul "Some Judul (di kedalaman) " untuk menahan variabel yang digunakan\[Sitemap\]\[Login\]\[Login\]\[Login\]Sitemap Atau mungkin Anda dapat mengubah sumber data untuk menambahkan dimensi dengan nilai tunggal (misalnya, ketinggian=0) untuk membuat variabel konsisten.
ERDDAP™tidak menangani set data yang lebih rumit (misalnya, model yang menggunakan jala segitiga) Sitemap Anda dapat melayani dataset iniERDDAP™dengan membuat dua atau lebih dataset dalamERDDAP™ (sehingga semua variabel data di setiap dataset baru berbagi set variabel sumbu yang sama) tapi itu bukan apa yang diinginkan pengguna. Meme it Untuk beberapa dataset, Anda mungkin mempertimbangkan membuat versi gridded reguler dari dataset dan menawarkan bahwa selain data asli. Beberapa perangkat lunak klien hanya dapat berurusan dengan grid biasa, sehingga dengan melakukan ini, Anda mencapai klien tambahan.
Database
Beberapa data gridded memiliki struktur yang kompleks. Sebagai contoh, tingkat satelit 2 ("Lacak panjang") data tidak menggunakan proyeksi sederhana. Login (dan lain-lain) sering bekerja dengan data gridded pada berbagai proyeksi non silinder (misalnya, stereografi polar, tripolar) atau dalam grid yang tidak terstruktur (struktur data yang lebih kompleks) Sitemap Beberapa pengguna akhir ingin data ini karena tidak ada hilangnya informasi. Untuk klien-klien tersebut,ERDDAP™dapat melayani data, seperti, hanya jikaERDDAP™administrator melanggar dataset asli ke beberapa dataset, dengan setiap bagian termasuk variabel yang berbagi variabel sumbu yang sama. Ya, yang tampak aneh bagi orang-orang yang terlibat dan berbeda dari sebagian besarOPeNDAPserver. LoginERDDAP™menekankan membuat data yang tersedia dalam banyak format. Itu mungkin karena Meme itERDDAP™menggunakan / memenuhi struktur data yang lebih seragam. Meskipun sedikit canggung (i.e., berbeda dari yang diharapkan) LoginERDDAP™dapat mendistribusikan data yang diproyeksikan.
\[LoginERDDAP™dapat memiliki persyaratan yang lebih longgar untuk struktur data, tetapi menjaga persyaratan untuk format output. Tapi itu akan menyebabkan kebingungan di antara banyak pengguna, terutama pemula, karena banyak permintaan yang tampaknya valid untuk data dengan struktur yang berbeda akan tidak valid karena data tidak akan sesuai dengan jenis file. Kami terus kembali ke desain sistem saat ini.\]
Beberapa pengguna akhir ingin data dalam proyeksi silinder lat seperti Equirectangular / plate carrée atau Mercator) untuk memudahkan penggunaan dalam situasi yang berbeda. Untuk situasi ini, kami mendorongERDDAP™administrator untuk menggunakan beberapa perangkat lunak lain (NCOSitemapMatlabSitemap Login Login Login) untuk mengubah ulang data ke geografis (Proyeksi persegi panjang / plat carrée) atau proyeksi silinder lainnya dan melayani bentuk data dalamERDDAP™sebagai dataset yang berbeda. Hal ini mirip dengan orang apa yang dilakukan ketika mereka mengkonversi data tingkat satelit 2 ke tingkat 3 data. Satu alat tersebutNCOyang menawarkan opsi ekstensi untuk data regridding.
Data GIS dan Proyeksi
Sejak dunia GIS sering dipetakan peta, program GIS biasanya menawarkan dukungan untuk mengubah data, yaitu, membimbing data pada peta dengan proyeksi yang berbeda.
SitemapERDDAP™tidak memiliki alat untuk mengubah data proyek. Alih-alih, kami merekomendasikan bahwa Anda menggunakan alat eksternal untuk membuat varian dataset, di mana data telah diubah dari bentuk aslinya ke persegi panjang (garis bujur) array cocok untukERDDAPSitemap
Menurut pendapat kami, CF /DAPdunia sedikit berbeda dari dunia GIS dan bekerja pada tingkat yang sedikit lebih rendah.ERDDAP™mencerminkan itu. Secara umumERDDAP™dirancang untuk bekerja terutama dengan data (Sitemap) dan tidak ingin berubah Meme it (Sitemap) data. SitemapERDDAP™Data gridded sering/biasanya/terbaiknya terkait dengan nilai lat lon dan proyeksi silinder, dan bukan beberapa nilai proyeksi x,y. Bagaimanapun,ERDDAP™tidak melakukan apa pun dengan proyeksi data; itu hanya melewati data melalui, seperti, dengan proyeksi saat ini, pada teori bahwa reproyeksi adalah perubahan signifikan terhadap data danERDDAP™tidak ingin terlibat dengan perubahan yang signifikan. Selain itu, pengguna berikutnya mungkin merubah ulang data lagi, yang tidak akan sebagus melakukan satu proyeksi. (Jadi, jikaERDDAP™administrator ingin menawarkan data dalam proyeksi yang berbeda, baik; hanya mengubah data secara offline dan menawarkan bahwa sebagai dataset yang berbeda dalamERDDAPSitemap Banyak set data berbasis satelit ditawarkan sebagai apa yang NASA call Level 2 (Login) dan sebagai Tingkat 3 (Proyeksi Equirectangular) Sitemap) SitemapERDDAP™membuat peta (SitemapWMSatau KML) LoginERDDAP™saat ini hanya menawarkan untuk membuat peta dengan proyeksi Equirectangular / plate carrée yang, untungnya, diterima oleh sebagian besar program pemetaan.
Kami mendorongERDDAP™administrator untuk menggunakan beberapa perangkat lunak lain (NCOSitemapMatlabSitemap Login Login Login) untuk mengubah ulang data ke geografis (Proyeksi persegi panjang / plat carrée) atau proyeksi silinder lainnya dan melayani bentuk data dalamERDDAP™sebagai dataset yang berbeda. Hal ini mirip dengan orang apa yang dilakukan ketika mereka mengkonversi data tingkat satelit 2 ke tingkat 3 data. Satu alat tersebutNCOyang menawarkan opsi ekstensi untuk data regridding.
Kami berharapERDDAP™akan memiliki alat bawaan untuk menawarkan peta dengan proyeksi lain di masa depan. Kami juga berharap memiliki koneksi yang lebih baik ke dunia GIS di masa depan (selain arusWMSSitemap) Sitemap Ini mengerikan bahwa di dunia "modern" ini, tautan antara CF / CFDAPdunia dan dunia GIS masih begitu lemah. Kedua hal-hal tersebut ada di Daftar Untuk Melakukan. (Jika Anda ingin membantu, cukup dengan menghubungkanERDDAP™ke MapServer, silakan email Chris. John di noaaa.gov .)
Jenis Data
ERDDAP™mendukung jenis data berikut (nama sensitif kasus;'u'prefix singkatan dari "unsigned"; jumlah banyak nama dalam sistem lain adalah jumlah bit) Sitemap
Login
- Login telah menandatangani nilai integer dengan berbagai -128 ke 127. Dalam sistem lain, ini kadang-kadang disebut int8. Ini disebut "tinyint" oleh SQL dan Cassandra. ERDDAP™LoginLogindari beberapa sumber (e.g., SQL dan Cassandra) ke dalam bytekanERDDAP™dengan nilai 0=false, 1=true, dan 127=missing\_valueSitemap
Login
- Login memiliki nilai integer yang tidak ditugaskan dengan kisaran 0 hingga 255. Dalam sistem lain, ini kadang-kadang disebut uint8.
Sitemap
- Sitemap telah menandatangani nilai integer dengan berbagai -32768 ke 32767. Dalam sistem lain, ini kadang-kadang disebut int16. Ini disebut "smallint" oleh SQL dan Cassandra.
Login
- Login memiliki nilai integer yang tidak ditugaskan dengan kisaran 0 hingga 65535. Dalam sistem lain, ini kadang-kadang disebut uint16.
Login
- Login telah menandatangani nilai integer dengan berbagai -2147483648 ke 2147483647. Dalam sistem lain, ini kadang-kadang disebut int32. Ini disebut "integer|Login (Sitemap) " oleh SQL dan "int" oleh Cassandra.
Login
- Login memiliki nilai integer yang tidak ditugaskan dengan kisaran 0 hingga 4294967295. Dalam sistem lain, ini kadang-kadang disebut uint32.
Login
- Login telah menandatangani nilai integer dengan berbagai -9223372036854775808 ke 9223372036854775807. Dalam sistem lain, ini kadang-kadang disebut int64. Ini disebut "bigint|Login (Sitemap) " oleh SQL dan "bigint" oleh Cassandra. Karena banyak jenis file tidak mendukung data yang panjang, penggunaannya tidak tertahankan. Kapan mungkin, gunakan ganda bukan (Sitemap) Sitemap
Login
- Login memiliki nilai integer yang tidak ditugaskan dengan kisaran 0 hingga 18446744073709551615 Dalam sistem lain, ini kadang-kadang disebut uint64. Karena banyak jenis file tidak mendukung data ulong, penggunaan mereka didiskusikan. Kapan mungkin, gunakan ganda bukan (Sitemap) Sitemap
Login
- Login adalah IEEE 754 mengapung dengan berbagai sekitar +/- 3.402823466e + 38. Dalam sistem lain, ini kadang-kadang disebut float32. Ini disebut "real|Login (Sitemap) |Login (Sitemap) |Login (Sitemap) " oleh SQL dan "float" oleh Cassandra. Nilai spesial NaN berarti Not-a-Number. ERDDAP™mengkonversi nilai infinitas positif dan negatif ke NaN.
Sitemap
- Sitemap adalah IEEE 754 ganda dengan kisaran sekitar
- 1,7976931348157E+308. Dalam sistem lain, ini kadang-kadang disebut float64. Ini disebut "tepatan ganda|Login (Sitemap) |Login (Sitemap) |Login (Sitemap) " oleh SQL dan "double" oleh Cassandra. Nilai spesial NaN berarti Not-a-Number. ERDDAP™mengkonversi nilai infinitas positif dan negatif ke NaN.
Login
- Login adalah satu, 2-byte (16-bit) Unicode UCS-2 karakterSitemap\u0000 (Sitemap) Sitemap\uffff (#65535) Sitemap \uffff's definisi adalah Not-a-Character, analog ke nilai ganda NaN. Penggunaan char didiskusikan karena banyak jenis file baik tidak mendukung chars atau hanya mendukung 1-byte chars (Sitemap) Sitemap Pertimbangkan menggunakan String bukan. Pengguna dapat menggunakan variabel char untuk membuat grafik.ERDDAP™akan mengubah karakter ke nomor titik kode Unicode mereka, yang dapat digunakan sebagai data numerik.
Login
- Login adalah urutan 0 atau lebih, 2-byte (16-bit) Unicode UCS-2 karakterSitemap ERDDAP™menggunakan/interprets string 0-panjang sebagai nilai yang hilang.ERDDAP™tidak mendukung string null sejati. Panjang string maksimum teoritis adalah karakter 2147483647, tetapi mungkin ada berbagai masalah di berbagai tempat bahkan dengan string yang agak lebih pendek. SitemapERDDAP's String untuk karakter SQL, varchar, karakter bervariasi, biner, varbinary, interval, array, multiset, xml, dan jenis data database lainnya yang tidak pas dengan yang lainERDDAP™jenis data. SitemapERDDAP's String for Cassandra's "text" dan jenis data Cassandra lainnya yang tidak pas bersih dengan yang lainERDDAP™jenis data.
SitemapERDDAP™v2.10,ERDDAP™tidak mendukung jenis integer yang tidak ditugaskan secara internal dan menawarkan dukungan terbatas pada pembaca data dan penulis.
Batasan Jenis Data
Anda dapat memikirkanERDDAP™sebagai sistem yang memiliki dataset virtual, dan yang bekerja dengan membaca data dari sumber dataset ke dalam model data internal dan menulis data ke berbagai layanan (misalnya,(OPeN)DAPLoginWMS) dan jenis file dalam menanggapi permintaan pengguna.
- Setiap pembaca input mendukung subset jenis data yang Meme itERDDAP™Login Jadi membaca data keERDDAPStruktur data internal bukan masalah.
- Setiap penulis output juga mendukung subset jenis data. Itu masalah karena Meme itERDDAPharus memeras, misalnya, data panjang ke dalam jenis file yang tidak mendukung data panjang.
Di bawah ini adalah penjelasan dari keterbatasan (atau tidak ada) berbagai penulis output dan bagaimanaERDDAP™penawaran dengan masalah. Komplikasi seperti itu adalah bagian yang melekat dariERDDAP's tujuan pembuatan sistem disparate saling beroperasi.
Login
- Login (Login.tsvSitemap) file teks -
-
Semua data numerik ditulis melalui representasi String (dengan nilai data yang hilang muncul sebagai string 0-panjang) Sitemap
-
LoginERDDAP™menulis nilai panjang dan ulong dengan benar ke file teks ASCII, banyak pembaca (e.g., program spreadsheet) tidak dapat menangani nilai panjang dan ulong dan mengubahnya menjadi nilai ganda (dengan kehilangan ketepatan dalam beberapa kasus) Sitemap
-
Char dan String data ditulis melalui JSON Strings, yang menangani semua karakter Unicode (tidak dapat, karakter "unusual" di luar ASCII #127, misalnya, karakter euro muncul sebagai "\u20ac") Sitemap
-
Login
- Login (.jsonLogin.jsonlCSVSitemap) file teks -
- Semua data numerik ditulis melalui representasi String.
- Char dan String data ditulis sebagai JSON Strings, yang menangani semua karakter Unicode (tidak dapat, karakter "unusual" di luar ASCII #127, misalnya, karakter euro muncul sebagai "\u20ac") Sitemap
- Nilai hilang untuk semua jenis data numerik muncul sebagai null.
.nc3 file
- .nc3 file tidak mendukung jenis data integer yang tidak ditugaskan. Sebelum CF v1.9, CF tidak mendukung jenis bilangan bulat. Berurusan dengan ini,ERDDAP™2.10 + mengikuti standar NUG dan selalu menambahkan atribut "\_Unsigned" dengan nilai "true" atau "false" untuk menunjukkan apakah data dari variabel yang tidak ditentukan atau ditandatangani. Semua atribut integer ditulis sebagai atribut yang ditandatangani (Sitemap) dengan nilai yang ditandatangani (misalnya, ubyteactual\_rangeatribut dengan nilai 0 ke 255, muncul sebagai atribut byte dengan nilai 0 ke -1 (kebalikan dari dua nilai pelengkap nilai out-of-range). Tidak ada cara mudah untuk mengetahui atribut integer (signed) yang harus dibaca sebagai atribut yang tidak ditentukan.ERDDAP™mendukung atribut "\_Unsigned" ketika membaca.nc3 file.
- .nc3 file tidak mendukung jenis data panjang atau ulong.ERDDAP™penawaran dengan ini dengan sementara mengkonversi mereka menjadi variabel ganda. Ganda dapat mewakili semua nilai hingga +/- 9,007,199,254,740,992 yang 2^53. Ini adalah solusi yang sempurna.Unidatamenolak untuk membuat peningkatan kecil untuk.nc3 untuk menangani masalah ini dan terkait, mengutip.nc4 Artikel (perubahan utama) sebagai solusi.
- Spesifikasi CF (sebelum v1.9) mengatakan itu mendukung jenis data char tetapi tidak jelas jika char dimaksudkan hanya sebagai blok bangunan array char, yang secara efektif String. Pertanyaan ke daftar surat mereka hanya menghasilkan jawaban yang membingungkan. Karena komplikasi ini, yang terbaik untuk menghindari variabel char diERDDAP™dan menggunakan variabel String setiap kali mungkin.
- Sitemap.nc3 file hanya didukung string dengan ASCII-encoded (7-bit, #0 - #12) karakter. Login (LoginERDDAP) memanjang (Sitemap) dengan menyertakan atribut "\_Encoding" dengan nilai "ISO-8859-1" (ekstensi ASCII yang mendefinisikan semua nilai 256 dari setiap karakter 8-bit) atau "UTF-8" untuk menunjukkan bagaimana data String dikodekan. Pengkodean lain mungkin legal tetapi tidak berdiskusi.
.nc4 file
- .nc4 file mendukung semuaERDDAP's jenis data.
file NCCSV
file NCCSV 1.0 tidak mendukung jenis data yang tidak ditentukan. KCP 1.1+ filemendukung semua jenis data integer yang tidak ditugaskan.
DAP
- (OPeN)DAP (.das, .dds, .asc ASCII file, dan .dods biner file) Login
- (OPeN)DAPpegangan pendek, ushort, int, uint, mengapung dan nilai ganda dengan benar.
- (OPeN)DAPmemiliki "byte" jenis data yang mendefinisikan sebagai tidak ditetapkan, sedangkan historis, THREDDS danERDDAP™telah memperlakukan "byte" sebagai tanda tangan(OPeN)DAPSitemap Berurusan dengan ini lebih baik,ERDDAP™2.10+ mengikuti standar NUG dan selalu menambahkan atribut "\_Unsigned" dengan nilai "true" atau "false" untuk menunjukkan apakah data adalah apaERDDAP™Sitemap Semua atribut byte dan ubyte ditulis sebagai atribut "byte" dengan nilai yang ditandatangani (misalnya, ubyteactual\_rangeatribut dengan nilai 0 ke 255, muncul sebagai atribut byte dengan nilai 0 ke -1 (kebalikan dari dua nilai pelengkap nilai out-of-range). Tidak ada cara mudah untuk mengetahui atribut "byte" mana yang harus dibaca sebagai atribut ubyte.
- (OPeN)DAPtidak mendukung panjang yang ditandatangani atau tidak ditentukan.ERDDAP™penawaran dengan ini dengan konversi sementara mereka menjadi variabel ganda dan atribut. Ganda dapat mewakili semua nilai hingga 9,007,199,254,740,992 yang 2^53. Ini adalah solusi yang sempurna.OPeNDAP (organisasi) menolak untuk membuat peningkatan kecil untukDAP2.0 untuk menangani masalah ini dan terkait, mengutipDAP4 Artikel (perubahan utama) sebagai solusi.
- Sitemap(OPeN)DAPtidak memiliki jenis data char yang terpisah dan hanya mendukung karakter ASCII 1-byte (#0 - #12) dalam Strings, variabel data char akan muncul sebagai 1-character-long Strings dalam(OPeN)DAP.das, .dds, dan .dods tanggapan.
- Teknis,(OPeN)DAPspesifikasi hanya mendukung string dengan karakter ASCII-encoded (#0 - #12) Sitemap Login (LoginERDDAP) memanjang (Sitemap) dengan menyertakan atribut "\_Encoding" dengan nilai "ISO-8859-1" (ekstensi ASCII yang mendefinisikan semua nilai 256 dari setiap karakter 8-bit) atau "UTF-8" untuk menunjukkan bagaimana data String dikodekan. Pengkodean lain mungkin legal tetapi tidak berdiskusi.
Data Type Komentar
- Karena dukungan yang buruk untuk data yang panjang, ulong, dan char dalam banyak jenis file, kami mengumpulkan penggunaan jenis data iniERDDAPSitemap Bila memungkinkan, gunakan dua kali lipat dan ulong, dan gunakan String bukan char.
- Metadata(OPeN)DAP's .das dan .dds tanggapan tidak mendukung atribut panjang atau ulong atau jenis data (dan bukan menunjukkan mereka sebagai ganda) , Anda mungkin tidak ingin menggunakanERDDAPrepresentasi tabular metadata seperti yang terlihat dihttpLogin Sitemap Sitemap datasetID .html halaman web (Sitemap https://coastwatch.pfeg.noaa.gov/erddap/info/cwwcNDBCMet/index.html ) (yang Anda juga bisa mendapatkan dalam jenis file lain, misalnya, .csv,.htmlTableLogin.itxLogin.jsonLogin.jsonlCSV1Login.jsonlCSVLogin.jsonlKVPLogin.matLogin.ncLogin.nccsvLogin.tsvLogin.xhtml) atau.nccsvMetadata (Sitemap https://coastwatch.pfeg.noaa.gov/erddap/tabledap/cwwcNDBCMet.nccsvMetadata Login.nccsvMetadata hanya tersedia untuk set data tabel) keduanya mendukung semua jenis data (ulong, panjang, ulong, dan char) Sitemap
Database
Tidak semua data adalah array dari angka atau teks. Beberapa dataset terdiri dari atau menyertakan file media, seperti gambar, file audio dan video.ERDDAP™memiliki beberapa fitur khusus untuk memudahkan pengguna mendapatkan akses ke file media. Ini adalah proses dua langkah:
- Membuat setiap file yang dapat diakses melalui URL sendiri, melalui sistem yang mendukung permintaan rentang byte. Cara termudah untuk melakukan ini adalah untuk menempatkan file di direktori yangERDDAP™memiliki akses ke. (Jika mereka dalam wadah seperti.zipfile, unzip mereka, meskipun Anda mungkin ingin menawarkan.zipfile ke pengguna juga.) Kemudian, buatLogindataset untuk membuat file yang dapat diakses melaluiERDDAP™SitemapERDDAPSitemap"files"sistemSitemap
Semua file yang dapat diakses melalui EDDTableDariFileNames danERDDAPSitemap"files"dukungan sistempermintaan rentang byteSitemap Biasanya, ketika klien (Sitemap) membuat permintaan ke URL, itu mendapatkan seluruh file sebagai respons. Tapi dengan permintaan rentang byte, permintaan menentukan berbagai byte dari file, dan server hanya mengembalikan byte tersebut. Ini relevan di sini karena pemain audio dan video di browser hanya bekerja jika file dapat diakses melalui permintaan rentang byte.
opsional: Jika Anda memiliki lebih dari satu dataset dengan file media terkait, Anda dapat membuat hanya satu EDDTableDariFileNames yang memiliki subfolder untuk setiap kelompok file. Keuntungannya adalah bahwa ketika Anda ingin menambahkan file media baru untuk dataset baru, semua yang harus Anda lakukan adalah membuat folder baru dan menempatkan file di folder itu. Folder dan file akan secara otomatis ditambahkan ke dataset EDDTableDariFileNames.
- opsional: Jika Anda memiliki dataset yang mencakup referensi ke file media, tambahkan keERDDAPSitemap Misalnya, Anda mungkin memiliki file .csv dengan baris untuk setiap kali seseorang melihat paus dan kolom yang mencakup nama file gambar yang terkait dengan penglihatan itu. Jika nama file gambar hanyalah nama file, misalnya, Img20141024T192403Z, bukan URL penuh, maka Anda perlu menambahkanLogin WordPress.orgatribut untuk metadata untuk itudataVariableyang menentukan baseURL dan suffix untuk nama file tersebut. Jika Anda membuat file yang dapat diakses melalui EDDTableDariFileNames, URL akan dalam bentuk Login WordPress.org datasetID Sitemap Sitemap
<att name="fileAccessBaseUrl">*someBaseURL*</a>
<att name="fileAccessSuffix">.png</a>
Jika ada.zipatau file kontainer lainnya dengan semua file media yang terkait dengan variabel data, kami sarankan Anda juga membuat file yang dapat diakses oleh pengguna (melihat langkah 1 di atas) dan kemudian mengidentifikasinya denganLogin SitemapLogin
\[SitemapERDDAP™g\]Jika Anda melakukan langkah pertama di atas (atau kedua langkah) , maka ketika pengguna melihat Meme itERDDAP™ "files"sistem untuk dataset (atau meminta untuk melihat subset dataset melalui.htmlTablepermintaan, jika Anda melakukan langkah kedua) LoginERDDAP™akan menunjukkan ikon '?' ke kiri nama file. Jika pengguna memikat ikon itu, mereka akan melihat popup menunjukkan gambar, atau pemutar audio, atau pemutar video. Browser hanya mendukung sejumlah jenis terbatas
- Login (biasanya .gif, .jpg, dan .png) Login
- Login (biasanya .mp3, .ogg, dan .wav) Sitemap
- file video (biasanya .mp4, .ogv, dan . Login) Sitemap
Dukungan bervariasi dengan versi browser yang berbeda pada sistem operasi yang berbeda. Jadi jika Anda memiliki pilihan jenis file yang ditawarkan, masuk akal untuk menawarkan jenis ini.
Atau, jika pengguna mengklik nama file yang ditampilkan padaERDDAP™halaman web, browser mereka akan menunjukkan gambar, file audio atau video sebagai halaman web terpisah. Ini sebagian besar berguna untuk melihat gambar yang sangat besar atau video berskala ke layar penuh, bukan dalam popup.
AWS S3 File
Layanan Web Amazon (Login) adalah penjualkomputasi awanSitemapS3adalah sistem penyimpanan objek yang ditawarkan oleh AWS. Alih-alih sistem hirarkis dan file dari sistem file tradisional (seperti hard drive di PC Anda) S3 menawarkan hanya "bucket" yang memegang "objects" (kita akan memanggil mereka Meme it"files") Sitemap
Untuk file ASCII (Sitemap) LoginERDDAP™dapat bekerja dengan file di ember secara langsung. Satu-satunya hal yang perlu Anda lakukan adalah menentukan<fileDir> untuk dataset menggunakan format spesifik untuk ember AWS, misalnya, https://bucketName.s3.aws-region.amazonaws.com/subdirectory/ Sitemap Anda tidak boleh menggunakan<Login Lihat di bawah ini untuk rincian.
Tapi untuk file biner (Login.nc.grib, .bufr, dan.hdfLogin) Anda perlu menggunakan<cacheDariUrl> sistem yang dijelaskan di bawah ini.ERDDAPnetcdf-java (SitemapERDDAP™menggunakan untuk membaca data dari file-file ini) Perangkat lunak data ilmiah lainnya dirancang untuk bekerja dengan file dalam sistem file tradisional yang menawarkantingkat blokakses ke file (yang memungkinkan membaca chunks file) S3Database (Login) akses ke file (yang hanya mengizinkan membaca seluruh file) Sitemap AWS menawarkan alternatif untuk S3,Toko Blok Elastis (Login) ), yang mendukung akses tingkat blok ke file tetapi lebih mahal daripada S3, sehingga jarang digunakan untuk penyimpanan massal dari sejumlah besar file data. (Jadi ketika orang mengatakan menyimpan data di cloud (S3) murah, biasanya apel untuk perbandingan jeruk.)
S3 Bucket
Konten Bucket. Login Objek. Delimiter.
Secara teknis, ember S3 tidak diatur dalam struktur file hirarkis seperti sistem file pada komputer. Sebaliknya, ember hanya mengandung "objects" (Login) , masing-masing yang memiliki "kunci" (nama) Sitemap Contoh kunci dalam ember noaa-goes17 adalah
ABI-L1b-RadC/2019/235/22/OR\\_ABI-L1b-RadC-M6C01\\_G17\\_s20192352201196\\_e20192352203569\\_c20192352204013.nc
URl yang sesuai untuk objek itu
AWS mendukung sedikit variasi dalam bagaimana URL itu dibangun, tetapiERDDAP™membutuhkan satu format khusus ini:
https://bucketName.s3.region.amazonaws.com/key
Ini adalah praktik umum, seperti contoh ini, untuk membuat nama kunci terlihat seperti jalur hirarkis ditambah nama file, tetapi secara teknis mereka tidak. Karena itu umum dan berguna,ERDDAP™memperlakukan kunci dengan /'s seolah-olah mereka adalah jalur hirarkis ditambah nama file, dan dokumentasi ini akan merujuk kepada mereka seperti itu. Jika kunci bucket tidak menggunakan /'s (misalnya, kunci seperti
ABI-Lib.2018.052.22.OR\_ABI-L1b-RadM2-M3C10\_G16\_s20180522247575), kemudianERDDAP™hanya akan memperlakukan seluruh kunci sebagai nama file yang panjang.
Bucket Pribadi vs Publik Login Administrator untuk ember S3 dapat membuat ember dan kontennya publik atau pribadi. Jika publik, setiap file di ember dapat diunduh oleh siapa pun menggunakan URL untuk file. Amazon memilikiData Terbukaprogram yang menghosting dataset publik (termasuk dataNOAA, NASA, dan USGS) gratis dan tidak mengenakan biaya bagi siapa pun untuk mengunduh file dari ember tersebut. Jika ember pribadi, file di ember hanya dapat diakses oleh pengguna resmi dan biaya AWS (biasanya dibayar oleh pemilik bucket) untuk mengunduh file ke komputer non-AWS S3.ERDDAP™dapat bekerja dengan data di ember publik dan pribadi.
AWS Credentials
Untuk membuatnya sehingga Meme itERDDAP™dapat membaca isi ember pribadi, Anda perlu kredensial AWS dan Anda perlu menyimpan file kredensial di tempat standar sehinggaERDDAP™dapat menemukan informasi. Lihat AWS SDK untukJava2.x dokumentasi:Mengatur kredensial defaultSitemap (Pilihan untuk menyimpan nilai-nilai sebagaiJavaparameter baris perintah dalam\[Login\]/bin/setenv.sh mungkin menjadi pilihan yang baik.)
AWS/file/
- Login LoginERDDAP™ Loginmemungkinkan pengguna untuk mengunduh file sumber untuk dataset. Kami menyarankan Anda mengubah ini untuk semua dataset dengan file sumber karena banyak pengguna ingin mengunduh file sumber asli.
- Jika file berada dalam ember S3 pribadi, permintaan pengguna untuk mengunduh file akan ditangani olehERDDAP™, yang akan membaca data dari file dan kemudian mengirimkannya ke pengguna, sehingga meningkatkan beban pada AndaERDDAP™, menggunakan bandwidth masuk dan keluar, dan membuat Anda (LoginERDDAP™Login) membayar biaya egress data ke AWS.
- Jika file berada dalam ember S3 publik, permintaan pengguna untuk mengunduh file akan diarahkan ke URL AWS S3 untuk file itu, sehingga data tidak akan mengalir melaluiERDDAP™sehingga mengurangi beban padaERDDAPSitemap Dan jika file dalam Amazon Open Data (gratis) ember publik, kemudian Anda (LoginERDDAP™Login) tidak perlu membayar biaya egress data ke AWS. Jadi, ada keuntungan besar yang melayani data dari publik (Sitemap) S3 bucket, dan keuntungan besar untuk melayani data dari Amazon Open Data (gratis) Login
ERDDAP™dan Bucket AWS S3
ERDDAP™dan Bucket AWS S3
Untungnya, setelah banyak usaha,ERDDAP™memiliki sejumlah fitur yang memungkinkan untuk menangani masalah yang melekat bekerja dengan akses tingkat blok S3 ke file dengan cara yang cukup efisien:
- \[Sitemap Bekerja dengan ember AWS S3 adalah banyak pekerjaan tambahan. AWS adalah ekosistem besar layanan dan fitur. Ada banyak untuk belajar. Dibutuhkan waktu dan usaha, tetapi dapat dilakukan. Menjadi pasien dan Anda akan mendapatkan hal-hal yang bekerja. Look/ask untuk membantu
SitemapDokumentasi AWSsitus web sepertiSitemapSitemap
ERDDAP™opsi dukungan) jika / ketika Anda terjebak.\]
- Hal ini dapat sulit untuk bahkan mengetahui struktur direktori dan nama file dari file dalam ember S3.ERDDAP™memiliki solusi untuk masalah ini: EDDTableDariFileNames memiliki khusus\*\*Sitemapopsi yang memungkinkan Anda membuat dataset EDDTableFromFileNames yang memungkinkan pengguna untuk menelusuri konten bucket S3 (dan mengunduh file) melalui dataset"files"Login Sitemapcontoh ini di bawah iniSitemap
- ERDDAP™dapat membaca data darifile data terkompresi secara eksternal, jadi halus jika file di S3 disimpan sebagai.gzLogin.gzipLogin.bz2, .Z, atau jenis file data terkompresi eksternal, yang dapat secara dramatis (2 - 20X) dipotong pada biaya penyimpanan file. seringkali tidak ada hukuman waktu untuk menggunakan file terkompresi secara eksternal, karena waktu yang disimpan dengan mentransfer file yang lebih kecil dari S3 keERDDAPkira-kira menyeimbangkan waktu tambahan yang diperlukan untukERDDAP™untuk menghapus file. Untuk menggunakan fitur ini, Anda hanya perlu memastikan bahwa dataset<fileNameRegex> memungkinkan untuk jenis file terkompresi (Sitemap (|.gz) ke ujung regex) Sitemap
- Untuk kasus yang paling umum, di mana Anda memilikiERDDAP™diinstal pada PC Anda untuk menguji / pengembangan dan di mana dataset memiliki file data biner yang disimpan sebagai objek dalam ember S3, satu pendekatan untuk mendapatkan dataset dalamERDDAP™Sitemap
-
Buat direktori di PC Anda untuk menyimpan beberapa file data uji.
-
Unduh dua file data dari sumber ke direktori yang Anda buat.
-
SitemapLoginuntuk menghasilkan chunkdatasets.xmluntuk dataset berdasarkan dua file data lokal.
-
Periksa bahwa dataset bekerja seperti yang diinginkanLogindan/atau lokal AndaERDDAPSitemap
Langkah-langkah berikut membuat salinan dataset (yang akan mendapatkan data dari ember S3) publikERDDAPSitemap
-
Salin chunk daridatasets.xmluntuk dataset ke datadatasets.xmluntuk publikERDDAP™yang akan melayani data.
-
Buat direktori di publikERDDAP's hard drive lokal untuk menyimpan cache file sementara. Direktori tidak akan menggunakan banyak ruang disk (lihat cacheSizeGB di bawah ini) Sitemap
-
Mengubah nilai dataset<fileDir> tag sehingga poin ke direktori yang Anda buat (meskipun direktori kosong) Sitemap
-
SitemapLogintag yang menentukan nama ember dataset dan prefix opsional (i.e., direktori) SitemapAws S3 URL FormatERDDAP™LoginSitemap
-
Promo<Login (Login) xml dataset (e.g., 10 adalah nilai yang baik untuk sebagian besar dataset) SitemapERDDAP™untuk membatasi ukuran cache lokal (i.e., jangan mencoba untuk melihat semua file jarak jauh) Sitemap
-
Lihat apakah itu bekerja di publikERDDAPSitemap Perhatikan bahwa pertama kaliERDDAP™memuat dataset, akan memakan waktu lama untuk memuat, karenaERDDAP™perlu mengunduh dan membaca semua file data.
-
Jika dataset adalah koleksi besar file data gridded besar, ini akan memakan waktu yang sangat lama dan tidak praktis. Dalam beberapa kasus, untuk file data gridded,ERDDAP™dapat mengekstrak informasi yang diperlukan (e.g., titik waktu untuk data dalam file data gridded) dari nama file dan menghindari masalah ini. SitemapSitemap Nama fileSitemap
- Sitemap (tapi terutama untuk EDDTableDariFiles dataset) Anda dapat menambahkanLogintag ke dataset untuk memberitahukanERDDAPuntuk menggunakan lebih dari 1 benang ketika menanggapi permintaan pengguna untuk data. Ini meminimalkan efek penundaan yang terjadi ketikaERDDAP™membaca file data dari (Login) AWS S3 ember ke cache lokal dan (Sitemap) mendekompresi mereka.
AWS S3 Data Terbuka
Sebagai bagianNOAASitemapProgram Data BesarLoginNOAAmemiliki kemitraan dengan lima organisasi, termasuk AWS, "untuk menjelajahi potensi manfaat menyimpan salinan pengamatan kunci dan output model di Cloud untuk memungkinkan komputasi langsung pada data tanpa memerlukan distribusi lebih lanjut". AWS termasuk dataset itu mendapat dari Meme itNOAAsebagai bagian dari programnya untuk menawarkan akses publik ke koleksi besarData Terbuka di AWS S3dari komputer apa pun, apakah itu adalah instance Amazon compute (komputer sewa) di jaringan AWS atau PC Anda sendiri di jaringan apa pun. Contoh di bawah ini mengasumsikan Anda bekerja dengan dataset yang dapat diakses secara publik.
File Accessing di Bucket AWS S3
Untuk ember data S3 pribadi, pemilik bucket harus memberi Anda akses ke ember. (Lihat dokumentasi AWS.)
Dalam semua kasus, Anda akan membutuhkan akun AWS karena AWS SDK untukJava (SitemapERDDAP™menggunakan untuk mengambil informasi tentang isi ember) membutuhkan kredensial akun AWS. (lebih banyak di bawah ini)
ERDDAP™hanya dapat mengakses ember AWS S3 jika Anda menentukan [<Login (Login) Login<fileDir>) dalam format tertentu:
https://bucketName.s3.aws-region.amazonaws.com/prefix/
Sitemap
- emberName adalah bentuk singkat dari nama ember, misalnya noaaaa-goes17.
- Aws-region, misalnya, kita-east-1, adalah dari kolom "Region" di salah satu tabelLayanan AWS Endpointsdi mana bucket sebenarnya terletak. Meme it
- Prefix adalah opsional. Jika ada, itu harus berakhir dengan Meme it'/'Sitemap
Sitemap https://noaa-goes17.s3.us-east-1.amazonaws.com/ABI-L1b-RadC/
Format URL ini adalah salah satu rekomendasi AWS S3: lihatMengakses BucketLogindeskripsi ini dari awalanSitemapERDDAP™mengharuskan Anda menggabungkan URL ember dan prefiks opsional ke satu URL untuk menentukan<cacheDariUrl> (atau<fileDir>) di mana file berada.
Uji Public AWS S3 Buckets
Untuk ember publik, Anda dapat dan harus menguji URL ember dari direktori AWS S3 di browser Anda, misalnya, https://noaa-goes17.s3.us-east-1.amazonaws.com Jika URL ember benar dan tepat untukERDDAP, itu akan mengembalikan dokumen XML yang memiliki (Login) daftar konten ember itu. Sayangnya, URL penuh (i.e., URL bucket ditambah awal) LoginERDDAP™ingin dataset yang diberikan tidak berfungsi di browser. AWS tidak menawarkan sistem untuk menelusuri hirarki bucket dengan mudah di browser Anda. (Jika itu salah, silakan email Chris. John di noaaa.gov. Jika tidak, Amazon, tambahkan dukungan untuk ini!)
Melihat Konten Bucket
S3 bucket sering mengandung beberapa kategori file, dalam beberapa subdirectories pseudo, yang bisa menjadi beberapa dariERDDAP™Login Untuk membuatERDDAP™dataset, Anda perlu tahu direktori awal untuk<cacheDariUrl> (atau<fileDir>) dan format nama file yang mengidentifikasi bahwa subset file. Jika Anda mencoba untuk melihat seluruh konten ember di browser, S3 hanya akan menunjukkan Anda 1000 file pertama, yang tidak mencukupi. Saat ini, cara terbaik bagi Anda untuk melihat semua konten ember adalah membuatLoginLogin (di PC AndaERDDAP™dan/atau di publik AndaERDDAP) , yang juga memberi Anda cara mudah untuk menelusuri struktur direktori dan mengunduh file. Login<fileDir> yang akan menjadi URL yang Anda buat di atas, misalnya, https://noaa-goes17.s3.us-east-1.amazonaws.com Sitemap\[Mengapa AWS S3 menawarkan cara cepat dan mudah bagi siapa pun untuk melakukan ini tanpa akun AWS?\]Perhatikan bahwa ketika saya melakukan ini di PC saya di jaringan non-Amazon, tampaknya Amazon memperlambat respons terhadap trik (100 g (Sitemap) file per chunk) setelah beberapa chunks pertama (dari 1000 file per chunk) didownload. Karena ember mungkin memiliki sejumlah besar file (noaa-goes17 memiliki 26 juta) , mendapatkan semua konten ember dapat mengambil EDDTableDariFileNames beberapa jam (g., 12!) Sitemap\[Amazon, adalah hak?!\]
Membuat EDDTable DariFileNames Dataset dengan Bucket AWS S3
Jika Anda memiliki nama ember, tetapi belum memiliki daftar file di ember S3 atau awalan yang mengidentifikasi lokasi file yang relevan di ember, gunakan instruksi di bawah ini untuk membuat dataset EDDTableDariFileNames sehingga Anda dapat menjelajahi hierarki direktori dari ember S3 melaluiERDDAPSitemap"files"sistem.
- Buka Akun AWS ERDDAP™menggunakanAWS SDKJavauntuk mendapatkan informasi ember dari AWS, sehingga Anda perlu untukmembuat dan mengaktifkan akun AWSSitemap Itu pekerjaan yang cukup besar, dengan banyak hal untuk belajar.
- Masukkan AWS Credentials Anda di manaERDDAP™dapat menemukan mereka. Meme it Ikuti petunjuk diMengatur AWS Credentials dan Wilayah untuk PembangunanSitemapERDDAP™ (spesifik, AWS SDK untukJava) akan dapat menemukan dan menggunakan kredensial AWS Anda. SitemapERDDAP™tidak dapat menemukan kredensial, Anda akan melihat Meme it Login IllegalArgumentException: file profil tidak bisa menjadi kesalahan null dalamERDDAP's file log.txt.
Hint untuk Linux dan Mac OS: file kredensial harus berada di direktori rumah pengguna yang menjalankan Tomcat (LoginERDDAP) (untuk paragraf ini, kita akan mengasumsikan pengguna=tomcat) dalam file yang disebut ~/.aws/credentials. Jangan berasumsi bahwa ~ adalah /home/tomcat -- sebenarnya menggunakan cd ~ untuk mengetahui di mana sistem operasi berpikir ~ untuk pengguna=tomcat adalah. Buat direktori jika tidak ada. Juga, setelah Anda menempatkan file credentials di tempat, pastikan pengguna dan kelompok untuk file adalah tomcat dan kemudian gunakan kredensial chmod 400 untuk memastikan file dibaca-hanya untuk pengguna=tomcat.
- Buat URL ember diformat yangERDDAP™LoginSitemap https://noaa-goes17.s3.us-east-1.amazonaws.com Sitemap (untuk ember publik) mengujinya di browser untuk memastikan kembali dokumen XML yang memiliki daftar parsial dari ember itu.
- SitemapLoginuntuk membuatLoginSitemap
-
Untuk direktori Start, gunakan sintaks ini: \*\Login Login Login Sitemap \\*Login https://noaa-goes17.s3.us-east-1.amazonaws.com/
-
Nama file regex? Login
-
Recursif? Login
-
Login Login 100 g
-
infoUrlSitemap https://registry.opendata.aws/noaa-goes/
-
LoginNOAA
-
Sitemap Sitemap (ERDDAP™akan membuat ringkasan yang layak secara otomatis.)
-
Login Sitemap (ERDDAP™akan membuat judul yang layak secara otomatis.) Seperti biasa, Anda harus mengedit XML yang dihasilkan untuk memverifikasi kebenaran dan membuat perbaikan sebelum chunk dataset menggunakannya dalamdatasets.xmlSitemap
-
- Jika Anda mengikuti instruksi di atas dan memuat dataset diERDDAP, Anda telah membuat dataset EDDTableDariFiles. Sebagai contoh, dan untuk memudahkan siapa pun untuk menelusuri dan mengunduh file dari ember Data Terbuka AWS, kami telah menciptakan dataset EDDTableDariFileNames (lihat daftar di
https://upwell.pfeg.noaa.gov/erddap/search/index.html?searchFor=awsS3Files\_ ) untuk hampir semua Meme itAWS S3 Open Data emberSitemap
\[Beberapa ember yang kita tidak termasuk memiliki sejumlah besar file di direktori akar (lebih dari dapat diunduh dalam waktu yang wajar) atau tidak mengizinkan akses publik (tidak mereka semua seharusnya menjadi publik?) , atau adalah ember Pays (Sitemap) Sitemap\]
Jika Anda mengklik"files"tautan untuk salah satu set data ini, Anda dapat menjelajahi pohon direktori dan file di ember S3. Karena cara\\\ * DariOnTheFly EDDTableDariFiles bekerja, daftar direktori ini selalu sangat up-to-date karenaERDDAP™mendapatkan mereka on-the-fly. Meme it Jika Anda mengklik pohon direktori ke nama file yang sebenarnya dan klik pada nama file,ERDDAP™akan mengarahkan permintaan Anda ke AWS S3 sehingga Anda dapat mengunduh file langsung dari AWS. Anda kemudian dapat memeriksa file tersebut.
Login Jika EDDTableDariFiles tidak akan memuatERDDAP™ (Sitemap) , lihat file log.txt untuk pesan kesalahan. Jika Anda melihat Login IllegalArgumentException: file profil tidak bisa mati, masalahnya adalah bahwa SDK AWS untukJava (digunakan olehERDDAP) tidak menemukan file kredensial. Lihat petunjuk kredensial di atas.
Tidak hanya mengizinkan orang untuk menggunakan browser untuk melihat isi ember publik.
Kemudian Anda dapat membuatERDDAP™dataset yang memberi pengguna akses ke data dalam file.
Lihat petunjukERDDAP™dan S3 Buckets (Sitemap) Sitemap
Untuk sampel EDDTableDariFileNames dataset yang Anda buat di atas, jika Anda melakukan sedikit berdering di sekitar dengan direktori dan nama file di pohon direktori, itu menjadi jelas bahwa nama direktori tingkat atas (ABI-L1b-RadC) sesuai dengan apaERDDAP™akan memanggil dataset terpisah. Bucket yang Anda kerjakan dengan mungkin sama. Anda kemudian bisa mengejar membuat set data terpisah di Meme itERDDAP™untuk setiap dataset, menggunakan, misalnya,
https://noaa-goes17.s3.us-east-1.amazonaws.com/ABI-L1b-RadC/
Sitemap<Login Sayangnya, untuk contoh tertentu ini, dataset di ember semua tampaknya tingkat 1 atau tingkat 2 dataset, yangERDDAP™ tidak terlalu baik di Meme it, karena dataset adalah koleksi variabel yang lebih rumit yang menggunakan dimensi yang berbeda.
NcML file
File NcML memungkinkan Anda menentukan perubahan on-the-fly ke satu atau lebih sumber asliNetCDF (v3 atau v4) .nc.grib, .bufr, atau.hdf (v4 atau v5) file, dan kemudian memilikiERDDAP™Login.ncfile gERDDAP™dataset akan menerima.ncg.ncfile yang diharapkan. File NcML MUST memiliki ekstensi.ncg. SitemapUnidataDokumentasi NcMLSitemap NcML berguna karena Anda dapat melakukan beberapa hal dengan Meme it (misalnya, membuat perubahan yang berbeda pada file yang berbeda dalam koleksi, termasuk menambahkan dimensi dengan nilai spesifik ke file) Anda tidak bisa melakukannyaERDDAPSitemapdatasets.xmlSitemap
- Perubahan pada.ncwaktu yang terakhir dimodernisasi file klima akan menyebabkan file yang akan diisi ulang kapan pun dataset dimuat ulang, tetapi perubahan ke bawah.ncfile data tidak akan langsung diperhatikan.
- Login\*Sitemap\*sensitif terhadap urutan beberapa item dalam file NcML. Pikirkan NcML sebagai menentukan serangkaian instruksi dalam urutan yang ditentukan, dengan niat mengubah file sumber (negara di awal / atas file NcML) ke dalam file tujuan (status pada akhir/bottom file NcML) Sitemap
Alternatif untuk NcML adalahNetCDFLogin (NCO) Sitemap Perbedaan besar adalah NcML adalah sistem untuk membuat perubahan on-the-fly (sehingga file sumber tidak diubah) SitemapNCOdapat digunakan untuk membuat perubahan (atau versi baru) file. SitemapNCOdan NcML sangat fleksibel dan memungkinkan Anda untuk membuat hampir semua perubahan yang dapat Anda pikirkan ke file. Untuk keduanya, itu dapat menantang untuk mengetahui persis bagaimana melakukan apa yang ingin Anda lakukan -- periksa web misalnya serupa. Kedua alat yang berguna untuk menyiapkan netCDF danHDFfile untuk digunakan denganERDDAPtidak bisa, untuk membuat perubahan di luar apaERDDAPSistem manipulasi dapat dilakukan.
Contoh #1: Menambahkan Dimensi Waktu dengan Nilai Tunggal Sitemap.ncfile ml yang menciptakan dimensi luar baru (waktu, dengan 1 nilai: 1041379200) dan menambahkan dimensi ke variabel pic dalam file bernama A2003001.L3m\_DAY\_PIC\_pic\_4km.ncSitemap
<netcdf xmlns='https://www.unidata.ucar.edu/namespaces/netcdf/ncml-2.2'>
<variable name='time' type='int' shape='time' />
<aggregation dimName='time' type='joinNew'>
<variableAgg name='pic'/>
<netcdf location='A2003001.L3m\\_DAY\\_PIC\\_pic\\_4km.nc' coordValue='1041379200'/>
</aggregation>
</netcdf>
Contoh #2: Mengubah Nilai Waktu yang Ada Terkadang sumber.ncfile sudah memiliki dimensi waktu dan nilai waktu, tetapi nilainya tidak benar (untuk tujuan Anda) Sitemap Sitemap.ncfile ml mengatakan: untuk file data bernama ""19810825230030-NCEI ...", untuk variabel dimensi"time"set atribut unit menjadi 'detik sejak 1970-01T00:00Z' dan menetapkan nilai waktu menjadi 367588800.
<netcdf xmlns='https://www.unidata.ucar.edu/namespaces/netcdf/ncml-2.2'
location="19810825230030-NCEI-L3C\\_GHRSST-SSTskin-AVHRR\\_Pathfinder-PFV5.3\\_NOAA07\\_G\\_1981237\\_day-v02.0-fv01.0.nc">
<variable name="time">
<attribute name='units' value='seconds since 1970-01-01T00:00:00Z' />
<values>367588800</values>
</variable>
</netcdf>
NetCDFLogin (NCO)
"The netCDF Operator (NCO) terdiri dari program dozen standalone, command-line yang mengambil netCDF\[v3 atau v4\]LoginHDF \[v4 atau v5\]Login\[Login\]dan/atauDAPfile sebagai input, kemudian beroperasi (e.g., data baru derive, statistik compute, cetak, hiperslab, manipulate metadata) dan output hasilnya ke layar atau file dalam format teks, biner, atau netCDF.NCOmembantu analisis data ilmiah gridded. Gaya shell-kommandNCOmemungkinkan pengguna untuk memanipulasi dan menganalisis file secara interaktif, atau dengan skrip ekspresif yang menghindari beberapa overhead lingkungan pemrograman tingkat tinggi." (dariNCOLogin) Sitemap
Alternatif untukNCOSitemapLoginSitemap Perbedaan besar adalah NcML adalah sistem untuk membuat perubahan on-the-fly (sehingga file sumber tidak diubah) SitemapNCOdapat digunakan untuk membuat perubahan (atau versi baru) file. SitemapNCOdan NcML sangat fleksibel dan memungkinkan Anda untuk membuat hampir semua perubahan yang dapat Anda pikirkan ke file. Untuk keduanya, itu dapat menantang untuk mengetahui persis bagaimana melakukan apa yang ingin Anda lakukan -- periksa web misalnya serupa. Kedua alat yang berguna untuk menyiapkan netCDF danHDFfile untuk digunakan denganERDDAPtidak bisa, untuk membuat perubahan di luar apaERDDAPSistem manipulasi dapat dilakukan.
Misalnya, Anda dapat menggunakanNCOuntuk membuat unit variabel waktu konsisten dalam kelompok file di mana mereka tidak konsisten awalnya. Atau, Anda dapat menggunakanNCOSitemapscale\_factorLoginadd\_offsetdalam kelompok file di manascale\_factorLoginadd\_offsetmemiliki nilai yang berbeda dalam file sumber yang berbeda. (Atau, Anda sekarang dapat berurusan dengan masalah-masalah tersebutERDDAP™SitemapEDDGridDariNcFilesUnpacked, yang merupakan varian dariEDDGridDariNcFiles yang membongkar data yang dikemas dan mengstandardisasi nilai waktu pada tingkat rendah untuk menangani file koleksi yang memiliki berbagaiscale\_factorSitemapadd\_offset, atau unit waktu yang berbeda.)
NCOGratis dan Open Source Software yang menggunakanGPL 3.0Login
Contoh #1: Membuat Unit Tetap
EDDGridDari File dan EDDTable Dari file insist bahwa unit untuk variabel tertentu identik dalam semua file. Jika beberapa file trivially (tidak berfungsi) berbeda dari orang lain (misalnya, unit waktu
"detik sejak 1970-01 00:00:00 UTC" versus
"seconds since 1970-01-01T00:00:00Z"Anda bisa menggunakanNCOSitemapLogin. untuk mengubah unit di semua file yang identik dengan
nco/ncatted -a unit, waktu, o, c, detik sejak 1970-01T00:00Z' \*.nc
\[Untuk banyak masalah seperti ini di EDDTableDari... File dataset, Anda sekarang dapat menggunakanLogin SitemapSitemapERDDAPuntuk menstandardisasi file sumber karena mereka membacaERDDAPSitemap\]
Batasi Ukuran Dataset
Anda akan melihat banyak referensi ke "2 miliar" di bawah. Lebih akurat, itu adalah referensi ke 2,147,483,647 (2^31-1) , yang merupakan nilai maksimum dari bilangan bulat yang ditandatangani 32-bit. Dalam beberapa bahasa komputer, misalnyaJava (SitemapERDDAP™ditulis dalam) , itu adalah jenis data terbesar yang dapat digunakan untuk banyak struktur data (misalnya, ukuran array) Sitemap
Untuk nilai String (misalnya, untuk nama variabel, nama atribut, nilai atribut String, dan nilai data String) Jumlah karakter maksimum per String dalamERDDAP™adalah ~ 2 miliar. Tetapi dalam hampir semua kasus, akan ada masalah kecil atau besar jika String melebihi ukuran yang wajar (misalnya, 80 karakter untuk nama variabel dan nama atribut, dan 255 karakter untuk sebagian besar nilai atribut String dan nilai data) Sitemap Misalnya, halaman web yang menampilkan nama variabel panjang akan lebar dan nama variabel yang panjang akan terpotong jika mereka melebihi batas jenis file respons.
Untuk dataset gridded:
- Jumlah maksimumaxisVariables adalah ~ 2 miliar. Jumlah maksimumdataVariables adalah ~ 2 miliar. Tapi jika dataset memiliki > 100 variabel, itu akan kubersome untuk pengguna untuk digunakan. Dan jika dataset memiliki > 1 juta variabel, server Anda akan membutuhkan banyak memori fisik dan akan ada masalah lain.
- Ukuran maksimum setiap dimensi (axisVariable) adalah nilai ~ 2 miliar.
- Saya pikir jumlah maksimum sel (produk semua ukuran dimensi) tidak terbatas, tetapi mungkin ~ 9e18.
Untuk set data tabel:
- Jumlah maksimumdataVariables adalah ~ 2 miliar. Tapi jika dataset memiliki > 100 variabel, itu akan kubersome untuk pengguna untuk digunakan. Dan jika dataset memiliki > 1 juta variabel, server Anda akan membutuhkan banyak memori fisik dan akan ada masalah lain.
- Jumlah sumber maksimum (misalnya, file) yang dapat di agregat adalah ~ 2 miliar.
- Dalam beberapa kasus, jumlah baris maksimum dari sumber individu (misalnya, file, tapi bukan database) adalah ~ 2 miliar baris.
- Saya tidak berpikir ada batas lain. Meme it
Untuk dataset gridded dan tabular, ada beberapa batas internal pada ukuran subset yang dapat diminta oleh pengguna dalam satu permintaan (sering berhubungan dengan >2 miliar dari sesuatu atau ~9e18 dari sesuatu) tapi jauh lebih mungkin bahwa pengguna akan memukul batas spesifik tipe file.
- NetCDFversi 3.ncfile terbatas pada 2GB byte. (Jika ini benar-benar masalah bagi seseorang, beri tahu saya: Saya bisa menambahkan dukungan untukNetCDFversi 3.ncEkstensi 64-bit atauNetCDFVersi 4, yang akan meningkatkan batas secara signifikan, tetapi tidak terbatas.)
- Browser crash setelah hanya ~ 500MB data, sehinggaERDDAP™membatasi respons terhadap.htmlTablepermintaan untuk ~ 400MB data.
- Banyak program analisis data memiliki batas yang sama (misalnya, ukuran maksimum dimensi sering ~ 2 miliar nilai) , jadi tidak ada alasan untuk bekerja keras untuk mencapai batas spesifik tipe file.
- Batas spesifik tipe file berguna dalam bahwa mereka mencegah permintaan naif untuk jumlah data yang benar-benar besar (misalnya, "menggemukan saya semua dataset ini" ketika dataset memiliki 20TB data) , yang akan mengambil minggu atau bulan untuk diunduh. Semakin lama download, semakin mungkin akan gagal untuk berbagai alasan.
- Batas spesifik tipe file berguna karena mereka memaksa pengguna untuk berurusan dengan subset berukuran cukup (misalnya, berurusan dengan dataset gridded besar melalui file dengan data dari satu titik waktu setiap) Sitemap
Beralih ke ACDD-1.3
Sitemap (SitemapLogin) SitemapVersi ACDD 1.3, yang dikukur pada awal 2015 dan yang disebut sebagai "ACDD-1.3" dalam atribut Konvensi global. SitemapERDDAP™versi 1.62 (dirilis pada Juni 2015) LoginERDDAP™digunakan / diubah asli, versi 1.0, dariNetCDFKonvensi Menarik untuk Penemuan Datasetyang disebut sebagai "UnidataDataset Discovery v1.0" dalam Konvensi global danMetadata\_ConventionsSitemap
Jika dataset Anda menggunakan versi sebelumnya ACDD, kami RECOMMEND bahwa Anda beralih ke ACDD-1.3. Tidak sulit. ACDD-1.3 sangat kompatibel dengan versi 1.0. Untuk beralih, untuk semua dataset (SitemapEDDGridDariErddap dan EDDTable Sitemap) Sitemap
- Hapus global yang baru didepresiMetadata\_Conventionsatribut dengan menambahkan (atau dengan mengubah yang adaMetadata\_ConventionsLogin)
<att name="Metadata\\_Conventions">null</att>
ke global dataset<addAttributesSitemap 2. Jika dataset memiliki atribut Konvensi di global<addAttributesSitemapUnidataDataset Discovery v1.0" mengacu pada "ACDD-1.3". Jika dataset tidak memiliki atribut Konvensi di global<addAttributes>, kemudian tambahkan satu yang mengacu pada ACDD-1.3. Sitemap
<att name="Conventions">COARDS, CF-1.6, ACDD-1.3</att>
3. Jika dataset memiliki globalstandard\_name\_vocabularyatribut, ubah format nilai, misalnya,
<att name="standard\\_name\\_vocabulary">CF Standard Name Table v65</att>
Jika referensi adalah versi lama dariStandar CF tabel namaSitemap mungkin ide yang baik untuk beralih ke versi saat ini (65, seperti yang kita tulis ini) , karena nama standar baru ditambahkan ke tabel dengan versi berikutnya, tetapi nama standar lama jarang diuraikan dan tidak pernah dihapus. 4. Meskipun ACDD-1.0 termasuk atribut global untukcreator\_nameLogincreator\_emailLogincreator\_urlLoginLogintidak secara otomatis menambahkannya sampai kadang-kadang sekitar Meme itERDDAP™v1.50. Informasi penting ini:
- creator\_namememungkinkan pengguna tahu / mengutip pencipta dataset.
- creator\_emailmemberitahu pengguna alamat email pilihan untuk menghubungi pencipta dataset, misalnya jika mereka memiliki pertanyaan tentang dataset.
- creator\_urlmemberikan pengguna cara untuk mengetahui lebih lanjut tentang pencipta.
- ERDDAP™menggunakan semua informasi ini ketika menghasilkan dokumen metadata FGDC dan ISO 19115-2/19139 untuk setiap dataset. Dokumen-dokumen tersebut sering digunakan oleh layanan pencarian eksternal.
Harap tambahkan atribut ini ke global dataset<addAttributesSitemap
<att name="creator\\_name">NOAA NMFS SWFSC ERD</att>
<att name="creator\\_email">erd.data@noaa.gov</att>
<att name="creator\\_url">https://www.pfeg.noaa.gov</att>
Itu. Meme it Saya berharap tidak terlalu keras. Meme it
Login
Versi 2.25ERDDAP™dapat membaca lokal Zarr fileLoginLoginEDDGridLoginSitemap
(Juni 2019) Kita bisa dengan mudah salah, tapi kita belum yakin bahwa Meme itLogin, atau sistem serupa yang memecah file data menjadi chunks yang lebih kecil, adalah solusi yang bagus untuk masalahERDDAP™membaca data yang disimpan dalam layanan cloud seperti Amazon AWS S3. Zarr adalah teknologi hebat yang telah menunjukkan kegunaannya dalam berbagai situasi, kita tidak yakin bahwaERDDAP+S3 akan menjadi salah satu situasi tersebut. Sebagian besar kita mengatakan: sebelum kita terburu-buru untuk membuat upaya untuk menyimpan semua data kita di Zarr, mari kita melakukan beberapa tes untuk melihat apakah itu benar-benar solusi yang lebih baik.
Masalah dengan mengakses data di cloud adalah latency (lag untuk pertama mendapatkan data) dan akses tingkat file (daripada akses level blok) Sitemap Zarr memecahkan masalah akses tingkat file, tetapi tidak ada latency. Dibandingkan dengan hanya mengunduh file (sehingga dapat dibaca sebagai file lokal dengan akses tingkat blok) , Zarr bahkan dapat memperburuk masalah latensi karena, dengan Zarr, membaca file sekarang melibatkan serangkaian beberapa panggilan untuk membaca bagian yang berbeda dari file (masing-masing dengan lag sendiri) Sitemap Masalah latency dapat diselesaikan dengan paralelisasi permintaan, tetapi itu adalah solusi tingkat tinggi, tidak tergantung pada Zarr.
Dan dengan Zarr (Database) Kami kehilangan kenyamanan memiliki file data menjadi file sederhana, satu yang dapat dengan mudah memverifikasi integritas, atau membuat/download salinan.
ERDDAP™ (di v2) memiliki sistem untuk mempertahankan cache file lokal dari sumber URL (g., S3) Login<cacheDariUrl> dan<Login (Login) Sitemap Dan yang baru [<Sitemap (Login) harus meminimalkan masalah latency dengan memisahkan retrieval data pada tingkat tinggi.<cacheDariUrl> tampaknya bekerja dengan sangat baik untuk banyak skenario. (Kami tidak yakin bagaimana bermanfaat<nThreads> tanpa tes lebih lanjut.) Kami mengakui kami belum melakukan tes waktu pada instance AWS dengan koneksi jaringan yang baik, tetapi kami telah berhasil diuji dengan berbagai sumber URL dari file. DanERDDAPSitemap<cacheDariUrl> bekerja dengan jenis file data (Login.ncLogin.hdf.csv,.jsonlCSV) , bahkan jika dikompresi secara eksternal (Login.gz) tanpa perubahan pada file (e.g., menulis ulang mereka sebagai koleksi Zarr) Sitemap
Kemungkinan skenario yang berbeda akan mendukung solusi yang berbeda, misalnya, hanya perlu membaca bagian dari file sekali (Login) , vs. perlu membaca semua file sekali, vs. perlu membaca bagian atau semua file berulang kali (<cacheDariUrl> akan menang).
Sebagian besar kita mengatakan: sebelum kita terburu-buru untuk membuat upaya untuk menyimpan semua data kita di Zarr, mari kita melakukan beberapa tes untuk melihat apakah itu benar-benar solusi yang lebih baik.
- Sitemap
Daftar Jenis Dataset
Jika Anda memerlukan bantuan memilih jenis dataset yang tepat, lihatMemilih Jenis DatasetSitemap
Jenis dataset jatuh ke dalam dua kategori. (Sitemap)
EDDGrid
- EDDGrid dataset menangani data gridded.
- SitemapEDDGriddataset, variabel data adalah array multi-dimensi data.
- Tidak ada variabel sumbu untuk setiap dimensi. Variabel Axis MUST ditentukan dalam urutan variabel data menggunakannya.
- SitemapEDDGriddataset, semua variabel data penggunaan MUST (Login) semua variabel sumbu. (Sitemap Bagaimana jika mereka tidak?)
- Nilai Dimensi Terurut - SitemapEDDGriddataset, setiap dimensi MUST dalam urutan yang diurutkan (menangguhkan atau turun) Sitemap Masing-masing dapat disampingkan. Tidak ada hubungan. Ini adalah persyaratanStandar metadata CFSitemap Jika nilai dimensi tidak dalam urutan yang diurutkan, dataset tidak akan dimuat danERDDAP™akan mengidentifikasi nilai pertama yang tidak disortasi dalam file log, Login Login
Beberapa subklas memiliki pembatasan tambahan (mungkin,EDDGridAggregateExistingDimensi mengharuskan dimensi luar (paling, pertama) akan berakhir.
Unsorted nilai dimensi hampir selalu menunjukkan masalah dengan dataset sumber. Ini paling sering terjadi ketika file yang salah atau tidak pantas disertakan dalam agregasi, yang mengarah pada dimensi waktu yang tidak disortir. Untuk memecahkan masalah ini, lihat pesan kesalahan di Meme itERDDAP™file log.txt untuk menemukan nilai waktu offending. Kemudian lihat file sumber untuk menemukan file yang sesuai (atau satu sebelum atau satu setelah) yang tidak termasuk dalam agregasi. Meme it
- Lihat deskripsi yang lebih lengkap tentangEDDGriddata modelSitemap
- LoginEDDGridjenis dataset adalah:
- EDDGridSitemapagregat data dari sekelompok file audio lokal.
- EDDGridLoginmenangani data gridded dariDAPserver.
- EDDGridSitemapmemungkinkan Anda mengonversikan dataset tabular ke dataset gridded.
- EDDGridLoginmenangani data gridded dari jarak jauhERDDAPSitemap
- EDDGridLoginhanya menangani data topografi ETOPO built-in.
- EDDGridLoginadalah kelas super dari semuaEDDGridDari kelas...Files.
- EDDGridLoginagregat data dari kelompok MergeIR lokal.gzLogin
- EDDGridLoginagregat data dari kelompok lokalNetCDF (v3 atau v4) .ncdan file terkait.
- EDDGridDariNcFilesUnpackedadalah varian jikaEDDGridDariNcFiles yang juga mengumpulkan data dari sekelompok lokalNetCDF (v3 atau v4) .ncdan file terkait, yangERDDAP™unpacks pada tingkat rendah.
- EDDGridLonPM180merubah nilai garis bujur anakEDDGridsehingga mereka berada di kisaran -180 hingga 180.
- EDDGridLon0360merubah nilai garis bujur anakEDDGridsehingga mereka berada dalam kisaran 0 hingga 360.
- EDDGridLoginagregat dua atau lebihEDDGridsisi dataset dengan sisi.
- EDDGridLoginagregat dua atau lebihEDDGriddataset, masing-masing yang memiliki berbagai nilai untuk dimensi pertama, tetapi nilai identik untuk dimensi lain.
- EDDGridLogindapat membuat salinan lokal lainEDDGridData dan menyajikan data dari salinan lokal.
- SitemapEDDGriddataset mendukung pengaturan nThreads, yang memberitahukanERDDAP™berapa banyak benang untuk digunakan ketika menanggapi permintaan. SitemapLogindokumentasi untuk rincian.
Login
- Login dataset menangani data tabel.
- Data tabular dapat diwakili sebagai tabel seperti database dengan baris dan kolom. Setiap kolom (variabel data) memiliki nama, satu set atribut, dan menyimpan hanya satu jenis data. Setiap baris memiliki observasi (atau kelompok nilai terkait) Sitemap Sumber data mungkin memiliki data dalam struktur data yang berbeda, struktur data yang lebih rumit, dan / atau beberapa file data, tetapiERDDAP™harus dapat meratakan data sumber ke tabel seperti database untuk menyajikan data sebagai data tabel untuk penggunaERDDAPSitemap
- Lihat deskripsi yang lebih lengkap tentangModel data yang dapat dibuktikanSitemap
- Jenis dataset EDDTable adalah:
-
Sitemapadalah dataset tingkat tinggi yang memiliki informasi tentang semua dataset lain di AndaERDDAPSitemap
-
Loginagregat data dari comma-, tab-, semicolon-, atau file data tabular yang dipisahkan ruang.
-
Sitemapadalah kelas super dari semua kelas EDDTableDariAsciiService ....
-
Sitemapmenangani data dari beberapa Meme itNOAALayanan web NOS.
-
Datasheetagregat data dari sekelompok file audio lokal.
-
Login Loginagregat data dari satu set Stasiun Cuaca Otomatis (Login) XML API
-
Loginmenangani data tabular dari satu meja Cassandra.
-
Sitemapagregat data dari file data tabular ASCII dengan kolom data tetap lebar.
-
Loginmenangani data tabular dariDAPserver urutan.
-
Loginmenangani data tabular dari satu tabel database.
-
LoginEDDGridmemungkinkan Anda membuat dataset EDDTable dariEDDGridLogin
-
Loginmenangani data tabular dari jarak jauhERDDAPSitemap
-
Loginmembuat dataset dari informasi tentang sekelompok file dalam sistem file server, tetapi tidak melayani data dari dalam file.
-
Loginadalah kelas super dari semua kelas EDDTableDari...Files.
-
LoginSitemapERDDAPSatu-satunya sistem untuk impor data serta ekspor data.
-
LoginHyraxLogin (Login) agregat data dari file dengan beberapa variabel dengan dimensi bersama yang dilayani olehHyrax OPeNDAPLoginSitemap
-
Logindata agregat dariNetCDF (v3 atau v4) .ncfile yang menggunakan khusus, tidak valid, varian CF DSG Contiguous Ragged Array (Login) Login LoginERDDAP™mendukung jenis file ini, itu adalah jenis file yang tidak valid yang tidak ada yang harus mulai menggunakan. Kelompok yang saat ini menggunakan jenis file ini sangat didorong untuk digunakanERDDAP™untuk menghasilkan file CF DSG CRA yang valid dan berhenti menggunakan file ini.
-
Logindata agregat dariLogin Garis file CSVSitemap
-
Sitemapdata agregat dariNetCDF (v3 atau v4) .ncfile dengan beberapa variabel dengan dimensi bersama.
-
Logindata agregat dariNetCDF (v3 atau v4) .ncfile dengan beberapa variabel dengan dimensi bersama. Sangat baik untuk terus menggunakan jenis dataset ini untuk dataset yang ada, tetapi untuk dataset baru kami merekomendasikan menggunakan EDDTableDariMultidimNcFiles.
-
Sitemapdata agregat dariNetCDF (v3 atau v4) .ncfile yang menggunakan salah satu format file yang ditentukan olehLogin Sitemap (Login) konvensi. Tapi untuk file menggunakan salah satu varian CF DSG multidimensional, gunakanSitemapSitemap
-
Login (Login) menangani data tabular dari server NOS XML.
-
Sitemapmenangani data tabular dari server OBIS.
-
LoginSOSmenangani data tabular dariSOSserver.
-
Sitemap (Login) agregat data dari file dengan beberapa variabel dengan dimensi bersama yang dilayani olehLoginOPeNDAPLoginSitemap
-
LoginWFSLogin (Login) membuat salinan lokal dari semua data dariArcGISLoginWFSserver sehingga data kemudian dapat diakses kembali dengan cepat Meme itERDDAP™pengguna.
-
Logindapat membuat dataset EDDTable dari sekelompok dataset EDDTable.
-
Logindapat membuat salinan lokal dari banyak jenis dataset EDDTable dan kemudian mengamati kembali data dengan cepat dari salinan lokal.
-
- Sitemap
Deskripsi terperinci dari Jenis Dataset
EDDGridLogin
EDDGridLogin menangani variabel grid dariDAPserver.
- Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Anda dapat mengumpulkan informasi yang Anda butuhkan untuk mengubah atau membuat XML Anda sendiri untukEDDGridDariDap dataset dengan melihat file DDS dan DAS dataset sumber di browser Anda (dengan menambahkan .das dan .dds kesourceUrl, misalnya, https://thredds1.pfeg.noaa.gov/thredds/dodsC/satellite/BA/ssta/5day.dds ) Sitemap
- EDDGridDariDap dapat mendapatkan data dari variabel multi-dimensi dariDAPserver data. (SitemapEDDGridDariDap terbatas pada variabel yang ditunjuk sebagai "grid", tetapi tidak lagi persyaratan.)
- Nilai Dimensi Terurut - Nilai untuk setiap dimensi MUST dalam urutan yang diurutkan (menangguhkan atau turun) Sitemap Nilai-nilai dapat disampingkan. Tidak ada hubungan. Ini adalah persyaratanStandar metadata CFSitemap Jika nilai dimensi tidak dalam urutan yang diurutkan, dataset tidak akan dimuat danERDDAP™akan mengidentifikasi nilai pertama yang tidak disortasi dalam file log, Login Login
Unsorted nilai dimensi hampir selalu menunjukkan masalah dengan dataset sumber. Ini paling sering terjadi ketika file yang salah atau tidak pantas disertakan dalam agregasi, yang mengarah pada dimensi waktu yang tidak disortir. Untuk memecahkan masalah ini, lihat pesan kesalahan di Meme itERDDAP™file log.txt untuk menemukan nilai waktu offending. Kemudian lihat file sumber untuk menemukan file yang sesuai (atau satu sebelum atau satu setelah) yang tidak termasuk dalam agregasi. Meme it
EDDGridSitemap Login
<dataset type="EDDGridFromDap" datasetID\="..." active\="..." >
<sourceUrl>...</sourceUrl>
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1.
For EDDGridFromDap, this gets the remote .dds and then gets the new
leftmost (first) dimension values. -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<addAttributes>...</addAttributes> <!-- 0 or 1 -->
<axisVariable>...</axisVariable> <!-- 1 or more -->
<dataVariable>...</dataVariable> <!-- 1 or more -->
</dataset>
EDDGridSitemap
EDDGridSitemap memungkinkan Anda mengonversikan dataset tabular EDDTable menjadiEDDGriddataset gridded. SitemapERDDAP™memperlakukan dataset baikDatabase (subklasEDDGrid) atau tabular dataset (subclass dari EDDTable) Sitemap
- Biasanya, jika Anda memiliki data gridded, Anda hanya mengaturEDDGriddataset langsung. Kadang-kadang ini tidak mungkin, misalnya, ketika Anda memiliki data yang disimpan dalam database hubunganERDDAP™hanya dapat diakses melalui EDDTableFromDatabase.EDDGridDari kelasEDDTable memungkinkan Anda obat situasi itu.
- Jelas, data dalam dataset EDDTable yang mendasari harus (Sitemap) data gridded, tetapi dalam bentuk tabel. Misalnya, dataset EDDTable mungkin memiliki data CTD: pengukuran arus timur dan ke utara, pada beberapa kedalaman, pada beberapa kali. Karena kedalaman yang sama pada setiap titik waktu,EDDGridDariEDDTable dapat membuat dataset gridded dengan waktu dan dimensi kedalaman yang mengakses data melalui dataset EDDTable yang mendasari.
- Login Login Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Anda dapat mengumpulkan informasi yang Anda butuhkan untuk meningkatkan draft kasar.
- WordPress.org Seperti semua jenis dataset lainnya,EDDGridDariTable memiliki gagasan bahwa ada sumber globalAttributes danSitemapaddAttributes (ditentukan dalamdatasets.xml) , yang dikombinasikan untuk membuat gabungan global Atribut, yang apa yang dilihat pengguna. Untuk sumber globalAttributes,EDDGridDariEDDTable menggunakan gabungan global Atribut dataset EDDTable yang mendasari. (Jika Anda berpikir tentang itu selama satu menit, itu masuk akal.)
Demikian pula, untuk masing-masingaxisVariableSitemapdataVariableSitemapaddAttributesLoginEDDGridDariEDDTable menggunakan gabungan variabel Atribut dari dataset EDDTable yang mendasarinyaEDDGridDari sumber variabel yang dapat dibuktikan. (Jika Anda berpikir tentang itu selama satu menit, itu masuk akal.)
Sebagai konsekuensi, jika EDDTable memiliki metadata yang baik,EDDGridDariEDDTable sering perlu sangat sedikitaddAttributesmetadata -- hanya beberapa tweak di sini dan ada. Meme it
-
dataVariableLoginaxisVariableSitemap EDDTable yang mendasari hanyadataVariableSitemap LoginEDDGridDari dataset yang dapat dibuktikan akan memiliki beberapaaxisVariableLogin (dibuat dari beberapa EDDTabledataVariableLogin) dan beberapadataVariableLogin (dibuat dari EDDTable yang tersisadataVariableLogin) SitemapLoginakan membuat kira seperti yang EDDTable Meme itdataVariableharus menjadiEDDGridSitemapaxisVariables, tapi itu hanya kira. Meme it Anda perlu memodifikasi output GenerateDatasetsXml untuk menentukan yangdataVariableSitemapaxisVariables, dan dalam urutan.
-
Sitemap Tidak ada apa-apa tentang EDDTable yang mendasari untuk memberitahu Meme itEDDGridDariEDDTable nilai-nilai yang mungkin dariaxisVariables dalam versi gridded dari dataset, sehingga Anda MUST memberikan informasi untuk setiapaxisVariablemelalui salah satu atribut ini:
- axisValues -- memungkinkan Anda menentukan daftar nilai. Sitemap <nama att="axisValues"Mengetik="doubleList"\>2, 2.5, 3, 3,5, 4<Login Perhatikan penggunaanjenis dataditambah Daftar kata. Juga, jenis daftar (misalnya, ganda) MUST cocok dengan data Jenis variabel di EDDTable danEDDGridDari set data yang dapat disesuaikan.
- axisValuesStartStrideStop -- memungkinkan Anda menentukan urutan nilai ruang secara teratur dengan menentukan awal, stride, dan menghentikan nilai. Berikut adalah contoh yang setara dengan contoh sumbu di atas: <nama att="axisValuesStartStrideStop"Mengetik="doubleList"g<Login Sekali lagi, perhatikan penggunaan jenis data daftar. Juga, jenis daftar (misalnya, ganda) MUST cocok dengan data Jenis variabel di EDDTable danEDDGridDari set data yang dapat disesuaikan.
Update -- Sama seperti tidak ada cara untuk Meme itEDDGridDariEDDTable untuk menentukan nilai sumbu dari EDDTable awalnya, ada juga tidak ada cara yang dapat diandalkan untukEDDGridDariEDDTable untuk menentukan dari EDDTable ketika sumbuValues telah berubah (tidak dapat, ketika ada nilai baru untuk variabel waktu) Sitemap Saat ini, satu-satunya solusi adalah untuk mengubah atribut sumbu Nilai dalamdatasets.xmldan isi ulang dataset. Misalnya, Anda bisa menulis skrip ke
- Logindatasets.xmlSitemap datasetIDSitemap Login Sitemap sehingga Anda bekerja dengan dataset yang benar.
- Logindatasets.xmluntuk kejadian berikutnya
Login
sehingga Anda bekerja dengan variabel yang benar. - Logindatasets.xmluntuk kejadian berikutnya
<att name="axisValuesStartStrideStop" type="doubleList">
jadi Anda tahu posisi awal tag. Meme it 4. Logindatasets.xmluntuk kejadian berikutnya
</att>
jadi Anda tahu posisi akhir nilai sumbu. 5. Ganti start lama, stride, menghentikan nilai dengan nilai baru. 6. SitemapURLuntuk dataset untuk memberitahukanERDDAP™untuk memuat ulang dataset.
Ini tidak ideal, tetapi bekerja.
- presisi - SitemapEDDGridDariEDDTable menanggapi permintaan pengguna untuk data, itu memindahkan baris data dari tabel respons EDDTable keEDDGridgrid respons. Untuk melakukan ini, ia harus mencari tahu apakah nilai "sumbu" pada baris tertentu dalam tabel cocok beberapa kombinasi nilai sumbu di grid. Untuk jenis data integer, mudah untuk menentukan apakah dua nilai sama. Tetapi untuk mengapung dan menggandakan, ini membawa masalah yang mengerikan dari nomor titik mengambangtidak cocok persis Meme itSitemap (misalnya, 0,2 versus 0.199999999999996) Sitemap Sitemap (Sitemap) berurusan dengan ini,EDDGridDariTable memungkinkan Anda menentukan atribut presisi untuk setiapaxisVariables, yang menentukan jumlah total digit desimal yang harus identik.
- Sitemap<nama att="precision" type="int">5<Login
- Untuk berbagai jenis variabel data, ada nilai presisi default yang berbeda. Standar biasanya sesuai. Jika mereka tidak, Anda perlu menentukan nilai yang berbeda.
- SitemapaxisVariableSitemapwaktu atau waktu variabel Stampdefault adalah presisi penuh (pertandingan yang tepat) Sitemap
- SitemapaxisVariables yang mengapung, presisi default adalah 5.
- SitemapaxisVariables yang ganda, presisi default adalah 9.
- SitemapaxisVariables yang memiliki jenis data integer,EDDGridDariEDDTable mengabaikan atribut presisi dan selalu menggunakan presisi penuh (pertandingan yang tepat) Sitemap
- Login Ketika melakukan konversi chunk data tabel ke dalam chunk data gridded, jikaEDDGridDariEDDTable tidak dapat mencocokkan nilai "axis" EDDTable ke salah satu yang diharapkanEDDGridDari nilai sumbu yang dapat dibuktikan,EDDGridDariEDDTable diam-diam (tidak ada kesalahan) membuang data dari baris tabel itu. Misalnya, mungkin ada data lain (tidak di grid) di dataset EDDTable. (Dan jika stride > 1, tidak jelas untukEDDGridDariTabel nilai sumbu mana nilai yang diinginkan dan yang merupakan salah satu yang harus digesek karena helai.) Jadi, jika nilai-nilai presisi terlalu tinggi, pengguna akan melihat nilai-nilai yang hilang dalam respon data ketika nilai data yang valid sebenarnya ada.
Sebaliknya, jika nilai presisi ditetapkan terlalu rendah, nilai "sumbu" EDDTable yang tidak cocokEDDGridNilai sumbu yang dapat dibuktikan akan (Login) Sitemap
Masalah potensial ini mengerikan, karena pengguna mendapatkan data yang salah (atau nilai yang hilang) ketika mereka harus mendapatkan data yang tepat (atau setidaknya pesan kesalahan) Sitemap Ini bukan kekuranganEDDGridSitemapEDDGridDariTable tidak bisa memecahkan masalah ini. Masalahnya melekat dalam konversi data tabel ke data gridded (kecuali asumsi lain dapat dibuat, tetapi mereka tidak bisa dibuat di sini) Sitemap Itu sampai Anda, Meme itERDDAP™administrator, untuk SitemapEDDGridDariEDDTable secara menyeluruh untuk memastikan bahwa nilai presisi ditetapkan untuk menghindari masalah potensial ini.
Login
- LoginLogin Ini adalah jenis dataset yang sangat tidak biasa. Karena jenis pertanyaan yang dapat dibuat untuk (Sitemap) LoginEDDGridLogin (terkait dengan kisaran dan strides dariaxisVariableLogin) sangat berbeda dari jenis pertanyaan yang dapat dibuat untuk (Sitemap) Database (hanya berkaitan dengan kisaran beberapa variabel) , kinerjaEDDGridDari dataset yang dapat disesuaikan akan sangat bervariasi tergantung pada permintaan yang tepat yang dibuat dan kecepatan dataset EDDTable yang mendasari. Untuk permintaan yang memiliki nilai stride > 1,EDDGridDariEDDTable dapat meminta EDDTable yang mendasari untuk chunk data yang relatif besar (seolah-olah stride=1) dan kemudian menyedot hasil, menjaga data dari beberapa baris dan membuang data dari orang lain. Jika harus menyemprot melalui banyak data untuk mendapatkan data yang dibutuhkan, permintaan akan memakan waktu lebih lama.
SitemapEDDGridDariEDDTable dapat memberitahu bahwa akan ada kesenjangan besar (dengan baris data yang tidak diinginkan) antara baris dengan data yang diinginkan,EDDGridDariEDDTable dapat memilih untuk membuat beberapa pertanyaan ke EDDTable yang mendasari bukan satu permintaan besar, sehingga melewatkan baris data yang tidak diinginkan dalam kesenjangan besar. Sensitivitas keputusan ini dikendalikan oleh nilai gapThreshold sebagaimana ditentukan dalam<WordPress.org (default=1000 baris data sumber) Sitemap Menyiapkan gapThreshold ke nomor yang lebih kecil akan menyebabkan pembuatan dataset (Sitemap) lebih banyak pertanyaan. Menyiapkan gapThreshold ke nomor yang lebih besar akan menyebabkan pembuatan dataset (Sitemap) sedikit pertanyaan.
Jika gapThreshold diatur terlalu kecil,EDDGridDariEDDTable akan beroperasi lebih lambat karena overhead beberapa permintaan akan lebih besar dari waktu yang disimpan dengan mendapatkan beberapa data berlebih. Jika gapThreshold diatur terlalu besar,EDDGridDariEDDTable akan beroperasi lebih lambat karena begitu banyak data berlebih akan diambil dari EDDTable, hanya untuk dibuang. (Seperti Goldilocks ditemukan, tengah "hanya benar".) overhead untuk berbagai jenis dataset EDDTable sangat, sehingga satu-satunya cara untuk mengetahui pengaturan terbaik yang sebenarnya untuk dataset Anda melalui eksperimen. Tapi Anda tidak akan pergi terlalu jauh salah menempel pada default.
Contoh sederhana adalah: Bayangkan sebuahEDDGridDariTable dengan hanya satuaxisVariable (waktu, dengan ukuran 100000) SitemapdataVariable (Temperatur) , dan gapThreshold default 1000.
- Jika suhu permintaan pengguna\[0💯5000\], stride adalah 100 sehingga ukuran celah 99, yang kurang dari kesenjangan. LoginEDDGridDariTable akan membuat hanya satu permintaan untuk EDDTable untuk semua data yang diperlukan untuk permintaan (setara dengan suhu\[Chili\]) dan membuang semua baris data yang tidak perlu.
- Jika suhu permintaan pengguna\[0:2500:5000\], itu stride adalah 2500 sehingga ukuran celah 2499, yang lebih besar dari kesenjangan. LoginEDDGridDariTable akan membuat permintaan terpisah ke EDDTable yang setara dengan suhu\[Sitemap\]Temperatur\[Login\]Temperatur\[Login\]Sitemap
Perhitungan ukuran celah lebih rumit ketika ada beberapa sumbu.
Untuk setiap permintaan pengguna,EDDGridDari pesan diagnostik cetak yang dapat dibuktikan yang berkaitan dengan ini diLoginLogin
- Sitemap<Login (Login) Sitemapdatasets.xmldiatur ke info, ini mencetak pesan seperti \* nOuterAxes=1 dari 4 nOuterRequests=22 Jika nOuterAxes=0, gapThreshold tidak melebihi dan hanya satu permintaan akan dibuat untuk EDDTable. Jika nOuterAxes>0, gapThreshold melebihi dan nOuterRequests akan dibuat untuk EDDTable, sesuai dengan setiap kombinasi yang diminta dari nOuterAxes paling kiri. Contohnya, jika dataset memiliki 4axisVariableSitemapdataVariables seperti ragi\[Sitemap\]\[Login\]\[Login\]\[Login\]Login (Login) variabel sumbu adalah waktu.
- Sitemap<Login Sitemapdatasets.xmldiatur ke semua, informasi tambahan ditulis ke file log.txt.
EDDGridFromEDDTable skeleton Login
<dataset type="EDDGridFromEDDTable" datasetID\="..." active\="..." >
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1.
For EDDGridFromEDDTable, this only works if the underlying EDDTable
supports updateEveryNMillis. -->
<gapThreshold>...</gapThreshold> <!-- 0 or 1. The default is 1000. >
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<addAttributes>...</addAttributes> <!-- 0 or 1 -->
<axisVariable>...</axisVariable> <!-- 1 or more -->
<dataVariable>...</dataVariable> <!-- 1 or more -->
<dataset>...</dataset> <!-- The underlying source EDDTable dataset. -->
</dataset>
SitemapERDDAP
EDDGridLogin menangani data gridded dari jarak jauhERDDAP™Login Login menangani data tabular dari jarak jauhERDDAP™Login
- EDDGridDariErddap dan EDDTableDariErddap behave berbeda dari semua jenis dataset lainnya diERDDAPSitemap
- Seperti jenis dataset lain, dataset ini mendapatkan informasi tentang dataset dari sumber dan menyimpannya dalam memori.
- Seperti jenis dataset lain, ketikaERDDAP™mencari dataset, menampilkan Formulir Akses Data ( datasetID Login) , atau menampilkan bentuk Make A Graph ( datasetID Login) LoginERDDAP™menggunakan informasi tentang dataset yang dalam memori.
- EDDGridDariErddap dan EDDTable DariErddap adalah dasar untukgrids/clusters/federationLoginERDDAPs, yang secara efisien mendistribusikan penggunaan CPU (sebagian besar untuk membuat peta) , penggunaan memori, penyimpanan dataset, dan penggunaan bandwidth dari pusat data besar.
Login
- Tidak seperti jenis dataset lain, ketikaERDDAP™menerima permintaan data atau gambar dari dataset ini,ERDDAP Loginpermintaan ke remoteERDDAP™Login Hasilnya:
- Ini sangat efisien (CPU, memori, dan bandwidth) karena
- KompositERDDAP™harus mengirim permintaan kepada pihak lainERDDAP™ (yang membutuhkan waktu) Sitemap
- LoginERDDAP™harus mendapatkan data, memformatnya, dan mengirimkan data ke kompositERDDAPSitemap
- KompositERDDAP™harus menerima data (menggunakan bandwidth) , memformatnya (menggunakan CPU dan memori) dan mentransmisikan data ke pengguna (menggunakan bandwidth) Sitemap Dengan mengarahkan permintaan dan memungkinkan yang lainERDDAP™untuk mengirim respons langsung ke pengguna, kompositERDDAP™menghabiskan pada dasarnya tidak ada waktu CPU, memori, atau bandwidth atas permintaan.
- Redirect transparan ke pengguna terlepas dari perangkat lunak klien (browser atau perangkat lunak atau alat baris perintah lainnya) Sitemap
- Ini sangat efisien (CPU, memori, dan bandwidth) karena
- Anda dapat memberitahukanERDDAP™tidak mengarahkan permintaan pengguna dengan pengaturan<Login</redirect>, tetapi ini mengabaikan sebagian besar keuntungan dari ...DariErddap jenis dataset (tidak dapat, membubarkan beban di ujung depanERDDAP™ke remote/backendERDDAP) Sitemap
Sitemap
Biasanya, ketikaEDDGridDariErddap dan EDDTable Sitemap (Sitemap) dimuat pada AndaERDDAP, mereka mencoba untuk menambahkan berlangganan ke dataset jarak jauh melalui remoteERDDAP's email/URL sistem berlangganan. Dengan cara itu, setiap perubahan dataset jarak jauh, jarak jauhERDDAP™SitemapLogin URL:AndaERDDAP™sehingga dataset lokal diisi ulang ASAP dan sehingga dataset lokal selalu up-to-date dan meniru dataset jarak jauh. Jadi, pertama kali ini terjadi, Anda harus mendapatkan permintaan email bahwa Anda memvalidasi berlangganan. Namun, jika penduduk setempatERDDAP™tidak dapat mengirim email atau jika remoteERDDAP's email/URL sistem berlangganan tidak aktif, Anda harus email remoteERDDAP™administrator dan meminta s/he secara manual menambahkan [<Login (Login) Login</onChange> tag untuk semua set data yang relevan untuk memanggil dataset AndaLogin LoginSitemap SitemapERDDAP™laporan harian untuk daftar setDataset URL bendera, tetapi hanya mengirim orang untukEDDGridDariErddap dan EDDTableDariErddap dataset ke remoteERDDAP™Login
Apakah ini tidak berfungsi? Apakah dataset lokal Anda tidak tetap sinkron dengan dataset jarak jauh? Beberapa hal harus semua bekerja dengan benar untuk sistem ini untuk bekerja sehingga dataset Anda tetap terbaru. Cek setiap hal ini untuk:
- LoginERDDAP™harus dapat mengirim email. Lihat pengaturan email di setup.xml Anda.
- Sitemap (tapi tidak selalu) LoginERDDAPSitemap<Login<baseHttpsUrl>must tidak memiliki nomor port (g., :8080, :8443) Sitemap Jika mereka melakukan, gunakanLoginuntuk menghapus port dari sumber daya.
- Di setup.xml Anda,<Login
- Ketika EDD lokal Anda... Dari dataset Erddap diisi ulang, harus mengirim permintaan ke remoteERDDAP™untuk berlangganan dataset jarak jauh. Lihat log.txt untuk melihat apakah ini terjadi.
- Anda harus mendapatkan email meminta Anda untuk memvalidasi permintaan berlangganan.
- Anda harus mengklik tautan di email tersebut untuk memvalidasi permintaan berlangganan.
- LoginERDDAP™harus mengatakan bahwa validasi berhasil. Meme it Kapan saja, Anda dapat meminta email dari remoteERDDAP™dengan daftar langganan pending dan valid Anda. Lihat formulir di Login Sitemap /erddap/subscriptions/list.html
- Ketika perubahan dataset jarak jauh (e.g., mendapatkan data tambahan) , jarak jauhERDDAP™harus mencoba untuk menghubungi URL bendera AndaERDDAPSitemap Anda tidak dapat memeriksa ini, tetapi Anda dapat meminta administrator remoteERDDAP™untuk memeriksa ini.
- LoginERDDAP™harus menerima permintaan untuk mengatur bahwa flagURL. URL: http://setDatasetFlag.txt (Login) dan lihat apakah ada pesan kesalahan yang terkait dengan permintaan.
- LoginERDDAP™harus mencoba untuk memuat ulang dataset (mungkin tidak segera, tetapi ASAP) Sitemap
Maksimum yang terbaru (Sitemap) Sitemap
EDDGrid/TableDariErddap dataset hanya mengubah informasi tersimpan mereka tentang setiap dataset sumber ketika dataset sumber adalahSitemapdan beberapa bagian dari perubahan metadata (e.g., variabel waktuactual\_range) , sehingga menghasilkan notifikasi berlangganan. Jika dataset sumber memiliki data yang sering berubah (misalnya, data baru setiap detik) dan menggunakan"update"sistem untuk melihat sering perubahan data yang mendasarinya,EDDGrid/TableFromErddap tidak akan diberitahukan tentang perubahan sering ini sampai dataset berikutnya "reload", sehinggaEDDGrid/TableFromErddap tidak akan sangat up-to-date. Anda dapat meminimalkan masalah ini dengan mengubah dataset sumber<reloadEveryNMinutes> untuk nilai yang lebih kecil (60? 15?) sehingga ada lebih banyak pemberitahuan berlangganan untuk memberitahu Meme itEDDGrid/TableFromErddap untuk memperbarui informasinya tentang dataset sumber.
Atau, jika sistem manajemen data Anda tahu ketika dataset sumber memiliki data baru (e.g., melalui script yang menyalin file data ke tempat) dan jika itu tidak terlalu sering (e.g., setiap 5 menit, atau kurang sering) , ada solusi yang lebih baik:
- Jangan gunakan<memperbaruiEveryNMillis> untuk menjaga dataset sumber terbaru.
- Mengatur dataset sumber<reloadEveryNMinutes> untuk jumlah yang lebih besar (1440?) Sitemap
- Memiliki skrip kontak dataset sumberURLtepat setelah menyalin file data baru ke tempat.
Itu akan menyebabkan dataset sumber menjadi up-to-date sempurna dan menyebabkannya menghasilkan pemberitahuan berlangganan, yang akan dikirim keEDDGrid/TableDariErddap dataset. Itu akan memimpin Meme itEDDGrid/TableDariErddap dataset untuk sangat up-to-date (baik, dalam 5 detik data baru ditambahkan) Sitemap Dan semua yang akan dilakukan secara efisien (tanpa reload dataset yang tidak perlu) Sitemap
SitemapaddAttributesLoginaxisVariableSitemapdataVariable
Tidak seperti jenis dataset lain, EDDTableDariErddap danEDDGridDari dataSet Erddap tidak memungkinkan global<addAttributes>Login<axisVariableLogin<dataVariable> bagian dalamdatasets.xmldataset. Masalahnya adalah bahwa mereka akan mengarah ke inkonsistensi:
- Katakanlah Anda diperbolehkan dan menambahkan atribut global baru.
- Ketika pengguna meminta AndaERDDAP™untuk atribut global, atribut baru akan muncul.
- Tapi ketika pengguna meminta Anda Meme itERDDAP™untuk file data, AndaERDDAP™mengarahkan permintaan ke sumberERDDAPSitemap LoginERDDAP™tidak menyadari atribut baru. Jadi jika membuat file data dengan metadata, misalnya,.ncfile, metadata tidak akan memiliki atribut baru.
Ada dua putaran kerja:
- Menyediakan admin dari sumberERDDAP™untuk membuat perubahan yang ingin Anda metadata.
- Alih-alih EDDTableDariErddap, gunakanLoginSitemap Atau bukanEDDGridDariErddap, gunakanEDDGridLoginSitemap Jenis EDD memungkinkan Anda untuk menghubungkan secara efisien ke dataset di remoteERDDAP™ (tetapi tanpa mengalihkan permintaan data) dan mereka memungkinkan Anda untuk memasukkan global<addAttributes>Login<axisVariableLogin<dataVariable> bagian dalamdatasets.xmlSitemap Satu perbedaan lain: Anda harus berlangganan secara manual ke dataset jarak jauh, sehingga dataset pada AndaERDDAP™akan diberitahukan (SitemapURL) ketika ada perubahan dataset jarak jauh. Dengan demikian, Anda membuat dataset baru, bukan tautan ke dataset jarak jauh.
Catatan lain
- Untuk alasan keamanan,EDDGridDariErddap dan EDDTable DariErddap tidak mendukung [<Login (Login) tag dan tidak dapat digunakan dengan dataset jarak jauh yang memerlukan penebangan di (karena mereka menggunakan [<Login (Login) Sitemap SitemapERDDAPSitemapsistem keamananuntuk membatasi akses ke beberapa set data untuk beberapa pengguna.
- SitemapERDDAP™v2.10,EDDGridDariErddap dan EDDTableDariErddap mendukung [<Login (Login) Login Tidak seperti jenis dataset lain, default benar, tetapi file dataset akan diaksesViaFiles hanya jika dataset sumber juga memiliki<Sitemap
- Anda dapat menggunakanLogin Program Xmluntuk membuatdatasets.xmlchunk untuk jenis dataset ini. Tapi Anda dapat melakukan jenis dataset ini dengan mudah.
EDDGridDariErddap skeleton Login
- EDDGridDariErddap skeleton XML dataset sangat sederhana, karena maksudnya hanya untuk meniru dataset jarak jauh yang sudah cocok untuk digunakanERDDAPSitemap
<dataset type="EDDGridFromErddap" datasetID\="..." active\="..." >
<sourceUrl>...</sourceUrl>
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<accessibleViaFiles>...</accessibleViaFiles> <!-- 0 or 1, default=true. -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1
For EDDGridFromErddap, this gets the remote .dds and then gets
the new leftmost (first) dimension values. -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<redirect>true(default)|false</redirect> <!-- 0 or 1; -->
</dataset>
Sitemap Login
- Kerangka XML untuk dataset EDDTableFromErddap sangat sederhana, karena maksudnya hanya untuk meniru dataset jarak jauh, yang sudah cocok digunakan dalamERDDAPSitemap
<dataset type="EDDTableFromErddap" datasetID\="..." active\="..." >
<sourceUrl>...</sourceUrl>
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<addVariablesWhere>...</addVariablesWhere> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<redirect>true(default)|false</redirect> <!-- 0 or 1; -->
</dataset>
EDDGridLogin
EDDGridLogin SitemapETOPO1 Global 1-Minute Gridded Data Set (Permukaan Es, grid terdaftar, biner, 2byte int: etopo1\_ice\_g\_i2.zip) yang didistribusikan denganERDDAPSitemap
- PromodatasetIDSitemapEDDGridDariEtopo, sehingga Anda dapat mengakses data dengan nilai longitude -180 hingga 180, atau nilai longitude 0 hingga 360.
- Tidak pernah ada tag sub, karena data sudah dijelaskan dalamERDDAPSitemap
- Jadi dua pilihan untukEDDGridDari dataSet Etopo adalah (Login) Sitemap
<!-- etopo180 serves the data from longitude -180 to 180 -->
<dataset type="EDDGridFromEtopo" datasetID="etopo180" />
<!-- etopo360 serves the data from longitude 0 to 360 -->
<dataset type="EDDGridFromEtopo" datasetID="etopo360" />
EDDGridLogin
EDDGridLogin adalah kelas super dari semuaEDDGridDari kelas...Files. Anda tidak dapat menggunakanEDDGridDari File secara langsung. Sebagai gantinya, gunakan subklas kelasEDDGridDariFiles untuk menangani jenis file tertentu:
- EDDGridLoginmenangani data dari griddedLogin.gzLogin
- EDDGridSitemapagregat data dari sekelompok file audio lokal.
- EDDGridLoginmenangani data dari griddedLoginfile,HDF (v4 atau v5) .hdffile,.ncLoginfile, danNetCDF (v3 atau v4) .ncLogin Ini dapat bekerja dengan jenis file lainnya (misalnya, BUFR) , kami tidak mengujinya - silakan kirim beberapa file sampel jika Anda tertarik.
- EDDGridDariNcFilesUnpackedadalah varianEDDGridDariNcFiles yang menangani data dari griddedNetCDF (v3 atau v4) .ncdan file terkait, yangERDDAP™unpacks pada tingkat rendah.
Saat ini, tidak ada jenis file lain yang didukung. Tapi biasanya relatif mudah untuk menambahkan dukungan untuk jenis file lainnya. Hubungi kami jika Anda memiliki permintaan. Atau, jika data Anda dalam format file lama yang ingin Anda pindah dari, kami merekomendasikan mengkonversi file menjadiNetCDFg.ncLoginNetCDFadalah format biner yang didukung secara luas, memungkinkan akses acak cepat ke data, dan sudah didukung olehERDDAPSitemap
Dari Detail File
Informasi berikut berlaku untuk semua subkelasEDDGridLogin
Aggregasi Dimensi yang Ada
Semua variasiEDDGridDari File dapat mengatur data dari file lokal, di mana setiap file memiliki 1 (Sitemap) nilai yang berbeda untuk yang paling kiri (Login) dimensi, biasanya\[Sitemap\], yang akan agregat. Meme it Misalnya, dimensi mungkin\[Sitemap\]\[Login\]\[Login\]\[Login\], dan file mungkin memiliki data untuk satu (atau beberapa) nilai waktu (Login) Login Dataset dihasilkan muncul seolah-olah semua data file telah digabungkan. Keuntungan besar dari agregasi adalah:
- Ukuran set data agregat dapat jauh lebih besar dari satu file dapat mudah (g) Sitemap
- Untuk data waktu dekat, mudah untuk menambahkan file baru dengan chunk data terbaru. Anda tidak perlu menulis ulang seluruh dataset.
Persyaratan untuk agregasi adalah:
- File lokal tidak perlu memiliki sama Meme itdataVariableLogin (sebagaimana didefinisikan dalam datasetdatasets.xml) Sitemap Dataset akan memilikidataVariabledidefinisikan dalamdatasets.xmlSitemap Jika file yang diberikan tidak memiliki file yang diberikandataVariableLoginERDDAP™akan menambahkan nilai yang hilang sesuai kebutuhan.
- SitemapdataVariables MUST menggunakan samaaxisVariableSitemap (sebagaimana didefinisikan dalam datasetdatasets.xml) Sitemap File akan diregangkan berdasarkan yang pertama (Login) dimensi, diurutkan dalam urutan akhir.
- Setiap file MEI memiliki data untuk satu atau lebih nilai dimensi pertama, tetapi tidak ada tumpang tindih antara file. Jika file memiliki lebih dari satu nilai untuk dimensi pertama, nilai MUST diurutkan dalam urutan akhir, tanpa ikatan.
- Semua file MUST memiliki nilai yang sama untuk semua dimensi lainnya. Ketepatan pengujian ditentukan olehLoginSitemap
- Semua file MUST memiliki persis samaLoginmetadata untuk semuaaxisVariableSitemapdataVariableSitemap Jika ini adalah masalah, Anda mungkin dapat menggunakanLoginSitemapNCOuntuk memperbaiki masalah.
Aggregasi melalui Nama File atau Metadata Global
Semua variasiEDDGridDariFiles juga dapat mengumpulkan sekelompok file dengan menambahkan paling kiri baru (Login) dimensi, biasanya waktu, berdasarkan nilai yang berasal dari setiap nama file atau dari nilai atribut global yang ada di setiap file. Misalnya, nama file mungkin mencakup nilai waktu untuk data dalam file.ERDDAP™kemudian akan membuat dimensi waktu baru.
Tidak seperti fitur serupa di THREDDS,ERDDAP™selalu menciptakanaxisVariabledengan nilai numerik (seperti yang diperlukan oleh CF) Tidak ada nilai String (yang tidak diperbolehkan oleh CF) Sitemap SitemapERDDAP™akan memilah file dalam agregasi berdasarkan numerikaxisVariablenilai yang ditugaskan untuk setiap file, sehingga variabel sumbu akan selalu memiliki nilai yang diurutkan sesuai kebutuhan oleh CF. Pendekatan THREDDS melakukan semacam lexicografi berdasarkan nama file mengarah ke agregasi di mana nilai sumbu tidak diurutkan (yang tidak diperbolehkan oleh CF) ketika nama file menyortir berbeda dari yang berasalaxisVariableSitemap
Untuk mengatur salah satu agregasi iniERDDAP™Anda akan menentukan kiri baru (Login) axisVariabledengan nama sama lain, pseudo<sourceNameSitemapERDDAP™di mana dan bagaimana menemukan nilai untuk dimensi baru dari setiap file.
- Format untuk pseudosourceNameyang mendapat nilai dari nama file (Login) Sitemap \*\Login Login Sitemap Login Login Login Login menangkapGroupNumber
- Format untuk pseudosourceNameyang mendapat nilai dari nama path absolut file \*\Login Login Sitemap Login Login Login Login menangkapGroupNumber \[Untuk ini, nama jalan selalu menggunakan'/'sebagai karakter pemisah direktori, tidak pernah ''.\]
- Format untuk pseudosourceNameyang mendapat nilai dari atribut global adalah \*\Login global: Login Login Login Sitemap Login Login Login Login menangkapGroupNumber
- Foto’ssourceNamepilihan bekerja berbeda dari yang lain: bukan menciptakan kiri baru (Login) axisVariable, ini menggantikan nilai arusaxisVariabledengan nilai yang diekstrak dari nama file (Login) Sitemap Format ini \*\Login Login Login Sitemap Login Login Login Login menangkapGroupNumber
Deskripsi bagian yang perlu Anda berikan adalah:
- Login Login -- nama atribut global yang ada di setiap file dan yang berisi nilai dimensi.
- Sitemap Login Login Ini menentukan jenis data yang akan digunakan untuk menyimpan nilai. Lihat daftar standarSitemap LoginLoginERDDAP™mendukung, kecuali bahwa String tidak diperbolehkan di sini karena variabel sumbu dalamERDDAP™tidak bisa menjadi variabel String.
Ada tambahan pseudo dataType, timeFormat= Login Login SitemapERDDAP™bahwa nilai adalah String timeStampunit cocok untuk waktu stringSitemap Dalam kebanyakan kasus, stringTimeFormat Anda perlu akan menjadi variasi dari salah satu format ini:
- yyyy-MM-dd'T'HH:mm:ss.SSSZ -- yang ISO 8601:2004 (Login) format waktu tanggal. Anda mungkin perlu versi pendek dari ini, misalnya,yyyy-MM-dd'T'HH:mm:s atauyyyy-MM-ddSitemap
- yyMMddHHmmss.SSS -- yang merupakan versi kompak dari format waktu tanggal ISO 8601. Anda mungkin perlu versi pendek dari ini, misalnya, yyMMddHmms atau yyMMdd.
- Login H:mm:ss.SSS -- yang merupakan format tanggal u.S. slash. Anda mungkin perlu versi pendek dari ini, misalnya, M/d/yyyy .
- Sitemap (e.g, 001 = Jan 1, 365 = 31 Desember dalam setahun non-leap; ini kadang-kadang erroneously disebut tanggal Julian) Sitemap Anda mungkin perlu versi pendek dari ini, misalnya, yyDDD.
Jika Anda menggunakan DataType pseudo ini, tambahkan ini ke variabel baru<addAttributesSitemap
<att name="units">seconds since 1970-01-01T00:00:00Z</att>
Jika Anda ingin mengubah semua nilai waktu, pergeserkan nilai waktu dalam unit, misalnya, 19-01-01T12:00Z.
- Login Login Ini adalahekspresi reguler (Login) yang mencakup kelompok capture (Login) yang menjelaskan cara mengekstrak nilai dari nama file atau nilai atribut global. Misalnya, mengingat nama file seperti S19980011998031.L3b\_MO\_CHL.nc, menangkap grup #1, "\dLogin", dalam ekspresi biasa S (Login\dLogin) Login\dLogin\.L3b.\* akan menangkap 7 digit pertama setelah 'S': 1998001.
- Sitemap Login Ini adalah jumlah kelompok capture (dalam sepasang orang tua) dalam ekspresi reguler yang berisi informasi minat. Biasanya 1, kelompok penangkapan pertama. Kadang-kadang Anda perlu menggunakan kelompok capture untuk tujuan lain di regex, maka nomor kelompok capture penting akan 2 (kelompok capture kedua) atau 3 (ketiga) Sitemap
Contoh penuh dariaxisVariableyang membuat dataset agregat dengan sumbu waktu baru yang mendapatkan nilai waktu dari nama file setiap file adalah
<axisVariable>
<sourceName>\\*\\*\\*fileName,timeFormat=yyyyDDD,S(\\d{7})\\.L3m.\\*,1</sourceName>
<destinationName>time</destinationName>
</axisVariable>
Ketika Anda menggunakan "timeFormat=" data pseudo Jenis,ERDDAP™akan menambahkan 2 atribut keaxisVariablesehingga mereka muncul untuk datang dari sumber:
<att name="standard\\_name">time</att>
<att name="units">seconds since 1970-01-01T00:00:00Z</att>
Jadi dalam kasus ini,ERDDAP™akan membuat sumbu baru bernama"time"dengan nilai ganda (detik sejak 1970-01-01T00:00Z) dengan mengekstrak 7 digit setelah 'S' dan sebelum ".L3m" dalam nama file dan menafsirkan mereka sebagai nilai waktu yang diformat sebagai yyDDD.
Anda dapat menimpa waktu dasar default (19-01-01T00:00Z) dengan menambahkanLoginyang menentukan atribut unit yang berbeda dengan waktu dasar yang berbeda. Situasi umum adalah: ada kelompok file data, masing-masing dengan komposit 1 hari dari dataset satelit, di mana Anda ingin nilai waktu untuk tidak ada hari yang disebutkan dalam nama file (waktu terpusat setiap hari) dan ingin variabellong\_nameuntuk menjadi "Waktu Berpusat". Contoh yang melakukan ini adalah:
<axisVariable>
<sourceName>\\*\\*\\*fileName,timeFormat=yyyyDDD,S(\\d{7})\\.L3m.\\*,1</sourceName>
<destinationName>time</destinationName>
<addAttributes>
<att name="long\\_name">Centered Time</att>
<att name="units">seconds since 1970-01-01T12:00:00Z</att>
</addAttributes>
</axisVariable>
Jam catatan = 12 dalam waktu dasar, yang menambahkan 12 jam relatif ke waktu dasar asli 1970-01T00:00Z.
Contoh penuh dariaxisVariableyang membuat dataset agregat dengan sumbu "run" baru (dengan nilai int) yang mendapatkan nilai lari dari atribut global "runID" di setiap file (dengan nilai seperti "r17\_global", di mana 17 adalah nomor lari) Sitemap
<axisVariable>
<sourceName>\\*\\*\\*global:runID,int,(r|s)(\\d+)\\_global,2</sourceName>
<destinationName>run</destinationName>
<addAttributes>
<att name="ioos\\_category">Other</att>
<att name="units">count</att>
</addAttributes>
</axisVariable>
Perhatikan penggunaan nomor kelompok capture 2 untuk menangkap digit yang terjadi setelah 'r' atau 's', dan sebelum "\_global". Contoh ini juga menunjukkan bagaimana menambahkan atribut tambahan (Loginioos\_categorydan unit) ke variabel sumbu.
File terkompresi secara eksternal
-
DatabaseEDDGridDari File dan EDDTable Dari File dapat melayani data langsung dari file data terkompresi secara eksternal, termasuk.tgzLogin.tar.gzLogin.tar.gzipLogin.gzLogin.gzipLogin.zipLogin.bz2.Z file.
-
Ini bekerja dengan sangat baik!
Dalam kebanyakan kasus, perlambatan yang terkait dengan menekan file data kecil dan menengah kecil. Jika Anda perlu untuk menghemat ruang disk, kami sangat mendorong menggunakan fitur ini, terutama untuk file yang lebih tua yang jarang diakses. -
Simpan uang!
Ini adalah salah satu dari beberapa fitur dalamERDDAP™yang menawarkan kesempatan untuk menghemat banyak uang (meskipun pada biaya kinerja yang sedikit menurun) Sitemap Jika rasio kompresi adalah misalnya, 6: 1 (kadang-kadang akan jauh lebih tinggi) , maka file dataset hanya akan membutuhkan 1/6 ruang disk. Kemudian mungkin Anda bisa mendapatkan dengan 1 RAID (dari ukuran tertentu) bukan 6 RAIDS (ukuran yang sama) Sitemap Itu adalah penghematan biaya besar. Mudah-mudahan, kemampuan untuk mengompres beberapa file dalam koleksi (yang lebih tua?) dan tidak mengompresi orang lain (yang lebih baru?) , dan untuk mengubah bahwa setiap saat, mari kita meminimalkan downside untuk mengompres beberapa file (akses yang lebih lambat) Sitemap Dan jika pilihan antara menyimpan file pada pita (dan hanya dapat diakses berdasarkan permintaan, setelah penundaan) vs menyimpan mereka dikompresi pada RAID (dan dapat diakses melaluiERDDAP) , maka ada keuntungan besar untuk menggunakan kompresi sehingga pengguna mendapatkan interaktif dan (Sitemap) akses cepat ke data. Dan jika ini dapat menyimpan Anda dari membeli RAID tambahan, fitur ini dapat menghemat sekitar $ 30.000. -
Untuk semuaEDDGridDari Files subclasses, jika file data memiliki ekstensi yang menunjukkan bahwa file yang dikompresi secara eksternal (saat ini:.tgzLogin.tar.gzLogin.tar.gzipLogin.gzLogin.gzipLogin.zipLogin.bz2Sitemap) LoginERDDAP™akan menghapus file ke direktori cache dataset ketika membacanya Meme it (jika mereka belum cache Meme it) Sitemap Hal yang sama berlaku untuk file biner (Login.nc) subclasses dari EDDTableDariFiles.
-
Untuk EDDTableDari File subclasses untuk file non-binary (Sitemap) , file data dengan ekstensi yang menunjukkan bahwa file terkompresi secara eksternal akan terdekompresi pada-the-fly sebagai file dibaca.
-
PERSYARATAN: Jika jenis file terkompresi eksternal yang digunakan (Login.tgzSitemap.zip) mendukung lebih dari 1 file di dalam file terkompresi, file terkompresi harus berisi hanya 1 file.
-
PERSYARATAN: Fitur ini mengasumsikan bahwa isi dari file terkompresi eksternal tidak berubah, sehingga file yang terdekompresi cache dapat digunakan kembali. Jika beberapa atau semua file dataset kadang-kadang berubah, jangan kompres file tersebut. Ini konsisten dengan penggunaan umum, karena orang-orang tidak biasanya mengompres file yang kadang-kadang perlu berubah.
-
<fileNameRegex> Untuk membuat pekerjaan ini, dataset<fileNameRegex> harus mencocokkan nama file terkompresi. Jelas, regexe seperti .\*akan mencocokkan semua nama file. Jika Anda menentukan jenis file tertentu, misalnya, .\*Login.nc, maka Anda perlu memodifikasi regex untuk menyertakan ekstensi kompresi juga, misalnya, .\ Login.ncLogin.gz(jika semua file akan Sitemap.nc.gzfile
-
Ini baik jika dataset Anda termasuk campuran file terkompresi dan tidak terkompresi. Ini mungkin berguna jika Anda percaya bahwa beberapa file (e.g., file lama) akan digunakan kurang sering dan karena itu akan berguna untuk menghemat ruang disk dengan mengompresi mereka. Untuk membuat pekerjaan ini,<fileNameRegex> harus mencocokkan nama file terkompresi dan tidak terkompresi, misalnya, .\*atau .\*Login.nc (|Login.gz) (Di mana kelompok penangkapan pada akhir yang menentukan Meme it.gzadalah opsional.
-
Ini baik jika Anda mengompres atau menghapus file tertentu dalam koleksi setiap saat. Jika dataset tidak menggunakan [<Login (Login) DatasetLoginSitemapERDDAP™untuk memuat ulang dataset dan dengan demikian melihat perubahan. Menariknya, Anda dapat menggunakan algoritma dan pengaturan kompresi yang berbeda untuk file yang berbeda dalam dataset yang sama (Login.bz2untuk file yang jarang digunakan,.gzuntuk tidak sering digunakan file, dan tidak ada kompresi untuk file yang sering digunakan) , pastikan bahwa regex mendukung semua ekstensi file yang digunakan, misalnya, .\*\.nc (|Login.gz|Login.bz2) Sitemap
-
Tentu saja, rasio kompresi dan kecepatan untuk algoritma kompresi yang berbeda bervariasi dengan file sumber dan pengaturan (e.g., tingkat kompresi) Sitemap Jika Anda ingin mengoptimalkan sistem ini untuk file Anda, lakukan uji metode kompresi yang berbeda dengan file Anda dan dengan berbagai pengaturan kompresi. Jika Anda ingin sangat baik (tidak tentu yang terbaik Meme it) setup, kami akan sedikit merekomendasikangzip (.gz) Sitemapgziptidak membuat file terkompresi terkecil (itu cukup dekat Meme it) tetapi mengompresi file dengan sangat cepat dan (lebih penting untukERDDAP™Login) menghapus file dengan sangat cepat. Sitemapgzipperangkat lunak datang standar dengan setiap instalasi Linux dan Mac OS dan tersedia untuk Windows melalui alat gratis seperti 7Zip dan add-on Linux seperti Git Bash. Misalnya, untuk mengompresi file sumber ke dalam.gzversi file (nama file yang sama, tetapi dengan.gzSitemap) Sitemap (di Linux, Mac OS, dan Git Bash)
gzip sourceName
Untuk depresi.gzfile kembali ke asli, gunakan Login sourceName.gz
Untuk mengompresi setiap file sumber di direktori dan subdirectoriesnya, berulang kali, gunakan gzipLogin Login
Untuk menekan setiap.gzfile di direktori dan subdirectoriesnya, berulang kali, gunakan Login Login
-
PERINGATAN: Jangan kompres eksternal (gzip) file yang sudah dikompresi secara internal! Banyak file sudah memiliki data terkompresi secara internal. Sitemapgzipfile ini, file yang dihasilkan tidak akan jauh lebih kecil (<5% danERDDAP™akan membuang waktu menekan mereka ketika perlu membacanya. Meme it Contoh:
-
file data: misalnya,.nc4, dan.hdf5 file: Beberapa file menggunakan kompresi internal; beberapa tidak. Bagaimana cara memberitahu: variabel terkompresi memiliki atribut "\_ChunkSize". Juga, jika sekelompok gridded.ncSitemap.hdffile adalah semua ukuran yang berbeda, mereka kemungkinan terkompresi secara internal. Jika mereka semua ukuran yang sama, mereka tidak terkompresi secara internal.
-
file gambar: misalnya, .gif, .jpg, dan .png
-
file audio: misalnya, .mp3, dan .ogg.
-
file video: misalnya, .mp4, .ogv, dan .webm.
-
Satu kasus aneh yang sayang: file audio .wav sangat besar dan tidak dikompresi secara internal. Akan bagus untuk kompres (gzip) mereka, tetapi umumnya Anda tidak boleh karena jika Anda melakukannya, pengguna tidak akan dapat memainkan file terkompresi di browser mereka.
-
Uji Kasus: mengompres (Logingzip) dataset dengan 1523 gridded.ncLogin
- Data dalam file sumber jarang (banyak nilai yang hilang) Sitemap
- Total ruang disk pergi dari 57 GB sebelum kompresi ke 7 GB setelah.
- Permintaan banyak data dari 1 titik waktu<1 sebelum dan setelah kompresi.
- Permintaan untuk 1 titik data untuk poin waktu 365 (situasi kasus terburuk) pergi dari 4 s ke 71 s.
Bagi saya yang merupakan perdagangan yang wajar untuk setiap dataset, dan tentunya untuk dataset yang jarang digunakan.
-
Internal versus kompresi eksternal -- Dibandingkan dengan kompresi file internal yang ditawarkan oleh.nc4 dan.hdf5 file,ERDDAP's pendekatan untuk file biner terkompresi eksternal memiliki kelebihan dan kekurangan. Kerugian adalah: untuk satu kali membaca bagian kecil dari satu file, kompresi internal lebih baik karenaEDDGridDariFiles hanya perlu menekan beberapa chunk (Login) file, bukan seluruh file. LoginERDDAPpendekatan 's memiliki beberapa keunggulan:
- ERDDAP™mendukung kompresi semua jenis file data (biner dan non-binary, misalnya,.nc3 dan .csv) Sitemap.nc4 dan.hdf4. Oktober
- Jika sebagian besar file perlu dibaca lebih dari sekali dalam jangka waktu singkat, maka menghemat waktu untuk menekan file sekali dan membacanya banyak kali. Ini terjadiERDDAP™ketika pengguna menggunakan Make-A-Graph untuk dataset dan membuat serangkaian perubahan kecil ke grafik.
- Kemampuan untuk memiliki file terkompresi dan tidak file terkompresi dalam koleksi yang sama, memungkinkan Anda kontrol lebih dari file mana yang dikompresi dan yang tidak. Dan kontrol tambahan ini datang tanpa benar-benar memodifikasi file sumber (karena Anda dapat mengompres file dengan misalnya,.gzdan kemudian depresi untuk mendapatkan file asli) Sitemap
- Kemampuan untuk mengubah kapan saja apakah file yang diberikan dikompresi dan bagaimana dikompresi (algoritma dan pengaturan yang berbeda) memberi Anda lebih banyak kontrol atas kinerja sistem. Dan Anda dapat dengan mudah memulihkan file yang tidak terkompresi asli setiap saat.
Meskipun tidak ada pendekatan adalah pemenang dalam semua situasi, jelas bahwa Meme itERDDAPKemampuan untuk melayani data dari file terkompresi eksternal membuat kompresi eksternal alternatif yang wajar untuk kompresi internal yang ditawarkan oleh.nc4 dan.hdf5. Juli Itu signifikan mengingat bahwa kompresi internal adalah salah satu alasan utama orang memilih untuk digunakan.nc4 dan.hdf5. Juli
Dekompresi Cache
ERDDAP™membuat versi terdekompresi dari setiap biner terkompresi (Login.nc) file data ketika perlu membaca file. File yang terdekompresi disimpan di direktori dataset dalam Login Sitemap File terdepresi yang belum digunakan baru-baru ini akan dihapus untuk membebaskan ruang ketika ukuran file kumulatif adalah > 10GB. Anda dapat mengubahnya dengan mengatur<Sitemap (default=10) Sitemap Sitemap
<decompressedCacheMaxGB>40</decompressedCacheMaxGB>
Juga, file terdekompresi yang belum digunakan dalam 15 menit terakhir akan dihapus pada awal setiap reload dataset utama. Anda dapat mengubahnya dengan mengatur<Sitemap (default=15) Sitemap Sitemap
<decompressedCacheMaxMinutesOld>60</decompressedCacheMaxMinutesOld>
Nomor yang lebih besar bagus, tetapi ukuran kumulatif dari file yang terdekompresi dapat menyebabkan Login untuk menjalankan ruang disk, yang menyebabkan masalah parah.
- Karena menekan file dapat mengambil jumlah waktu yang signifikan (0,1 hingga 10 detik) Dataset dengan file terkompresi dapat mendapatkan manfaat dari pengaturan dataset [<Sitemap (Login) pengaturan ke nomor yang lebih tinggi (Sitemap Sitemap 4?) Sitemap Sisi ke angka yang lebih tinggi (g., 5? 6? Sitemap) adalah mengurangi kembali dan bahwa satu permintaan pengguna kemudian dapat menggunakan persentase tinggi dari sumber daya sistem, sehingga secara signifikan memperlambat pemrosesan permintaan pengguna lain. Dengan demikian, tidak ada pengaturan nThreads yang ideal, hanya konsekuensi yang berbeda dalam situasi yang berbeda dengan pengaturan yang berbeda.
Nilai Dimensi Terurut
Nilai untuk setiap dimensi MUST dalam urutan yang diurutkan (naik atau turun, kecuali untuk yang pertama (Login) dimensi yang harus berakhir) Sitemap Nilai-nilai dapat disampingkan. Tidak ada hubungan. Ini adalah persyaratanStandar metadata CFSitemap Jika nilai dimensi tidak dalam urutan yang diurutkan, dataset tidak akan dimuat danERDDAP™akan mengidentifikasi nilai pertama yang tidak disortasi dalam file log, Login Login
Unsorted nilai dimensi hampir selalu menunjukkan masalah dengan dataset sumber. Ini paling sering terjadi ketika file yang salah atau tidak pantas disertakan dalam agregasi, yang mengarah pada dimensi waktu yang tidak disortir. Untuk memecahkan masalah ini, lihat pesan kesalahan di Meme itERDDAP™file log.txt untuk menemukan nilai waktu offending. Kemudian lihat file sumber untuk menemukan file yang sesuai (atau satu sebelum atau satu setelah) yang tidak termasuk dalam agregasi. Meme it
Login
File MEI berada di satu direktori, atau di direktori dan subdirectoriesnya (Sitemap) Sitemap Jika ada sejumlah besar file (misalnya, > 1,000) , sistem operasi (danEDDGridLogin) akan beroperasi lebih efisien jika Anda menyimpan file dalam serangkaian subdirectories (satu per tahun, atau satu per bulan untuk dataset dengan file yang sangat sering) , sehingga tidak pernah ada sejumlah besar file dalam direktori tertentu.
<Login
SitemapEDDGridDariFiles dan semua dataset EDDTableDariFiles mendukung satu set tag yang memberitahukanERDDAP™untuk mengunduh dan memelihara salinan semua file dataset jarak jauh, atau cache beberapa file (download sesuai kebutuhan) Sitemap Ini bisa sangat berguna. SitemapLogin SitemapSitemap
Direktori Jarak Jauh dan Permintaan Rentang HTTP
(AKA Byte Melayani, Byte Range Permintaan, Accept-RangeshttpLogin)
EDDGridDariNcFiles, EDDTableDariMultidimNcFiles, EDDTableDariNcFiles, dan EDDTableDariNcCFFiles, dapat Sitemap Database.ncfile pada server jarak jauh dan diakses melalui HTTP jika server mendukungLoginmelalui permintaan rentang HTTP (mekanisme HTTP untuk melayani byte) Sitemap Ini mungkin karena netcdf-java (SitemapERDDAP™Login.ncLogin) mendukung data membaca dari jarak jauh.ncfile melalui permintaan rentang HTTP.
Jangan melakukan ini! Ini tidak efisien dan lambat. Alih-alih, gunakan [<cacheDariUrl> sistem] (Login) Sitemap
LoginERDDAP™dataset sebagai file melalui permintaan rentang byte -- Membalikkan ini di sekitar, mengingat bahwa Anda dapat (dalam teori) berpikir dataset dalamERDDAP™sebagai raksasa.ncfile dengan appending ".ncLoginDAPURL untuk dataset yang diberikan (Login https://myserver.org/erddap/griddap/datasetID.nc dan juga dengan menambahkan?query setelah itu untuk menentukan subset) , mungkin wajar untuk bertanya apakah Anda dapat menggunakan netcdf-java,Ferretatau beberapa lainnyaNetCDFsoftware klien untuk membaca data melalui Permintaan Jangkauan HTTP dariERDDAPSitemap Jawabannya tidak ada, karena tidak ada yang sangat besar ".ncLogin Jika Anda ingin melakukan ini, bukan salah satu opsi ini:
- Sitemap(OPeN)DAPsoftware klien untuk terhubung ke layanan griddap yang ditawarkan olehERDDAPSitemap Itu adalah apaDAP (danERDDAP) dirancang untuk. Sangat efisien.
- Atau, unduh file sumber (Login) dari"files"sistem (atau file subset melalui.ncSitemap Login) ke komputer Anda dan gunakan netcdf-java,Ferretatau beberapa lainnyaNetCDFsoftware klien untuk membaca (Sitemap) file lokal (Login) Sitemap
Informasi File Cached
SitemapEDDGridDari Files dataset pertama dimuat,EDDGridDariFiles membaca informasi dari semua file yang relevan dan membuat tabel (satu baris untuk setiap file) dengan informasi tentang setiap file yang valid dan masing-masing "buruk" (berbeda atau tidak valid) Login
- Tabel juga disimpan di disk, sepertiNetCDFg.ncfile di Login Login Sitemap Sitemap datasetID / dalam file bernama: Login.nc (yang memegang daftar nama direktori unik) Login Login Login.nc (yang memegang tabel dengan setiap informasi file yang valid) Login Login.nc (yang memegang tabel dengan setiap informasi file yang buruk) Sitemap
- Untuk mempercepat akses keEDDGridDariFiles dataset (tetapi dengan biaya menggunakan lebih banyak memori) Anda dapat menggunakan
true
SitemapERDDAP™untuk menyimpan salinan tabel informasi file dalam memori.
- Salinan tabel informasi file di disk juga berguna ketikaERDDAP™dimatikan dan direstart: menyimpanEDDGridDari File yang harus dibaca kembali semua file data.
- Ketika dataset diisi ulang,ERDDAP™hanya perlu membaca data dalam file dan file baru yang telah berubah.
- Jika file memiliki struktur yang berbeda dari file lain (misalnya, jenis data yang berbeda untuk salah satu variabel, atau nilai yang berbeda untuk "Login" atribut) LoginERDDAPmenambahkan file ke daftar file "buruk". Informasi tentang masalah dengan file akan ditulis ke Login /logs/log.txt.
- Anda tidak perlu menghapus atau bekerja dengan file ini. Satu pengecualian adalah: jika Anda masih membuat perubahan pada datasetdatasets.xmlsetup, Anda mungkin ingin menghapus file ini untuk memaksaERDDAP™untuk membaca semua file sejak file akan dibaca/interpreted berbeda. Jika Anda pernah perlu menghapus file ini, Anda dapat melakukannya ketikaERDDAP™berjalan. (Kemudian aturLoginuntuk memuat ulang dataset ASAP.) LoginERDDAP™biasanya memperhatikan bahwadatasets.xmlinformasi tidak sesuai dengan file Informasi tabel dan menghapus tabel file secara otomatis.
- Jika Anda ingin mendorongERDDAP™untuk memperbarui informasi dataset yang tersimpan (misalnya, jika Anda hanya menambahkan, dihapus, atau mengubah beberapa file ke direktori dataset) , gunakansistem benderakekuatanERDDAP™untuk memperbarui informasi file yang tersimpan.
Permintaan Penanganan
Ketika permintaan klien untuk data diproses,EDDGridDari File dapat dengan cepat melihat tabel dengan informasi file yang valid untuk melihat file mana yang memiliki data yang diminta.
Memperbarui Informasi File Cached
Kapan pun dataset diisi ulang, informasi file yang tersimpan diperbarui.
- Dataset diisi ulang secara berkala sebagaimana ditentukan oleh<reloadEveryNMinutes> dalam informasi dataset dalamdatasets.xmlSitemap
- DatabaseERDDAP™mendeteksi bahwa Anda telah menambahkan, dihapus,[Sitemap](https://en.wikipedia.org/wiki/Touch_(Unix)Sitemap (untuk mengubah file terakhir Waktu yang dimodifikasi) , atau mengubah file data.
- Dataset diisi ulang sesegera mungkin jika Anda menggunakansistem benderaSitemap
Ketika dataset diisi ulang,ERDDAP™membandingkan file yang tersedia saat ini ke tabel informasi file yang tersimpan. File baru dibaca dan ditambahkan ke tabel file yang valid. File yang tidak lagi ada dijatuhkan dari tabel file yang valid. File di mana file timestamp telah berubah dibaca dan informasi mereka diperbarui. Tabel baru menggantikan tabel lama dalam memori dan pada disk.
Login
Tabel file buruk dan alasan file dinyatakan buruk (file rusak, variabel hilang, dll.) email ke email Sitemap Untuk alamat email (mungkin Anda Meme it) setiap kali dataset diisi ulang. Anda harus mengganti atau memperbaiki file ini sesegera mungkin.
variabel hilang
Jika beberapa file tidak memiliki beberapa filedataVariabledatasetdatasets.xmlLogin SitemapEDDGridDariFiles membaca salah satu file tersebut, itu akan bertindak seolah-olah file memiliki variabel, tetapi dengan semua nilai yang hilang.
FTP/Advice
Jika Anda FTP file data baru ke Meme itERDDAP™server sementaraERDDAP™berjalan, ada kesempatan bahwa Meme itERDDAP™akan memuat ulang dataset selama proses FTP. Hal ini terjadi lebih sering daripada yang mungkin Anda pikirkan! Jika terjadi, file akan muncul valid (memiliki nama yang valid) tapi file tidak valid. Meme it SitemapERDDAP™mencoba membaca data dari file yang tidak valid, kesalahan yang dihasilkan akan menyebabkan file ditambahkan ke tabel file yang tidak valid. Ini tidak baik. Untuk menghindari masalah ini, gunakan nama file sementara ketika FTP'ing file, misalnya, ABC2005.nc\_TEMP . Kemudian, fileNameRegex tes (Sitemap) akan menunjukkan bahwa ini bukan file yang relevan. Meme it Setelah proses FTP selesai, mengubah nama file ke nama yang benar. Proses renaming akan menyebabkan file menjadi relevan secara instan.
"0 file" Pesan Kesalahan
Jika Anda menjalankanLoginSitemapLoginatau jika Anda mencoba memuatEDDGridDari...Files dataset diERDDAP™, dan Anda mendapatkan pesan kesalahan "0" yang menunjukkan bahwa Meme itERDDAP™menemukan 0 file pencocokan di direktori (ketika Anda berpikir bahwa ada file yang cocok di direktori itu) Sitemap
- Periksa bahwa file benar-benar ada di direktori itu.
- Periksa ejaan nama direktori.
- Login Sangat mudah untuk membuat kesalahan dengan regexe. Untuk tujuan pengujian, coba regex .\* yang harus sesuai dengan semua nama file. (Lihat inidatabaseLoginLoginSitemap)
- Periksa bahwa pengguna yang menjalankan program (e.g., user=tomcat (Sitemap) untuk Tomcat/ERDDAP) memiliki izin 'read' untuk file-file tersebut.
- Dalam beberapa sistem operasi (misalnya, SELinux) dan tergantung pada pengaturan sistem, pengguna yang menjalankan program harus memiliki izin 'read' untuk seluruh rantai direktori yang mengarah ke direktori yang memiliki file.
EDDGridDariFiles skeleton Login
- XML Sitemap untuk semuaEDDGridDari subklas Files adalah:
<dataset type="EDDGridFrom...Files" datasetID\="..." active\="..." >
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1. For
EDDGridFromFiles subclasses, this uses Java's WatchDirectory system
to notice new/deleted/changed files quickly and efficiently. -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<matchAxisNDigits>...</matchAxisNDigits> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<fileDir>...</fileDir> <-- The directory (absolute) with the
data files. -->
<recursive>true|false</recursive> <!-- 0 or 1. Indicates if
subdirectories of fileDir have data files, too. -->
<pathRegex>...</pathRegex> <!-- 0 or 1. Only directory names which
match the pathRegex (default=".\") will be accepted. -->
<fileNameRegex>...</fileNameRegex> <-- 0 or 1. A
regular expression (tutorial) describing valid data
file names, for example, ".\\.nc" for all .nc files. -->
<accessibleViaFiles>true|false(default)</accessibleViaFiles>
<!-- 0 or 1 -->
<metadataFrom>...</metadataFrom> <-- The file to get
metadata from ("first" or "last" (the default) based on file's
lastModifiedTime). -->
<fileTableInMemory>...</fileTableInMemory> <!-- 0 or 1 (true or
false (the default)) -->
<cacheFromUrl>...</cacheFromUrl> <!-- 0 or 1 -->
<cacheSizeGB>...</cacheSizeGB> <!-- 0 or 1 -->
<addAttributes>...</addAttributes> <!-- 0 or 1 -->
<axisVariable>...</axisVariable> <!-- 1 or more -->
<dataVariable>...</dataVariable> <!-- 1 or more -->
</dataset>
EDD*DariAudioFiles
EDDGridSitemap Login Datasheet agregat data dari koleksi file audio lokal. (Ini pertama muncul diERDDAP™v1.82.) Perbedaannya adalahEDDGridDari AudioFiles memperlakukan data sebagai dataset multidimensional (biasanya dengan 2 dimensi:\[API Sitemap\]Login\[Login Waktu dalam file\]) , sedangkan EDDTableDariAudioFiles memperlakukan data sebagai data tabel (biasanya dengan kolom untuk startTime file, elapdTime dengan file, dan data dari saluran audio) SitemapEDDGridDari AudioFiles membutuhkan semua file memiliki jumlah sampel yang sama, jadi jika tidak benar, Anda harus menggunakan EDDTableDariAudioFiles. Jika tidak, pilihan tipe EDD untuk digunakan sepenuhnya pilihan Anda. Salah satu keuntungan dari EDDTableDariAudioFiles: Anda dapat menambahkan variabel lain dengan informasi lain, misalnya,stationIDLogin Dalam kedua kasus, kurangnya variabel waktu terpadu membuatnya lebih sulit untuk bekerja dengan data dari jenis EDD ini, tetapi tidak ada cara yang baik untuk mengatur variabel waktu terpadu.
Lihat kelas kelas ini,EDDGridLoginLoginLoginInformasi umum tentang bagaimana kelas ini bekerja dan bagaimana menggunakannya.
Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Karena file audio tidak memiliki metadata selain informasi yang terkait dengan pengkodean data suara, Anda harus mengedit output dari GenerateDatasets Xml untuk memberikan informasi penting (e.g., judul, ringkasan,creator\_nameLembaga, sejarah) Sitemap
Sitemap
- Ada sejumlah besar format file audio. SitemapERDDAP™dapat membaca data dari sebagian besar file .wav dan .au. Saat ini tidak dapat membaca jenis file audio lainnya, misalnya, .aiff atau .mp3. Jika Anda butuh dukungan untuk format file audio lainnya atau varian lain dari .wav dan .au, silakan email permintaan Anda ke Chris. John di noaaa.gov . Atau, sebagai workaround Anda dapat menggunakan sekarang, Anda dapat mengonversi file audio Anda ke PCM\_ Login (untuk data integer) atau PCM\_FLOAT (untuk data titik mengambang) .wav file sehinggaERDDAP™bisa bekerja dengan mereka.
- SitemapERDDAP™dapat membaca file audio dengan apaJava's AudioFormat panggilan kelas PCM\_FLOAT, PCM\_SIGNED, PCM\_UNSIGNED, ALAW, dan pengkodean ULAW.ERDDAP™mengkonversi nilai PCM\_UNSIGNED (g., 0 hingga 255) menandatangani nilai (g., -128 untuk 128) dengan mengatur ulang bit dalam nilai data.ERDDAP™mengkonversi ALAW dan ULAW dikodekan dari format byte asli mereka menjadi pendek (dit16) Sitemap SitemapJavaingin bigEndian=true data,ERDDAP™mengatur ulang byte data yang disimpan dengan besarEndian=false (Login) untuk membaca nilai dengan benar. Untuk semua pengkodean lain (Login) LoginERDDAP™membaca data seperti.
- SitemapERDDAP™membaca data dari file audio, mengkonversi metadata audio file yang tersedia menjadi atribut global. Ini akan selalu termasuk (dengan nilai sampel yang ditunjukkan)
String audioBigEndian "false"; //true atau palsu int audio Saluran 1; String audioEncoding "PCM\_SIGNED"; mengapung audioFrameRate 96000.0; //per detik int audioFrameSize 2; //# data byte per bingkai 96000.0; //per detik int audioSampleSizeInBits 16; //# bit per sampel
SitemapERDDAP's tujuan, bingkai identik dengan sampel, yang merupakan data untuk satu titik dalam waktu. Atribut diERDDAP™akan memiliki informasi yang menggambarkan data karena dalam file sumber.ERDDAP™seringkali telah mengubah ini sambil membaca data, misalnya, PCM\_UNSIGNED, ALAW, dan data yang dikodekan ULAW dikonversi ke PCM\_SIGNED, dan data endian besar dikonversi ke data besarEndian=true data (itulah bagaimanaJavaingin membacanya) Sitemap Pada akhir, nilai data diERDDAP™akan selalu menjadiLoginnilai data (i.e., sampel digital sederhana dari gelombang suara) Sitemap
- SitemapERDDAP™membaca data dari file audio, membaca seluruh file.ERDDAP™dapat membaca sebanyak sekitar 2 miliar sampel per saluran. Misalnya, jika tingkat sampel adalah 44,100 sampel per detik, 2 miliar sampel diterjemahkan ke sekitar 756 menit data suara per file. Jika Anda memiliki file audio dengan lebih dari jumlah data ini, Anda perlu memecah file menjadi potongan yang lebih kecil sehinggaERDDAP™bisa membacanya.
- SitemapERDDAP™membaca seluruh file audio,ERDDAP™harus memiliki akses ke sejumlah besar memori untuk bekerja dengan file audio besar. SitemapERDDAPPengaturan memori 'sSitemap Sekali lagi, jika ini adalah masalah, sebuah workaround yang dapat Anda gunakan sekarang untuk memecah file ke dalam chunks yang lebih kecil sehinggaERDDAP™dapat membacanya dengan memori yang kurang.
- Beberapa file audio ditulis dengan benar.ERDDAP™membuat upaya kecil untuk berurusan dengan kasus-kasus tersebut. Tapi secara umum, ketika ada kesalahan,ERDDAP™akan membuang Kecuali (dan menolak file tersebut) Sitemap (jika kesalahan tidak terdeteksi) Login (tapi data akan salah) Sitemap
- ERDDAP™tidak memeriksa atau mengubah volume suara. Idealnya, data audio integer berskala untuk menggunakan berbagai jenis data.
- File audio dan pemain audio tidak memiliki sistem untuk nilai yang hilang (e.g., -999 atau Float.NaN) Sitemap Jadi data audio tidak boleh memiliki nilai yang hilang. Jika ada nilai yang hilang (e.g., jika Anda perlu memperpanjang file audio) , gunakan serangkaian 0 yang akan ditafsirkan sebagai keheningan sempurna.
- SitemapERDDAP™membaca data dari file audio, selalu membuat kolom yang disebut elapd Waktu dengan waktu untuk setiap sampel, dalam detik (disimpan sebagai ganda) , relatif terhadap sampel pertama (yang ditugaskan elapd Waktu=0.0 s) Sitemap SitemapEDDGridDari AudioFiles, ini menjadi variabel sumbu elapdTime.
- EDDGridDari AudioFiles membutuhkan semua file memiliki jumlah sampel yang sama. Jadi jika itu tidak benar, Anda harus menggunakan EDDTableDariAudioFiles.
- SitemapEDDGridDariAudioFiles, kami merekomendasikan bahwa Anda mengatur [<dimensiNilaiInMemory> (Login) Sitemap (direkomendasikan oleh GenerateDataset Login) , karena dimensi waktu sering memiliki sejumlah besar nilai.
- SitemapEDDGridDari AudioFiles, Anda harus hampir selalu menggunakanEDDGridDariFiles sistem untukSitemap Nama filehampir selalu dengan mengekstrak tanggal awal rekaman Waktu dari nama file. Sitemap
<sourceName>\\*\\*\\*fileName,"timeFormat=yyyyMMdd'\\_'HHmmss",aco\\_acoustic\\.(\\[0-9\\]{8}\\_\\[0-9\\]{6})\\.wav,1</sourceName>
Login Xml akan mendorong ini dan membantu Anda dengan ini.
- Untuk EDDTableDariAudioFiles, Anda harus hampir selalu menggunakan sistem EDDTableFromFiles untuk\*\*LoginsourceNameLoginuntuk mengekstrak informasi dari nama file (hampir selalu tanggal awal Waktu untuk rekaman) dan mempromosikannya menjadi kolom data. Sitemap
<sourceName>\\*\\*\\*fileName,aco\\_acoustic\\.(\\[0-9\\]{8}\\_\\[0-9\\]{6})\\.wav,1</sourceName>
Format waktu kemudian harus ditentukan sebagai atribut unit:<name="units">yyyMMdd'\_'HHHmms<Login
EDDGridLogin
EDDGridLogin agregat data dari lokal,Loginfile, yang dariTropical Rainfall Mengukur Misi (Login) , yang merupakan misi bersama antara NASA dan Badan Penjelajahan Aerospace Jepang (Login) Sitemap Login File IR dapat diunduh dariLoginSitemap
EDDGridDariMergeIRFiles.java ditulis dan berkontribusi padaERDDAP™project by Jonathan Lafite dan Philippe Makowski of R.Tech Engineering (lisensi: sumber terbuka hak cipta) Sitemap
EDDGridDariMergeIRFiles adalah sedikit tidak biasa:
- EDDGridDariMergeIRFiles mendukung file data sumber terkompresi atau tidak terkompresi, dalam setiap kombinasi, dalam dataset yang sama. Ini memungkinkan Anda, misalnya, untuk mengompresi file yang lebih tua yang jarang diakses, tetapi uncompress file baru yang sering diakses. Atau, Anda dapat mengubah jenis kompresi dari aslinya. Z untuk contoh,.gzSitemap
- Jika Anda memiliki versi terkompresi dan tidak terkompresi dari file data yang sama di direktori yang sama, pastikan<fileNameRegex> untuk dataset Anda sesuai dengan nama file yang Anda inginkan untuk mencocokkan dan tidak cocok nama file yang tidak Anda inginkan.
- Uncompressed sumber file data harus tidak memiliki ekstensi file (i.e.) Sitemap
- File data sumber terkompresi harus memiliki ekstensi file, tetapiERDDAP™menentukan jenis kompresi dengan memeriksa konten file, tidak dengan melihat ekstensi file file (misalnya, ".Z") Sitemap Jenis kompresi yang didukung termasuk "gz", "bzip2", "xz", "lzma", "snappy-raw", "snappy-framed", "pack200", dan "z". SitemapERDDAP™membaca file terkompresi, dekompresi on-the-fly, tanpa menulis ke file sementara.
- Semua file data sumber harus menggunakan sistem naming file asli: yaitu, merg\_ Login \_4km-piksel (Sitemap Login menunjukkan waktu yang terkait dengan data dalam file) , ditambah ekstensi file jika file dikompresi.
Lihat kelas super ini,EDDGridLoginInformasi umum tentang bagaimana kelas ini bekerja dan bagaimana menggunakannya.
Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Anda kemudian dapat mengedit bahwa untuk tune halus itu. Meme it
EDDGridLogin
EDDGridLogin data agregat dari lokal, gridded,GRIB .grbfile,HDF (v4 atau v5) .hdffile,.ncLoginfile,NetCDF (v3 atau v4) .ncfile, danLoginLogin (versi 2.25) Sitemap File Zarr memiliki perilaku yang sedikit berbeda dan memerlukan fileNameRegex atau pathRegex untuk menyertakan "zarr".
Ini dapat bekerja dengan jenis file lainnya (misalnya, BUFR) , kami tidak mengujinya - silakan kirim beberapa file sampel.
- Untuk file GRIB,ERDDAP™akan membuat file indeks .gbx pertama kali membaca setiap file GRIB. Jadi file GRIB harus berada di direktori di mana "user" yang menjalankan Tomcat telah membaca + menulis izin.
- Lihat kelas super ini,EDDGridLoginInformasi tentang bagaimana kelas ini bekerja dan cara menggunakannya.
- SitemapERDDAP™v2.12,EDDGridSitemapEDDGridLogin Unpacked dapat membaca data dari "struktur" di.nc4 dan.hdf4 file. Untuk mengidentifikasi variabel yang berasal dari struktur,<sourceNameSitemap harus menggunakan format: Login | Login , misalnya kelompok1/myStruct|Login
- Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Anda kemudian dapat mengedit bahwa untuk tune halus itu. Meme it
Grup di File Nc Berbaring
File Netcdf4 dapat mengandung kelompok. ERDDAP™hanya membuat dataset dari variabel dalam satu kelompok dan semua kelompok induknya. Anda dapat menentukan nama grup tertentu di GenerateDatasets Login (omit the trailing slash) , atau menggunakan "" untuk memiliki GenerateDatasets Xml mencari semua kelompok untuk variabel yang menggunakan dimensi yang paling, atau menggunakan "\[Login\]" untuk memiliki GenerateDatasets hanya mencari variabel dalam kelompok akar.
Hal pertama GenerateDatasetsXml lakukan untuk jenis dataset ini setelah Anda menjawab pertanyaan mencetak struktur seperti ncdump dari file sampel. Jadi jika Anda memasukkan beberapa jawaban goofy untuk loop pertama melalui GenerateDataset Xml, setidaknya Anda akan dapat melihat apakah Meme itERDDAP™dapat membaca file dan melihat dimensi dan variabel apa yang ada di file. Kemudian Anda dapat memberikan jawaban yang lebih baik untuk loop kedua melalui GenerateDatasetsXml.
EDDGridDariNcFilesUnpacked
EDDGridDariNcFilesUnpacked adalah varianEDDGridLogindata agregat dari lokal, griddedNetCDF (v3 atau v4) .ncdan file terkait. Perbedaannya adalah bahwa kelas ini membongkar setiap file data sebelumEDDGridDariFiles melihat file:
- Variabel unpacks yang dikemas denganscale\_factordan/atauadd\_offsetSitemap
- Ini mengkonversi \_FillValue danmissing\_valuenilai menjadi NaN (atau MAX\_VALUE untuk jenis data integer) Sitemap
- Ini mengubah nilai waktu dan timestamp untuk"seconds since 1970-01-01T00:00:00Z"Sitemap
Keuntungan besar dari kelas ini adalah bahwa ia memberikan cara untuk berurusan dengan nilai yang berbedascale\_factorLoginadd\_offset, \_FillValue,missing\_value, atau unit waktu dalam file sumber yang berbeda dalam koleksi. Jika tidak, Anda harus menggunakan alat seperti Meme itLoginSitemapNCOuntuk memodifikasi setiap file untuk menghapus perbedaan sehingga file dapat ditangani olehEDDGridLogin Untuk kelas ini untuk bekerja dengan benar, file harus mengikuti standar CF untuk atribut terkait.
- Jika mencoba membuatEDDGridLogin Unpacked dari sekelompok file yang sebelumnya Anda coba dan gagal digunakanEDDGridDariNcFiles, cd ke Login Login Login Sitemap datasetID Sitemap Sitemap Login adalah 2 huruf terakhir dari Meme itdatasetIDLogin dan menghapus semua file di direktori itu.
- SitemapERDDAP™v2.12,EDDGridSitemapEDDGridLogin Unpacked dapat membaca data dari "struktur" di.nc4 dan.hdf4 file. Untuk mengidentifikasi variabel yang berasal dari struktur,<sourceNameSitemap harus menggunakan format: Login | Login , misalnya kelompok1/myStruct|Login
- Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Anda kemudian dapat mengedit bahwa untuk tune halus itu. Meme it
File Netcdf4 dapat mengandung kelompok. Sitemapdokumentasi iniSitemap
Hal pertama GenerateDatasetsXml lakukan untuk jenis dataset ini setelah Anda menjawab pertanyaan adalah mencetak struktur seperti ncdump dari file sampel Sitemap itu tidak dikemas. Meme it Jadi jika Anda memasukkan beberapa jawaban goofy untuk loop pertama melalui GenerateDataset Xml, setidaknya Anda akan dapat melihat apakah Meme itERDDAP™dapat membaca file dan melihat dimensi dan variabel apa yang ada di file. Kemudian Anda dapat memberikan jawaban yang lebih baik untuk loop kedua melalui GenerateDatasetsXml.
EDDGridLonPM180
EDDGridLonPM180 merubah nilai garis bujur anak (Sitemap) EDDGriddataset yang memiliki nilai longitude lebih dari 180 (misalnya, 0 hingga 360) sehingga mereka berada di kisaran -180 hingga 180 (Longitude Plus atau Minus 180, maka nama) Sitemap
- Ini menyediakan cara untuk membuat dataset yang memiliki nilai longitude lebih dari 180 compliant in/withOGCSitemap (SitemapWMSLoginERDDAP) SitemapOGClayanan memerlukan nilai longitude dalam -180 hingga 180.
- Bekerja di dekat kelangsungan menyebabkan masalah, terlepas dari apakah kelangsungan adalah longitude 0 atau di longitude 180. Jenis dataset ini memungkinkan Anda menghindari masalah untuk semua orang, dengan menawarkan dua versi dataset yang sama: satu dengan nilai longitude dalam kisaran 0 hingga 360 ("Pasifik"?) Login satu dengan nilai longitude dalam kisaran -180 hingga 180 ("Atlanticentric"?) Sitemap
- Untuk data set anak dengan semua nilai longitude lebih dari 180, semua nilai longitude baru hanya 360 derajat lebih rendah. Sebagai contoh, dataset dengan nilai-nilai longitude 180 hingga 240 akan menjadi dataset dengan nilai longitude dari -180 ke -120.
- Untuk dataset anak yang memiliki nilai longitude untuk seluruh dunia (kira-kira 0 sampai 360) , nilai longitude baru akan diatur kembali ke (Sitemap) -180 hingga 180: 0 asli untuk hampir 180 nilai tidak berubah. Nilai 180 hingga 360 asli dikonversi menjadi -180 ke 0 dan beralih ke awal array longitude.
- Untuk data set anak yang mencakup 180 tetapi tidak mencakup dunia,ERDDAP™memasukkan nilai-nilai yang hilang sesuai kebutuhan untuk membuat dataset yang mencakup dunia. Sebagai contoh, dataset anak dengan nilai-nilai garis bujur 140 hingga 200 akan menjadi dataset dengan nilai longitude dari -180 hingga 180. Nilai anak 180 hingga 200 akan menjadi -180 hingga -160. Nilai longitude baru akan dimasukkan dari -160 ke 140. Nilai data yang sesuai akan \_FillValues. Nilai anak 140 hingga hampir 180 akan tidak berubah. Penyisipan nilai-nilai yang hilang mungkin tampak aneh, tetapi menghindari beberapa masalah yang dihasilkan dari memiliki nilai-nilai longitude yang melompat tiba-tiba (g, dari -160 hingga 140) Sitemap
- SitemapLogin, ada jenis dataset khusus",EDDGridLonPM180DariErddapKatalog, yang memungkinkan Anda menghasilkandatasets.xmlSitemapEDDGridLonPM180 dataset dari masing-masingEDDGriddataset dalam sebuahERDDAPyang memiliki nilai longitude lebih dari 180. Ini memfasilitasi menawarkan dua versi dataset ini: asli, dengan nilai longitude dalam kisaran 0 hingga 360, dan dataset baru, dengan nilai longitude dalam kisaran -180 hingga 180.
Dataset anak dalam setiapEDDGridDataset LonPM180 akan menjadiEDDGridDari dataSet Erddap yang menunjuk ke dataset asli. Dataset barudatasetIDakan menjadi nama dataset asli ditambah "\_LonPM180". Sitemap
<dataset type="EDDGridLonPM180" datasetID="erdMBsstdmday\\_LonPM180" active="true">
<dataset type="EDDGridFromErddap" datasetID="erdMBsstdmday\\_LonPM180Child">
<!-- SST, Aqua MODIS, NPP, 0.025 degrees, Pacific Ocean, Daytime
(Monthly Composite) minLon=120.0 maxLon=320.0 -->
<sourceUrl>https://coastwatch.pfeg.noaa.gov/erddap/griddap/erdMBsstdmday
</sourceUrl>
</dataset>
</dataset>
LoginEDDGridDataset LonPM180 Sitemap dataset asli dalamdatasets.xmlSitemap Itu menghindari beberapa masalah yang mungkin.
Atau, Anda dapat menggantiEDDGridDariErddap dataset anak dengan dataset aslidatasets.xmlSitemap Kemudian, hanya akan ada satu versi dataset: satu dengan nilai longitude dalam -180 hingga 180. Kami mendiskusikan ini karena ada waktu ketika setiap versi dataset lebih nyaman.
- Jika Anda menawarkan dua versi dataset, misalnya, satu dengan garis bujur 0 hingga 360 dan satu dengan garis bujur -180 hingga 180:
- Anda dapat menggunakan opsional [<Sitemap LoginWMSLogin<Sitemap LoginWMSSitemap (Login) dengan dataset 0-360 untuk menonaktifkan Meme itWMSLayanan untuk dataset tersebut. Kemudian, hanya versi LonPM180 dari dataset akan dapat diakses melaluiWMSSitemap
- Ada beberapa cara untuk menjaga dataset LonPM180 terbaru dengan perubahan data yang mendasari:
- Jika dataset anak adalahEDDGridDari dataSet Erddap yang merujuk pada dataset yang samaERDDAP™Dataset LonPM180 akan mencoba untuk langsung berlangganan dataset yang mendasari sehingga selalu terbaru. Langganan langsung tidak menghasilkan email yang meminta Anda untuk memvalidasi langganan - validasi harus dilakukan secara otomatis.
- Jika dataset anak bukanEDDGridDari dataset Erddap yang samaERDDAP™Dataset LonPM180 akan mencoba menggunakan sistem berlangganan reguler untuk berlangganan dataset yang mendasari. Jika Anda memiliki sistem berlangganan di AndaERDDAP™Anda harus mendapatkan email meminta Anda untuk memvalidasi berlangganan. Sitemap
- Jika Anda memiliki sistem berlangganan di AndaERDDAP™mematikan, dataset LonPM180 kadang-kadang mungkin memiliki metadata yang sudah usang sampai dataset LonPM180 diisi ulang. Jadi jika sistem berlangganan dimatikan, Anda harus mengatur [<Login Login (Sitemap) pengaturan data LonPM180 untuk jumlah yang lebih kecil, sehingga lebih cenderung menangkap perubahan pada dataset anak lebih cepat.
EDDGridLonPM180 skeleton Login
<dataset type="EDDGridLonPM180" datasetID\="..." active\="..." >
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1. For
EDDGridFromDap, this gets the remote .dds and then gets the new
leftmost (first) dimension values. -->
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<dataset>...</dataset> <!-- The child EDDGrid dataset. -->
</dataset>
EDDGridLon0360
EDDGridLon0360 merubah nilai garis bujur anak (Sitemap) EDDGriddataset yang memiliki nilai longitude kurang dari 0 (misalnya, -180 hingga 180) sehingga mereka berada dalam kisaran 0 hingga 360 (maka nama) Sitemap
- Bekerja di dekat kelangsungan menyebabkan masalah, terlepas dari apakah kelangsungan adalah longitude 0 atau di longitude 180. Jenis dataset ini memungkinkan Anda menghindari masalah untuk semua orang, dengan menawarkan dua versi dataset yang sama: satu dengan nilai longitude dalam kisaran -180 hingga 180 ("Atlanticentric"?) Sitemap satu dengan nilai longitude dalam kisaran 0 hingga 360 ("Pasifik"?) Login
- Untuk data set anak dengan semua nilai longitude kurang dari 0, semua nilai longitude baru hanya 360 derajat lebih tinggi. Sebagai contoh, dataset dengan nilai longitude dari -180 ke -120 akan menjadi dataset dengan nilai longitude 180 hingga 240.
- Untuk dataset anak yang memiliki nilai longitude untuk seluruh dunia (kira-kira -180 untuk 180) , nilai longitude baru akan diatur kembali ke (Sitemap) 0 hingga 360: Nilai asli -180 hingga 0 dikonversi menjadi 180 hingga 360 dan beralih ke akhir array longitude. 0 asli untuk hampir 180 nilai tidak berubah.
- Untuk data set anak yang mencakup lon=0 tetapi tidak menutupi dunia,ERDDAP™memasukkan nilai-nilai yang hilang sesuai kebutuhan untuk membuat dataset yang mencakup dunia. Sebagai contoh, dataset anak dengan nilai-nilai garis bujur -40 hingga 20 akan menjadi dataset dengan nilai-nilai garis bujur 0 hingga 360. Nilai anak 0 sampai 20 akan tidak berubah. Nilai longitude baru akan dimasukkan dari 20 hingga 320. Nilai data yang sesuai akan \_FillValues. Nilai anak -40 hingga 0 akan menjadi 320 hingga 360. Penyisipan nilai-nilai yang hilang mungkin tampak aneh, tetapi menghindari beberapa masalah yang dihasilkan dari memiliki nilai-nilai longitude yang melompat tiba-tiba (g, dari 20 hingga 320) Sitemap
- SitemapLogin, ada jenis dataset khusus",EDDGridLon0360Dari ErddapCatalog, yang memungkinkan Anda menghasilkandatasets.xmlSitemapEDDGridLon0360 dataset dari masing-masingEDDGriddataset dalam sebuahERDDAPyang memiliki nilai longitude lebih dari 180. Ini memfasilitasi menawarkan dua versi dataset ini: asli, dengan nilai longitude dalam kisaran 0 hingga 360, dan dataset baru, dengan nilai longitude dalam kisaran -180 hingga 180.
Dataset anak dalam setiapEDDGridLon0360 dataset akan menjadiEDDGridDari dataSet Erddap yang menunjuk ke dataset asli. Dataset barudatasetIDakan menjadi nama dataset asli ditambah "\_Lon0360". Sitemap
<dataset type="EDDGridLon0360" datasetID="erdMBsstdmday\\_Lon0360" active="true">
<dataset type="EDDGridFromErddap" datasetID="erdMBsstdmday\\_Lon0360Child">
<!-- SST, Aqua MODIS, NPP, 0.025 degrees, Pacific Ocean, Daytime
(Monthly Composite) minLon=-40.0 maxLon=20.0 -->
<sourceUrl>https://coastwatch.pfeg.noaa.gov/erddap/griddap/erdMBsstdmday
</sourceUrl>
</dataset>
</dataset>
LoginEDDGridLon0360 dataset Sitemap dataset asli dalamdatasets.xmlSitemap Itu menghindari beberapa masalah yang mungkin.
Atau, Anda dapat menggantiEDDGridDariErddap dataset anak dengan dataset aslidatasets.xmlSitemap Kemudian, hanya akan ada satu versi dataset: satu dengan nilai longitude dalam 0 sampai 360. Kami mendiskusikan ini karena ada waktu ketika setiap versi dataset lebih nyaman.
- Jika Anda menawarkan dua versi dataset, misalnya, satu dengan garis bujur 0 hingga 360 dan satu dengan garis bujur -180 hingga 180:
- Anda dapat menggunakan opsional [<Sitemap LoginWMSLogin<Sitemap LoginWMSSitemap (Login) dengan 0 hingga 360 dataset untuk menonaktifkanWMSLayanan untuk dataset tersebut. Kemudian, hanya -180 ke 180 versi dataset akan dapat diakses melaluiWMSSitemap
- Ada beberapa cara untuk menjaga dataset Lon0360 terbaru dengan perubahan data yang mendasari:
- Jika dataset anak adalahEDDGridDari dataSet Erddap yang merujuk pada dataset yang samaERDDAP™Dataset Lon0360 akan mencoba untuk langsung berlangganan dataset yang mendasari sehingga selalu terbaru. Langganan langsung tidak menghasilkan email yang meminta Anda untuk memvalidasi langganan - validasi harus dilakukan secara otomatis.
- Jika dataset anak bukanEDDGridDari dataset Erddap yang samaERDDAP™Dataset Lon0360 akan mencoba menggunakan sistem berlangganan reguler untuk berlangganan dataset yang mendasari. Jika Anda memiliki sistem berlangganan di AndaERDDAP™Anda harus mendapatkan email meminta Anda untuk memvalidasi berlangganan. Sitemap
- Jika Anda memiliki sistem berlangganan di AndaERDDAP™mematikan, dataset Lon0360 kadang-kadang mungkin memiliki metadata yang sudah usang sampai dataset Lon0360 diisi ulang. Jadi jika sistem berlangganan dimatikan, Anda harus mengatur [<Login Login (Sitemap) pengaturan data Lon0360 untuk jumlah yang lebih kecil, sehingga lebih cenderung menangkap perubahan pada dataset anak lebih cepat.
EDDGridDatasheet PDF Login
<dataset type="EDDGridLon0360" datasetID\="..." active\="..." >
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1. For
EDDGridFromDap, this gets the remote .dds and then gets the new
leftmost (first) dimension values. -->
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<dataset>...</dataset> <!-- The child EDDGrid dataset. -->
</dataset>
EDDGridLogin
EDDGridLogin agregat dua atau lebihEDDGridLogin (anak-anak) sisi dengan sisi.
- Dataset yang dihasilkan memiliki semua variabel dari semua dataset anak.
- Dataset induk dan semua dataset anak MUST memiliki berbedadatasetIDSitemap Jika ada nama dalam keluarga persis sama, dataset akan gagal dimuat (dengan pesan kesalahan yang nilai-nilai sumbu agregat tidak diurutkan) Sitemap
- Semua anak MUST memiliki nilai sumber yang sama untukaxisVariableLogin\[1 g\] (misalnya, latitude, longitude) Sitemap Ketepatan pengujian ditentukan olehLoginSitemap
- Anak-anak mungkin memiliki nilai sumber yang berbeda untuk Meme itaxisVariableLogin\[Sitemap\] (misalnya, waktu) tapi mereka biasanya sebagian besar sama. Meme it
- Dataset induk akan muncul untuk memiliki semua Meme itaxisVariableLogin\[Sitemap\]nilai sumber dari semua anak-anak.
- Misalnya, ini memungkinkan Anda menggabungkan dataset sumber dengan u-komponen vektor dan dataset sumber lain dengan v-komponen vektor, sehingga data gabungan dapat disajikan.
- Anak-anak yang diciptakan oleh metode ini diadakan secara pribadi. Dataset tidak dapat diakses secara terpisah (misalnya, oleh permintaan data klien atau olehfile bendera) Sitemap
- Metadata global dan pengaturan untuk orang tua berasal dari metadata global dan pengaturan untuk anak pertama.
- Jika ada pengecualian saat membuat anak pertama, orang tua tidak akan diciptakan.
- Jika ada pengecualian saat membuat anak-anak lain, ini mengirim email ke emailEverythingTo (sebagaimana ditentukanWordPress.org) dan berlanjut dengan anak-anak lain.
EDDGridSideBySide skeleton Login
<dataset type="EDDGridSideBySide" datasetID\="..." active\="..." >
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<matchAxisNDigits>...</matchAxisNDigits> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<dataset>...</dataset> <!-- 2 or more -->
</dataset>
EDDGridLogin
EDDGridLogin agregat dua atau lebihEDDGriddataset masing-masing yang memiliki berbagai nilai untuk dimensi pertama, tetapi nilai identik untuk dimensi lain.
- Sebagai contoh, satu dataset anak mungkin memiliki nilai 366 (di 2004) untuk dimensi waktu dan anak lain mungkin memiliki nilai 365 (di 2005) untuk dimensi waktu.
- Semua nilai untuk semua dimensi lainnya (misalnya, latitude, longitude) MUST identik untuk semua anak-anak. Ketepatan pengujian ditentukan olehLoginSitemap
- Nilai Dimensi Terurut - Nilai untuk setiap dimensi MUST dalam urutan yang diurutkan (menangguhkan atau turun) Sitemap Nilai-nilai dapat disampingkan. Tidak ada hubungan. Ini adalah persyaratanStandar metadata CFSitemap Jika nilai dimensi tidak dalam urutan yang diurutkan, dataset tidak akan dimuat danERDDAP™akan mengidentifikasi nilai pertama yang tidak disortasi dalam file log, Login Login
Unsorted nilai dimensi hampir selalu menunjukkan masalah dengan dataset sumber. Ini paling sering terjadi ketika file yang salah atau tidak pantas disertakan dalam agregasi, yang mengarah pada dimensi waktu yang tidak disortir. Untuk memecahkan masalah ini, lihat pesan kesalahan di Meme itERDDAP™file log.txt untuk menemukan nilai waktu offending. Kemudian lihat file sumber untuk menemukan file yang sesuai (atau satu sebelum atau satu setelah) yang tidak termasuk dalam agregasi. Meme it
- Dataset induk dan dataset anak MUST memiliki berbedadatasetIDSitemap Jika ada nama dalam keluarga persis sama, dataset akan gagal dimuat (dengan pesan kesalahan yang nilai-nilai sumbu agregat tidak diurutkan) Sitemap
- Saat ini, dataset anak MUST menjadiEDDGridDari dataset Dap dan MUST memiliki nilai terendah dimensi agregat (biasanya nilai waktu tertua) Sitemap Semua anak lain MUST hampir identik dataset (berbeda hanya dalam nilai untuk dimensi pertama) dan ditentukan oleh hanya mereka Meme itsourceUrlSitemap
- Dataset agregat mendapat metadata dari anak pertama.
- LoginLogin Program Xmldapat membuat draft kasar daridatasets.xmlSitemapEDDGridAggregateExistingDimensi berdasarkan set file yang dilayani olehHyraxServer THREDDS. Misalnya, gunakan input ini untuk program ("/1988" di URL membuat contoh berjalan lebih cepat) Sitemap
EDDType? EDDGridAggregateExistingDimension
Server type (hyrax, thredds, or dodsindex)? hyrax
Parent URL (for example, for hyrax, ending in "contents.html";
for thredds, ending in "catalog.xml")
? https://opendap.jpl.nasa.gov/opendap/ocean\\_wind/ccmp/L3.5a/data/
flk/1988/contents.html
File name regex (for example, ".\\*\\.nc")? month.\\*flk\\.nc\\.gz
ReloadEveryNMinutes (for example, 10080)? 10080
Anda dapat menggunakan hasil<sourceUrl> Tag atau menghapusnya dan membuka<sourceUrl> Tag (sehingga file baru diperhatikan setiap kali dataset diisi ulang.
EDDGridSitemap Login
<dataset type="EDDGridAggregateExistingDimension" datasetID\="..."
active\="..." >
<dataset>...</dataset> <!-- This is a regular EDDGridFromDap dataset
description child with the lowest values for the aggregated
dimensions. -->
<sourceUrl>...</sourceUrl> <!-- 0 or many; the sourceUrls for
other children. These children must be listed in order of
ascending values for the aggregated dimension. -->
<sourceUrls serverType="..." regex="..." recursive="true"
pathRegex\=".\"
>https://someServer/someDirectory/someSubdirectory/catalog.xml</sourceUrls>
<!-- 0 or 1. This specifies how to find the other children,
instead of using separate sourceUrl tags for each child. The
advantage of this is: new children will be detected each time
the dataset is reloaded. The serverType must be "thredds",
"hyrax", or "dodsindex". An example of a regular expression (regex) (tutorial) is .\\.nc
recursive can be "true" or "false".
Only directory names which match the
<pathRegex>
(default=".\*") will be accepted.
A thredds catalogUrl MUST include "/thredds/catalog/".
An example of a thredds catalogUrl is
https://thredds1.pfeg.noaa.gov/thredds/catalog/Satellite/aggregsatMH/
chla/catalog.xml
An example of a hyrax catalogUrl is
https://opendap.jpl.nasa.gov/opendap/allData/ccmp/L3.5a/monthly/
flk/1988/contents.html
An example of a dodsindex URL is
https://opendap.jpl.nasa.gov/opendap/GeodeticsGravity/tellus/L3/mascon/RL06/JPL/v02/CRI/netcdf/contents.html
(Note the "OPeNDAP logo at the top of the page.)
When these children are sorted by filename, they must be in
order of ascending values for the aggregated dimension. -->
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<matchAxisNDigits>...</matchAxisNDigits> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
</dataset>
EDDGridLogin
EDDGridLogin membuat dan mempertahankan salinan lokal dari yang lainEDDGridData dan menyajikan data dari salinan lokal.
- EDDGridLogin (dan untuk data tabular,Login) sangat mudah digunakan dan sangat efektif
solusi untuk beberapa masalah terbesar dengan melayani data dari sumber data jarak jauh:
- Mengakses data dari sumber data jarak jauh bisa lambat.
- Mungkin lambat karena melekat lambat (misalnya, jenis server yang tidak efisien) Login
- karena kewalahan oleh terlalu banyak permintaan,
- atau karena server Anda atau server jarak jauh terbatas.
- Dataset jarak jauh kadang-kadang tidak tersedia (lagi, untuk berbagai alasan) Sitemap
- Mengandalkan satu sumber untuk data tidak skala dengan baik (misalnya, ketika banyak pengguna dan banyakERDDAPmemanfaatkannya) Sitemap
- Mengakses data dari sumber data jarak jauh bisa lambat.
- Cara Kerja --EDDGridCopy memecahkan masalah ini dengan secara otomatis membuat dan mempertahankan salinan lokal data dan melayani data dari salinan lokal.ERDDAP™dapat melayani data dari salinan lokal dengan sangat cepat. Dan membuat salinan lokal menghilangkan beban pada server jarak jauh. Dan salinan lokal adalah cadangan asli, yang berguna dalam hal sesuatu terjadi pada aslinya.
Tidak ada yang baru tentang membuat salinan lokal dataset. Apa yang baru di sini adalah bahwa kelas ini membuatnya Meme it\*Sitemap\*untuk membuat dan\*Login\*salinan lokal data dari\*Login\*jenis sumber data jarak jauh dan\*metadata\*sementara menyalin data.
- SitemapEDDGridCopy membuat salinan lokal data dengan meminta potongan data dari jarak jauh<Login Akan ada chunk untuk setiap nilai dari paling kiri (Login) variabel sumbu.EDDGridCopy tidak bergantung pada nomor indeks dataset jarak jauh untuk sumbu -- mereka dapat berubah.
PERINGATAN: Jika ukuran chunk data sangat besar (Sitemap 2 g) itu menyebabkan masalah,EDDGridCopy tidak bisa digunakan. (Maaf, kami berharap memiliki solusi untuk masalah ini di masa depan.)
- \[Alternatif untukEDDGridLogin Jika data jarak jauh tersedia melalui file yang dapat diunduh, bukan layanan web, gunakanLogin DariUrl pilihan untukEDDGridLogin, yang membuat salinan lokal dari file jarak jauh dan melayani data dari file lokal.\]
- Database Setiap chunk data disimpan dalam terpisahNetCDFfile dalam subdirectory Login Login datasetID Sitemap (sebagaimana ditentukanWordPress.org) Sitemap URL yang dibuat dari nilai sumbu dimodifikasi untuk membuat file-name-safe (misalnya, hyphens diganti oleh "x2D") - ini tidak mempengaruhi data yang sebenarnya. Meme it
- Data Baru Login Setiap kaliEDDGridCopy reloaded, itu memeriksa remote<dataset> untuk melihat chunks apa yang tersedia. Jika file untuk chunk data tidak ada, permintaan untuk mendapatkan chunk ditambahkan ke antrian.ERDDAP's taskThread memproses semua permintaan terqueued untuk chunks data, satu-by-one. Anda dapat melihat statistik untuk aktivitas taskThread padaLogindan diLaporan harianSitemap (LoginERDDAP™dapat menetapkan beberapa tugas untuk proses ini, tetapi itu akan menggunakan banyak bandwidth sumber data jarak jauh, memori, dan waktu CPU, dan banyak lokalERDDAPbandwidth, memori, dan waktu CPU, tidak ada ide yang baik.)
CATATAN: Waktu pertamaEDDGridFotokopi dimuat, (jika semua berjalan dengan baik) banyak permintaan untuk chunks data akan ditambahkan ke queue taskThread, tetapi tidak ada file data lokal yang akan dibuat. Jadi konstror akan gagal tetapi taskThread akan terus bekerja dan membuat file lokal. Jika semua berjalan dengan baik, taskThread akan membuat beberapa file data lokal dan upaya berikutnya untuk memuat ulang dataset (di ~ 15 menit) akan berhasil, tetapi awalnya dengan sejumlah data yang sangat terbatas.
CATATAN: Setelah dataset lokal memiliki beberapa data dan muncul di data AndaERDDAPJika dataset jarak jauh sementara atau tidak dapat diakses secara permanen, dataset lokal masih akan bekerja.
PERINGATAN: Jika dataset jarak jauh besar dan / atau server jarak jauh lambat lambat (itu masalah, bukan?! Meme it) akan memakan waktu lama untuk membuat salinan lokal yang lengkap. Dalam beberapa kasus, waktu yang diperlukan akan diterima. Contohnya, mentransmisikan 1 TB data melalui jalur T1 (0.15 g) setidaknya 60 hari, dalam kondisi optimal. Plus, menggunakan banyak bandwidth, memori, dan waktu CPU pada komputer jarak jauh dan lokal. Solusinya adalah mengirim hard drive ke administrator dari set data jarak jauh sehingga dapat membuat salinan dataset dan mengirimkan hard drive kembali ke Anda. Gunakan data sebagai titik awal danEDDGridCopy akan menambahkan data ke dalamnya. (Itu adalah satu cara yang Meme itLayanan Cloud EC2 Amazonmenangani masalah, meskipun sistem mereka memiliki banyak bandwidth.)
PERINGATAN: Jika nilai yang diberikan untuk yang paling kiri (Login) variabel sumbu hilang dari dataset jarak jauh,EDDGridCopy tidak menghapus file yang disalin lokal. Jika Anda ingin, Anda dapat menghapusnya sendiri.
WordPress.org Login
Logindatasets.xmluntuk dataset ini dapat memiliki tag opsional
<checkSourceData>true</checkSourceData>
Nilai default benar. Jika/ketika Anda mengaturnya ke salah, dataset tidak akan pernah memeriksa dataset sumber untuk melihat apakah ada data tambahan yang tersedia.
Login
Anda dapat memberitahukanEDDGridCopy untuk membuat salinan subset dataset sumber, bukan seluruh dataset sumber, dengan menambahkan tag dalam bentuk<Login Sitemap Login </onlySince> ke datasetdatasets.xmlLoginEDDGridCopy hanya akan mengunduh nilai data yang terkait dengan nilai dimensi pertama (biasanya dimensi waktu) yang lebih besar daripada Meme it Sitemap Login Sitemap Sitemap Login bisa:
-
Waktu relatif ditentukan melaluinow- Login Sitemap Sitemap<Loginnow-2 tahun</onlySince> memberi tahu dataset hanya membuat salinan lokal data untuk data di mana nilai dimensi luar (biasanya nilai waktu) dalam 2 tahun terakhir (yang dievaluasi kembali setiap kali dataset diisi ulang, yang ketika terlihat untuk data baru untuk menyalin) Sitemap Sitemapnow- Login Deskripsi sintaksSitemap Ini berguna jika dimensi pertama memiliki data waktu, yang biasanya dilakukan.
EDDGridCopy tidak menghapus file data lokal yang memiliki data yang, seiring waktu, menjadi lebih tua darinow- Login Sitemap Anda dapat menghapus file apa pun jika Anda memilih untuk. Jika Anda melakukannya, kami sangat menyarankan Anda mengatur Meme itLoginsetelah Anda menghapus file untuk memberitahu Meme itEDDGridCopy untuk memperbarui daftar file yang tersimpan.
-
Titik tetap dalam waktu yang ditentukan sebagai string ISO 8601yyyy-MM-ddTHH:mm:ssZSitemap Sitemap<hanyaSince> 2000-01T00:00Z</onlySince> memberitahu dataset hanya untuk membuat salinan lokal data di mana nilai dimensi pertama adalah \> = 2000-01T00:00Z. Ini berguna jika dimensi pertama memiliki data waktu, yang biasanya dilakukan.
-
Nomor titik mengambang. Sitemap<hanyaSince>946684800.0<Login Unit ini akan menjadi unit tujuan dimensi pertama. Misalnya, untuk dimensi waktu, unit dalamERDDAP™Sitemap"seconds since 1970-01-01T00:00:00Z"Sitemap Di 946684800.0"seconds since 1970-01-01T00:00:00Z"setara dengan 2000-01-01T00:00Z. Ini selalu menjadi pilihan yang berguna, tetapi sangat berguna ketika dimensi pertama tidak memiliki data waktu.
EDDGridFotokopi
- Login<Login Login (jenis asli, tidakEDDGridLogin) untuk sumber data jarak jauh. Mendapatkan bekerja dengan benar, termasuk semua metadata yang diinginkan.
- Jika terlalu lambat, tambahkan kode XML untuk membungkusnya di sebuahEDDGridFotokopi.
- Gunakan yang berbedadatasetID (mungkin dengan mengubahdatasetIDlamadatasetIDLogin) Sitemap
- Fotokopi<Sitemap Sitemap<reloadEveryNMinutes> dan<onChange> dari jarak jauhEDDGrid's XML keEDDGridFoto's XML (Nilai mereka untukEDDGridCopy masalah; nilai-nilai mereka untuk dataset batin menjadi tidak relevan.)
- ERDDAP™akan membuat dan memelihara salinan lokal data.
- Login:EDDGridCopy menganggap bahwa nilai data untuk setiap chunk tidak pernah berubah. Jika/ketika mereka melakukan, Anda perlu menghapus file chunk secara manual Login Login datasetID / yang berubah danLogindataset untuk diisi ulang sehingga potongan yang dihapus akan diganti. Jika Anda memiliki berlangganan email ke dataset, Anda akan mendapatkan dua email: satu ketika dataset reload pertama dan mulai menyalin data, dan lain ketika dataset memuat lagi (Sitemap) dan mendeteksi file data lokal baru.
- Semua nilai sumbu harus sama. Untuk setiap sumbu kecuali kiri (Login) Semua nilai harus sama untuk semua anak. Ketepatan pengujian ditentukan olehLoginSitemap
- Pengaturan, Metadata, Variabel --EDDGridCopy menggunakan pengaturan, metadata, dan variabel dari dataset sumber tertutup.
- Ubah Metadata Login Jika Anda perlu mengubahaddAttributesatau mengubah urutan variabel yang terkait dengan dataset sumber:
- LoginaddAttributesuntuk dataset sumber dalamdatasets.xml, sesuai kebutuhan.
- Hapus salah satu file yang disalin.
- SitemapLoginuntuk memuat ulang dataset segera. Jika Anda menggunakan bendera dan Anda memiliki berlangganan email ke dataset, Anda akan mendapatkan dua email: satu ketika dataset beban pertama dan mulai menyalin data, dan lain ketika dataset dimuat lagi (Sitemap) dan mendeteksi file data lokal baru.
- File yang dihapus akan diregenerasi dengan metadata baru. Jika dataset sumber tidak tersedia,EDDGridCopy dataset akan mendapatkan metadata dari file regenerasi, karena itu adalah file yang paling muda.
EDDGridFotokopi Login
<dataset type="EDDGridCopy" datasetID\="..." active\="..." >
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaFiles>true|false(default)</accessibleViaFiles>
<!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<matchAxisNDigits>...</matchAxisNDigits> <!-- 0 or 1 -->
<fileTableInMemory>...</fileTableInMemory> <!-- 0 or 1 (true or false
(the default)) -->
<checkSourceData>...</checkSourceData> <!-- 0 or 1 -->
<onlySince>...</onlySince> <!-- 0 or 1 -->
<dataset>...</dataset> <!-- 1 -->
</dataset>
Login
Login menangani data dari satuLogintabel. Cassandra adalah database NoSQL.
- ERDDAP™dapat bekerja dengan Cassandra v2 dan v3 tanpa perubahan atau perbedaan dalam setup. Kami telah diuji denganCassandra v2 dan v3 dari LoginSitemap MungkinERDDAP™juga dapat bekerja dengan Cassandra yang diunduh dari DataStax.
- Untuk Aug 2019 - Mei 2021, kami kesulitan mendapatkan Cassandra untuk bekerja dengan MengadopsiOpenJdkJavav8. Ini melemparkan EXCEPTION\_ACCESS\_VIOLATION). Sitemap (Mei 2021) , masalah itu hilang: kita dapat berhasil menggunakan Cassandra v2.1.22 dan MengadopsiOpenJdk jdk8u292-b10.
Satu Tabel
Cassandra tidak mendukung "joins" dengan cara database hubungan. SitemapERDDAP™EDDTableDariCassandra dataset peta ke satu (mungkin satu set) Tabel Cassandra.
Logindatasets.xml
- ERDDAP™datang dengan CassandraJavapengemudi, jadi Anda tidak perlu menginstalnya secara terpisah.
- Baca semua informasi dokumen ini tentang EDDTableFromCassandra. Beberapa detailnya sangat penting.
- LoginJavadriver dimaksudkan untuk bekerja dengan Apache Cassandra (1.2 g) dan Perusahaan DataStax (3.1 g) Sitemap Jika Anda menggunakan Apache Cassandra 1.2.x, Anda harus mengedit file cassandra.yaml untuk setiap node untuk mengatur start\_native\_transport: true, kemudian restart setiap node.
- Kami sangat merekomendasikan menggunakanLogin Program Xmluntuk membuat draft kasar daridatasets.xmlchunk dataset ini. Anda kemudian dapat mengedit bahwa untuk tune halus itu (terutama [<Login Login (Sitemap) Sitemap Anda dapat mengumpulkan sebagian besar informasi yang Anda butuhkan untuk membuat XML untuk dataset EDDTableDariCassandra dengan menghubungi administrator Cassandra dan dengan mencari web.
Login Xml memiliki dua pilihan khusus untuk EDDTableDariCassandra:
- Jika Anda memasukkan "!!!LIST !!!" (tanpa kutipan) untuk keyspace, program akan menampilkan daftar keyspaces
- Jika Anda memasuki ruang kunci tertentu dan kemudian masukkan "!!!LIST !!!" (tanpa kutipan) untuk nama tabel, program akan menampilkan daftar tabel di ruang kunci dan kolom mereka.
Sensitivitas kasus
- Keyspace dan Nama Meja - Cassandra memperlakukan keyspace dan nama meja dengan cara yang tidak sensitif. Karena ini, Anda MUST NEVER menggunakan kata yang dilindungi (tetapi dengan kasus yang berbeda) sebagai keyspace Cassandra atau nama tabel.
- Nama Kolom yang tidak sensitif - Secara default, Cassandra memperlakukan nama kolom dengan cara yang tidak sensitif. Jika Anda menggunakan salah satu kata yang disediakan Cassandra sebagai nama kolom (Sitemap) , anda menggunakan MUST
<columnNameQuotes>"<columnNameQuotes>
Sitemapdatasets.xmluntuk dataset ini sehingga Cassandra danERDDAP™akan memperlakukan nama kolom dengan cara yang sensitif. Ini kemungkinan akan menjadi sakit kepala besar bagi Anda, karena sulit untuk menentukan versi sensitif dari nama kolom - Cassandra hampir selalu menampilkan nama kolom karena semua kasus yang lebih rendah, terlepas dari kasus yang sebenarnya.
- Bekerja sama dengan administrator Cassandra, yang mungkin memiliki pengalaman yang relevan. Jika dataset gagal dimuat, bacaSitemapdengan hati-hati untuk mengetahui mengapa. Meme it
Login<Login Properti & gt;
Cassandra memiliki sifat koneksi yang dapat ditentukan dalamdatasets.xmlSitemap Banyak dari ini akan mempengaruhi kinerja Cassandra-ERDDAP™Login Sayangnya, properti Cassandra harus diatur secara programmatik dalamJavaSitemapERDDAP™harus memiliki kode untuk setiap propertiERDDAP™Login SitemapERDDAP™mendukung properti ini: (Default yang ditampilkan adalah apa yang kita lihat. Default sistem Anda mungkin berbeda.)
- Pilihan Umum
<Login Nama properti=" Sitemap Sitemap Login|Login|Login <Login Login (case-insensitif, default=none)
(Saran kompresi umum: gunakan 'none' jika koneksi antara Cassandra danERDDAP™adalah lokal / cepat dan menggunakan 'LZ4' jika koneksi terpencil / lambat.)
<Login Nama properti=" Login Sitemap username/password <Login Login (itu literal'/')
<Login Nama properti=" metrik Sitemap Login|Login <Login Login (2021-01-25 default=true, sekarang diabaikan dan selalu palsu)
<Login Nama properti=" Login Sitemap Login <Login Login (default untuk protokol biner asli=9042)
<Login Nama properti=" Login Sitemap Login|Login <Login Login (default=false)
(Upaya cepat saya untuk menggunakan sssl gagal. Jika Anda berhasil, silakan beri tahu saya bagaimana Anda melakukannya.) - Opsi Query
<Login Nama properti=" Sitemap Login Sitemap Sitemap|Sitemap|Login|Login|Login|WordPress.org|Sitemap|Login|serial|Sitemap|Sitemap <Login Login (case-insensitif, default=ONE)
<Login Nama properti=" Login Sitemap Login <Login Login (default=5000)
(Jangan menetapkan ukuran untuk nilai yang lebih kecil.)
<Login Nama properti=" Login Sitemap Sitemap|Sitemap|Login|Login|Login|WordPress.org|Sitemap|Login|serial|Sitemap|Sitemap <Login Login (case-insensitif, default=SERIAL) - Opsi Socket
<Login Nama properti=" Login Sitemap Login <Login Login (default=5000)
(Jangan mengatur terhubung TimeoutMillis ke nilai yang lebih kecil.)
<Login Nama properti=" Login Sitemap Login|Login <Login Login <Login Nama properti=" Login Sitemap Login <Login Login (Pembacaan default Cassandra adalah 12000, tetapiERDDAP™perubahan default ke 120000. Jika Cassandra adalah membuang readTimeout, meningkatkan ini mungkin tidak membantu, karena Cassandra kadang-kadang melemparkan mereka sebelum waktu ini. Masalahnya lebih mungkin bahwa Anda menyimpan terlalu banyak data per partisi Kombinasi utama.)
<Login Nama properti=" Login Sitemap Login <Login Login (Tidak jelas apa yang menerimaBufferSize default. Jangan set ini ke nilai kecil.)
<Login Nama properti=" Login Sitemap Login <Login Login <Login Nama properti=" Login Sitemap Login|Login <Login Login (default=null)
Jika Anda perlu dapat mengatur sifat koneksi lain, lihatbagian untuk mendapatkan dukungan tambahanSitemap
Untuk startup yang diberikan Tomcat, koneksiProperties hanya digunakan saat pertama dataset dibuat untuk URL Cassandra yang diberikan. Semua reload dataset dan semua dataset berikutnya yang membagikan URL yang sama akan menggunakan koneksi asliProperties.
Login
Login (Login) sangat seperti SQL, bahasa query yang digunakan oleh database tradisional. SitemapOPeNDAPPermintaan data tabular dirancang untuk meniru permintaan data tabular SQL, dimungkinkan untukERDDAP™untuk mengubah permintaan data tabular ke CQL Bound/PreparedStatements.ERDDAP™loginLoginSitemap
pernyataan sebagai teks: Sitemap
Versi pernyataan yang Anda lihat akan menjadi representasi teks dari pernyataan dan hanya akan memiliki "?" di mana nilai-nilai kontratraint akan ditempatkan.
Tidak begitu sederhana -- Sayangnya, CQL memiliki banyak pembatasan pada kolom mana dapat dikuerikan dengan jenis-jenis kendala, misalnya, kolom kunci partisi dapat dibatasi dengan = dan IN, sehinggaERDDAP™mengirim beberapa batasan untuk Cassandra dan menerapkan semua batasan setelah data diterima dari Cassandra. SitemapERDDAP™kesepakatan efisien dengan Cassandra, Anda perlu menentukan [<Login Login (Sitemap) Sitemap<klasterColumnSourceNames>] (Sitemap) Sitemap<indexColumnSourceNames>] (Sitemap) Sitemapdatasets.xmluntuk dataset ini. Ini adalah cara yang paling penting untuk membantuERDDAP™pekerjaan efisien dengan Cassandra. Jika Anda tidak memberitahu Meme itERDDAP™informasi ini, dataset akan menyakitkan lambatERDDAP™dan gunakan ton sumber daya Cassandra.
<Login KeySourceNames>
Karena kunci partisi memainkan peran pusat di tabel Cassandra,ERDDAP™perlu tahu mereka Meme itsourceNamedan, jika relevan, informasi lain tentang cara bekerja dengan mereka.
- Anda MUST menentukan daftar lengkap nama kolom sumber utama partisi didatasets.xmlSitemap<Login Login Contoh sederhana,
<partitionKeySourceNames>station, deviceid<partitionKeySourceNames>
Contoh yang lebih kompleks,
<partitionKeySourceNames>deviceid=1007, date/sampletime/1970-01-01<partitionKeySourceNames>
- Kunci Partisi TimeStamp -- Jika salah satu kolom utama partisi adalah kolom timestamp yang memiliki versi kasar dari kolom timestamp lain, tentukan ini melalui
partisiKeySourcName/otherColumnSourceName/time\_precision
Sitemaptime\_precisionadalah salah satutime\_precisionstring digunakan di tempat lainERDDAPSitemap Jalur Z di Meme ittime\_precisionstring adalah default, sehingga tidak masalah jika Meme ittime\_precisionstring berakhir di Z atau tidak. Meme it SitemapERDDAP™akan menafsirkan tanggal / waktu/1970-01-01 seperti "Constraints untuk tanggal dapat dibangun dari batasan pada waktu sampel dengan menggunakan initime\_precisionSitemap Konversi kontratraints yang sebenarnya lebih kompleks, tetapi itu adalah gambaran. Gunakan ini kapan pun relevan. Hal ini memungkinkanERDDAP™untuk bekerja secara efisien dengan Cassandra. Jika hubungan ini antara kolom ada di meja Cassandra dan Anda tidak memberitahuERDDAP™, dataset akan menyakitkan lambatERDDAP™dan gunakan ton sumber daya Cassandra. - Login Nilai Kunci Partisi -- Jika Anda inginERDDAP™dataset untuk bekerja dengan satu nilai satu partisi kunci, tentukan url=value Sitemap Jangan gunakan kutipan untuk kolom numerik, misalnya, perangkatid=1007 Apakah menggunakan kutipan untuk kolom String, misalnya, staid="Point Pinos"
- Dataset Default Sort Order -- Urutan kunci partisi<dataVariableSitemapdatasets.xmlmenentukan urutan jenis default dari hasil dari Cassandra. Tentu saja, pengguna dapat meminta urutan jenis yang berbeda untuk set hasil yang diberikan dengan mendaftarkan &orderBy (Sitemap comma-separated daftar variabel Sitemap) untuk akhir kueri mereka. Meme it
- Secara default, Cassandra danERDDAP™memperlakukan nama kolom dengan cara yang tidak sensitif. Tapi jika Anda setSitemap",ERDDAP™akan memperlakukan nama kolom Cassandra dengan cara yang sensitif.
<Login Login
Jika ini ditentukan,ERDDAP™akan menggunakannya bukan meminta Cassandra untuk partisi Informasi utama setiap kali dataset diisi ulang. Ini menyediakan daftar nilai kunci partisi yang berbeda, dalam urutan mereka akan digunakan. Kali harus ditentukan sebagai detik sejak 1970-01T00:00Z. Tapi ada juga dua cara alternatif khusus untuk menentukan waktu (setiap dikodekan sebagai string) Sitemap
- waktu (aISO8601 Sitemap) (Dapat dikodekan sebagai string)
- "waktu (anISO8601StartTime, strideSeconds, stopTime) Sitemap (MUST dikodekan sebagai string)
Login Waktu dapat berupa ISO8601 Sitemapnow-nUnits (Sitemapnow-3 menit) Sitemap Login Waktu tidak harus menjadi pertandingan yang tepat dari awal Sitemap Baris dengan beberapa kali () nilai akan diperluas ke beberapa baris sebelum setiap pertanyaan, sehingga daftar partisi Kunci dapat selalu up-to-date sempurna. Sitemap
<partitionKeyCSV>
deviceid,date
1001,"times(2014-11-01T00:00:00Z, 86400, 2014-11-02T00:00:00Z)"
1007,"time(2014-11-07T00:00:00Z)"
1008,time(2014-11-08T00:00:00Z)
1009,1.4154912E9
</partitionKeyCSV>
memperluas ke tabel kombinasi utama partisi ini:
deviceid,date
1001,1.4148E9
1001,1.4148864E9
1007,1.4153184E9
1008,1.4154048E9
1009,1.4154912E9
<klasterColumnSourceNames>
Cassandra menerima batasan seperti SQL pada kolom kluster, yang merupakan kolom yang membentuk bagian kedua dari kunci utama (setelah kunci partisi (Login) ) Sitemap Jadi, penting bahwa Anda mengidentifikasi kolom ini melalui<klasterColumnSourceNames>. Hal ini memungkinkanERDDAP™untuk bekerja secara efisien dengan Cassandra. Jika ada kolom kluster dan Anda tidak memberitahu Meme itERDDAP, dataset akan menyakitkan lambatERDDAP™dan gunakan ton sumber daya Cassandra.
- Sitemap<clusterColumnSourceNames> myClusterColumn1, myClusterColumn2 </clusterColumnSourceName>
- Jika tabel Cassandra tidak memiliki kolom kluster, baik tidak menentukan<clusterColumnSourceNames>, atau menentukannya tanpa nilai.
- Secara default, Cassandra danERDDAP™memperlakukan nama kolom dengan cara yang tidak sensitif. Tapi jika Anda setSitemap",ERDDAP™akan memperlakukan nama kolom Cassandra dengan cara yang sensitif.
<indexColumnSourceNames>
Cassandra menerima'='kendala pada kolom indeks sekunder, yang merupakan kolom yang telah Anda buat secara eksplisit indeks melalui
CREATE INDEX *indexName* ON *keyspace.tableName* (*columnName*);
(Ya, orang tua diperlukan.)
Jadi, sangat berguna jika Anda mengidentifikasi kolom ini melalui<indexColumnSourceNames>. Hal ini memungkinkanERDDAP™untuk bekerja secara efisien dengan Cassandra. Jika ada kolom indeks dan Anda tidak memberitahu Meme itERDDAP, beberapa pertanyaan akan perlu, menyakitkan lambatERDDAP™dan gunakan ton sumber daya Cassandra.
- Sitemap<indexColumnSourceNames> myIndexColumn1, myIndexColumn2 </indexColumnSourceNames>
- Jika tabel Cassandra tidak memiliki kolom indeks, baik tidak menentukan<indexColumnSourceNames>, atau menentukannya tanpa nilai.
- PERINGATAN: Indeks Cassandra tidak seperti indeks database. Indeks Cassandra hanya membantu dengan'='Login Dan mereka hanya Meme itSitemapuntuk kolom yang memiliki nilai yang jauh lebih berbeda daripada nilai total.
- Secara default, Cassandra danERDDAP™memperlakukan nama kolom dengan cara yang tidak sensitif. Tapi jika Anda setSitemap",ERDDAP™akan memperlakukan nama kolom Cassandra dengan cara yang sensitif.
<maxRequestFraction>
SitemapERDDAP™ (Sitemap) memuat dataset,ERDDAP™mendapat dari Cassandra daftar kombinasi yang berbeda dari tombol partisi. Untuk dataset besar, jumlah kombinasi akan sangat besar. Jika Anda ingin mencegah permintaan pengguna dari meminta sebagian besar atau semua dataset (atau bahkan permintaan yang meminta Meme itERDDAP™untuk men-download sebagian besar atau semua data untuk filter lebih lanjut Meme it) Anda dapat memberitahukanERDDAP™hanya untuk memungkinkan permintaan yang mengurangi jumlah kombinasi dengan beberapa jumlah melalui<maxRequestFraction>, yang merupakan nomor titik mengambang antara 1e-10 (yang berarti bahwa permintaan tidak perlu lebih dari 1 kombinasi dalam miliar) dan 1 (default, yang berarti bahwa permintaan dapat untuk seluruh dataset) Sitemap Misalnya, jika dataset memiliki kombinasi berbeda 10000 dari tombol partisi dan maxRequestFraction diatur ke 0,1, maka permintaan yang membutuhkan data dari 1001 atau lebih kombinasi akan menghasilkan pesan kesalahan, tetapi permintaan yang memerlukan data dari kombinasi 1000 atau lebih sedikit akan diizinkan.
Umumnya, semakin besar dataset, semakin rendah yang harus Anda set<Login Jadi Anda mungkin mengaturnya ke 1 untuk dataset kecil, 0,1 untuk dataset menengah, 0,01 untuk dataset besar, dan 0.0001 untuk dataset besar.
Pendekatan ini jauh dari sempurna. Ini akan menyebabkan beberapa permintaan yang wajar ditolak dan beberapa permintaan yang terlalu besar diperbolehkan. Tapi itu adalah masalah yang sulit dan solusi ini jauh lebih baik daripada apa-apa.
LoginsubsetVariables
Seperti halnya dataset EDDTable lainnya, Anda dapat menentukan daftar koma-separated<dataVariableSitemapdestinationNameatribut global yang disebut "subsetVariables" untuk mengidentifikasi variabel yang memiliki sejumlah nilai terbatas. Dataset kemudian akan memiliki halaman web .subset dan menampilkan daftar nilai yang berbeda untuk variabel tersebut dalam daftar drop-down pada banyak halaman web.
Termasuk hanya variabel kunci partisi dan kolom statis dalam daftar STRONGLY ENCOLogin Cassandra akan dapat menghasilkan daftar kombinasi yang berbeda dengan sangat cepat dan mudah setiap kali dataset diisi ulang. Satu pengecualian adalah tombol partisi kalitamp yang versi kasar dari beberapa kolom timestamp lainnya - mungkin yang terbaik untuk meninggalkan daftar daftar daftar daftarsubsetVariableskarena ada sejumlah besar nilai dan mereka tidak sangat berguna bagi pengguna.
Jika Anda menyertakan kunci non-partisi, variabel non-statis dalam daftar, itu mungkin akan Sitemap sebanding mahal untuk Cassandra setiap kali dataset diisi ulang, karenaERDDAP™harus melihat melalui setiap baris dataset untuk menghasilkan informasi. Faktanya, query cenderung gagal. Jadi, kecuali untuk dataset yang sangat kecil, ini adalah DISCOURAGED STRONGLY.
Login
Karena ada beberapa ambiguitas tentang yangJenis data Cassandrapeta ke manaERDDAP™jenis data, Anda perlu menentukan [<Login (Login) Promo<dataVariableSitemap (Login) SitemapERDDAP™DataType untuk digunakan. StandarERDDAP™Sitemap Login (dan jenis data Cassandra yang paling umum) Sitemap
- Login (Login) SitemapERDDAP™kemudian toko sebagai byte
- Login (int, jika kisaran adalah -128 ke 127)
- Sitemap (int, jika kisaran adalah -32768 ke 32767)
- Login (int, counter?, varint?, jika kisaran adalah -2147483648 untuk 2147483647)
- Login (bigint, counter?, varint?, jika kisaran adalah -9223372036854775808 ke 9223372036854775807)
- Login (Login)
- Sitemap (ganda, desimal (dengan kemungkinan kehilangan ketepatan) Sitemap)
- Login (ascii atau teks, jika mereka tidak pernah memiliki lebih dari 1 karakter)
- Login (ascii, teks, varchar, inet, uuid, timeuid, blob, peta, set, daftar?)
LoginLoginadalah kasus khusus: penggunaanERDDAPdata ganda Login
Jika Anda menentukan String dataType diERDDAP™untuk peta Cassandra, set atau daftar, peta, set atau daftar pada setiap baris Cassandra akan dikonversi ke string tunggal pada baris tunggal di baris tunggalERDDAP™tabel.ERDDAP™memiliki sistem alternatif untuk daftar; lihat di bawah ini.
Login Daftar --ERDDAPSitemap<Login (Login) Tag untuk CassandradataVariables dapat mencakup biasaERDDAP™Sitemap Login (lihat di atas) ditambah beberapa jenis data khusus yang dapat digunakan untuk kolom daftar Cassandra: booleanList, byteList, ubyteList, shortList, ushortList, intList, uintList, longList, ulongList, floatList, doubleList, charList, StringList. Ketika salah satu kolom daftar ini adalah dalam hasil yang dilewatkanERDDAP™Setiap baris data sumber akan diperluas ke daftar. Sitemap () baris data dalamERDDAP; data sederhana Login (misalnya, int) dalam baris data sumber itu akan diduplikasi. Sitemap () Sitemap Jika hasilnya mengandung lebih dari satu variabel daftar, semua daftar pada baris tertentu data MUST memiliki ukuran yang sama dan MUST "parallel" daftar, atauERDDAP™akan menghasilkan pesan kesalahan. Misalnya, untuk pengukuran arus dari ADCP, Login\[Sitemap\]Login\[Sitemap\]Login\[Sitemap\], dan zCurrent\[Sitemap\]semua terkait, dan Login\[1 Artikel\]Login\[1 Artikel\]Login\[1 Artikel\], dan zCurrent\[1 Artikel\]semua terkait, ... Atau, jika Anda tidak ingin Meme itERDDAP™untuk memperluas daftar ke beberapa baris di Meme itERDDAP™tabel, tentukan String sebagaidataVariabledata Jenis sehingga seluruh daftar akan diwakili sebagai satu String pada satu barisERDDAPSitemap
Cassandra TimeStamp Data
Data timestamp Cassandra selalu menyadari zona waktu. Jika Anda memasukkan data timestamp tanpa menentukan zona waktu, Cassandra menganggap timestamp menggunakan zona waktu setempat.
ERDDAP™mendukung data timestamp dan selalu menyajikan data di Meme itZulu/GMT zona waktu. Jadi jika Anda memasukkan data timestamp di Cassandra menggunakan zona waktu selainZulu/GMT, ingat bahwa Anda perlu melakukan semua pertanyaan untuk data timestamp diERDDAP™menggunakanZulu/GMT zona waktu. Jadi jangan terkejut ketika nilai timestamp yang keluarERDDAPdigeserkan oleh beberapa jam karena zona waktu beralih dari lokal keZulu/GMT waktu.
- SitemapERDDAPSitemapdatasets.xmlSitemap<dataVariable> tag untuk variabel kalitamp, set
<dataType>double</dataType>
dan<addAttributesSitemap
<att name="units">seconds since 1970-01-01T00:00:00Z</att>
- Saran: Jika data adalah rentang waktu, berguna untuk memiliki nilai timestamp merujuk ke pusat rentang waktu yang tidak diinginkan (misalnya, noon) Sitemap Misalnya, jika pengguna memiliki data untuk 2010-03-26T13:00Z dari dataset lain dan mereka ingin data terdekat dari dataset Cassandra ini yang memiliki data untuk setiap hari, maka data untuk 2010-03-26T12:00Z (mewakili data Cassandra untuk tanggal itu) jelas yang terbaik (bertentangan dengan tengah malam sebelum atau sesudah, di mana kurang jelas yang terbaik) Sitemap
- ERDDAP™memiliki utilitas untukMengkonversi Numeric Waktu ke/dari Waktu StringSitemap
- SitemapSitemapERDDAP™Penawaran dengan WaktuSitemap
Login
Cassandra mendukung nulls di Cassandra int (ERDDAP™Login) Login (ERDDAP™Login) kolom, tapiERDDAP™tidak mendukung null sejati untuk jenis data integer. Secara default, nulls cassandra akan dikonversi dalamERDDAP™ke 2147483647 untuk kolom int, atau 9223372036854775807 untuk kolom panjang. Ini akan muncul sebagai "NaN" dalam beberapa jenis file output teks (misalnya, .csv) "" dalam jenis file output teks lainnya (Sitemap.htmlTable) , dan jumlah tertentu (2147483647 untuk nilai int yang hilang) dalam jenis file lain (misalnya, file biner seperti.ncdan tikar) Sitemap Pengguna dapat mencari baris data dengan jenis nilai hilang ini dengan mengacu pada "NaN", misalnya, "&windSpeed=NaN".
Jika Anda menggunakan beberapa nilai integer lainnya untuk menunjukkan nilai yang hilang di meja Cassandra Anda, mengidentifikasi nilai itu dalamdatasets.xmlSitemap
<att name="missing\_value" type="int"\>-999</att>
Untuk kolom titik mengambang Cassandra, nulls mendapatkan dikonversi ke NaNs diERDDAPSitemap Untuk jenis data Cassandra yang dikonversi ke Strings dalamERDDAP™, nulls telah dikonversi ke string kosong. Itu tidak boleh menjadi masalah. Meme it
"WARNING: Mempersiapkan pertanyaan yang sudah disiapkan"
- "WARNING: Mempersiapkan pertanyaan yang sudah disiapkan" Login WordPress.org (atau beberapa file log Tomcat lainnya)
Dokumentasi Cassandra mengatakan ada masalah jika query yang sama dibuat menjadi Pendirian dua kali (Sitemap) Sitemap (Lihat inilaporan bugSitemap) Untuk menghindari membuat Cassandra gila,ERDDAP™cache semua MempersiapkanStatement sehingga dapat menggunakannya kembali. Cache itu hilang jika / ketika Tomcat /ERDDAP™direstart, tapi saya pikir itu baik-baik saja karena Pendirian terkait dengan sesi tertentu (SitemapJavadan Cassandra) , yang juga hilang. Jadi, Anda dapat melihat pesan ini. Saya tahu tidak ada solusi lain. Untungnya, itu adalah peringatan, bukan kesalahan (meskipun Cassandra mengancam bahwa itu dapat menyebabkan masalah kinerja) Sitemap
Cassandra mengklaim bahwa MempersiapkanStatement baik selamanya, sehinggaERDDAP's cached PreparedStatements tidak boleh menjadi out-of-date/invalid. Jika tidak benar, dan Anda mendapatkan kesalahan tentang Persiapan tertentu yang tidak valid, maka Anda perlu me-restartERDDAP™SitemapERDDAP's cache Persiapkan.
Cassandra Keamanan
SitemapLogin
Ketika bekerja dengan Cassandra, Anda perlu melakukan hal-hal dengan aman dan aman mungkin untuk menghindari memungkinkan pengguna jahat untuk merusak Cassandra atau mendapatkan akses ke data yang seharusnya tidak memiliki akses ke.ERDDAP™mencoba melakukan hal-hal dengan cara yang aman, juga.
- Kami mendorong Anda untuk mengaturERDDAP™untuk terhubung ke Cassandra sebagai pengguna Cassandra yang hanya memiliki akses ke Sitemap Login (Login) dan hanya memiliki hak istimewa.
- Kami mendorong Anda untuk mengatur koneksi dariERDDAP™ke Cassandra sehingga
- selalu menggunakan SSL,
- hanya memungkinkan koneksi dari satu alamat IP (atau satu blok alamat) dan dari satuERDDAP™pengguna, dan
- hanya mentransfer password dalam bentuk hashed MD5 mereka.
- \[KNOWN PROBLEM\]Login (termasuk kata sandi!) disimpan sebagai teks biasa dalamdatasets.xmlSitemap Kami tidak menemukan cara untuk memungkinkan administrator untuk memasukkan kata sandi Cassandra selamaERDDAP's startup di Tomcat (yang terjadi tanpa input pengguna) , jadi kata sandi harus dapat diakses dalam file. Untuk membuat ini lebih aman:
- Login (LoginERDDAP™Login) harus menjadi pemilikdatasets.xmldan memiliki akses READ dan WRITE.
- Membuat grup yang hanya mencakup user=tomcat. Gunakan chgrp untuk membuat kelompok untukdatasets.xmlHanya dengan hak istimewa READ.
- Gunakan chmod untuk menetapkan hak istimewa o-rwx (tidak ada akses READ atau WRITE untuk pengguna "lain") Sitemapdatasets.xmlSitemap
- SitemapERDDAP™, kata sandi dan sifat koneksi lainnya disimpan dalam "private"Javavariabel.
- Permintaan dari klien dibuat dan diperiksa untuk validitas sebelum menghasilkan permintaan CQL untuk Cassandra.
- Permintaan untuk Cassandra dibuat dengan CQL Bound / PreparedStatements, untuk mencegah injeksi CQL. Dalam kasus apapun, Cassandra melekat kurang rentan terhadap injeksi CQL daripada database tradisional adalah untukSQL databaseSitemap
Cassandra Kecepatan
Cassandra bisa cepat atau lambat. Ada beberapa hal yang bisa Anda lakukan untuk membuatnya cepat:
- Sitemap Sifat CQL adalah pertanyaan yang Meme itLoginSitemap Mereka hanya menentukan apa yang diinginkan pengguna. Meme it Mereka tidak termasuk spesifikasi atau petunjuk untuk bagaimana permintaan ditangani atau dioptimalkan. Jadi tidak ada cara untuk Meme itERDDAP™untuk menghasilkan query dengan cara seperti itu membantu Cassandra mengoptimalkan query (atau dengan cara apapun menentukan bagaimana query adalah ditangani) Sitemap Secara umum, hingga administrator Cassandra untuk mengatur hal-hal sehingga (misalnya, indeks) untuk mengoptimalkan jenis pertanyaan tertentu.
- Menentukan kolom timestamp yang terkait dengan kunci partisi timestamp yang presisi melalui [<Login Login (Sitemap) adalah cara yang paling penting untuk membantuERDDAP™pekerjaan efisien dengan Cassandra. Jika hubungan ini ada di meja Cassandra dan Anda tidak memberitahu Meme itERDDAP™, dataset akan menyakitkan lambatERDDAP™dan gunakan ton sumber daya Cassandra.
- Menentukan kolom kluster melalui [<klasterColumnSourceNames>] (Sitemap) adalah cara yang paling penting kedua untuk membantuERDDAP™pekerjaan efisien dengan Cassandra. Jika ada kolom kluster dan Anda tidak memberitahu Meme itERDDAP, subset besar dari pertanyaan yang mungkin untuk data akan perlu, menyakitkan lambatERDDAP™dan gunakan ton sumber daya Cassandra.
- LoginLoginuntuk variabel yang umum terlatih -- Anda dapat mempercepat beberapa pertanyaan dengan membuat indeks untuk kolom Cassandra yang sering dilatih dengan "="traints.
Cassandra tidak dapat membuat indeks untuk daftar, set, atau kolom peta.
- Menentukan kolom indeks melalui [<indexColumnSourceNames>] (Sitemap) adalah cara penting untuk membantuERDDAP™pekerjaan efisien dengan Cassandra. Jika ada kolom indeks dan Anda tidak memberitahu Meme itERDDAP, beberapa pertanyaan untuk data akan perlu, menyakitkan lambat dalamERDDAP™dan gunakan ton sumber daya Cassandra.
Login
- "Cassandra stats" Pesan DiagnostikLogin Untuk setiapERDDAP™permintaan pengguna untuk dataset Cassandra,ERDDAP™akan mencetak garis dalam file log, Login /logs/log.txt, dengan beberapa statistik yang terkait dengan query, misalnya,
\\* Cassandra stats: partitionKeyTable: 2/10000=2e-4 < 0.1 nCassRows=1200 nErddapRows=12000 nRowsToUser=7405
Menggunakan angka dalam contoh di atas, cara ini:
- SitemapERDDAP™Sitemap (Sitemap) dimuat dataset ini, Cassandra mengatakanERDDAP™yang ada 10.000 kombinasi yang berbeda dari tombol partisi.ERDDAP™cache semua kombinasi yang berbeda dalam file.
- Karena batasan pengguna,ERDDAP™mengidentifikasi 2 kombinasi dari 10000 yang mungkin memiliki data yang diinginkan. SitemapERDDAP™akan membuat 2 panggilan ke Cassandra, satu untuk setiap kombinasi dari tombol partisi. (Apa yang diperlukan Cassandra.) Jelas, itu bermasalah jika dataset besar memiliki sejumlah besar kombinasi dari kunci partisi dan permintaan yang diberikan tidak secara drastis mengurangi itu. Anda dapat meminta setiap permintaan mengurangi ruang kunci dengan mengatur [<Login (Login) Sitemap Di sini, 2/10000=2e-4, yang kurang dari maxRequestFraction (Sitemap) maka permintaan diperbolehkan.
- Setelah menerapkan batasan pada tombol partisi,kolom klusterSitemapkolom indeksyang dikirim olehERDDAP™Cassandra kembali 1200 baris data keERDDAP™dalam HasilSet.
- Hasil Set harus memilikiSitemap Login Login LoginLogin (dengan rata-rata 10 item per daftar) SitemapERDDAP™memperluas 1200 baris dari Cassandra ke 12000 baris diERDDAPSitemap
- ERDDAP™selalu menerapkan semua batasan pengguna untuk data dari Cassandra. Dalam kasus ini, batasan yang Cassandra tidak ditangani mengurangi jumlah baris ke 7405. Itu adalah jumlah baris yang dikirim ke pengguna.
Penggunaan pesan diagnostik yang paling penting adalah untuk memastikan bahwaERDDAP™melakukan apa yang Anda pikirkan itu lakukan. Meme it Jika tidak (misalnya, tidak mengurangi jumlah kombinasi yang berbeda seperti yang diharapkan?) Anda dapat menggunakan informasi untuk mencoba mencari tahu apa yang salah.
- Penelitian dan percobaan untuk menemukan dan mengatur lebih baik [<koneksiProperty> (#cassandra-connectionproperty) Sitemap
- Periksa kecepatan koneksi jaringan antara Cassandra danERDDAPSitemap Jika koneksi lambat, lihat jika Anda dapat meningkatkannya. Situasi terbaik adalah ketikaERDDAP™berjalan pada server yang melekat pada yang sama (Sitemap) beralih sebagai server yang menjalankan node Cassandra ke mana Anda terhubung.
- Promo Baca informasi di sini dan dalam dokumentasi Cassandra dengan hati-hati. Sitemap Cek pekerjaan Anda. Jika Cassandra-ERDDAP™koneksi masih lebih lambat dari yang Anda harapkan, masukkan skema meja Cassandra Anda danERDDAP™Logindatasets.xmlSitemapbagian untuk mendapatkan dukungan tambahanSitemap
- Jika semua gagal lain, mempertimbangkan menyimpan data dalam koleksiNetCDFg.ncLogin (Sitemap.ncfile yang menggunakanLogin Sitemap (Login) Struktur data Array yang berkelanjutan dan dapat ditangani denganERDDAPSitemapSitemap) Sitemap Jika mereka diatur secara logis (setiap data untuk chunk ruang dan waktu) LoginERDDAP™dapat mengekstrak data dari mereka dengan sangat cepat.
Email: info@ids-imaging.com
<dataset type="EDDTableFromCassandra" datasetID\="..." active\="..." >
<ipAddress>...</ipAddress>
<!-- The Cassandra URL without the port number, for example,
127.0.0.1 REQUIRED. -->
<connectionProperty name="name">value</connectionProperty>
<!-- The names (for example, "readTimeoutMillis") and values
of the Cassandra properties that ERDDAP™ needs to change.
0 or more. -->
<keyspace>...</keyspace> <!-- The name of the keyspace that has
the table. REQUIRED. -->
<tableName>...</tableName> <!-- The name of the table, default = "".
REQUIRED. -->
<partitionKeySourceNames>...<partitionKeySourceNames>
<!-- REQUIRED. -->
<clusterColumnSourceNames>...<clusterColumnSourceNames>