일하기datasets.xml파일 형식
\[이 웹 페이지는 오직 관심 의 것입니다ERDDAP™관리자.\]
너 뒤에ERDDAP™ 설치 설명서, 당신은 편집해야합니다datasets.xml파일 형식 뚱 베어 /content/erddap/ 당신의 데이터셋을 설명하기 위해ERDDAP™임명은 봉사할 것입니다.
제품정보
몇몇 회의 필수
dataset 설정ERDDAP™dataset의 디렉토리 또는 URL에 포인팅의 문제가 없습니다. XML의 펑크를 작성해야 합니다.datasets.xmldataset를 설명합니다.
- gridded datasets를 위해, dataset를 만들기 위하여는ERDDAP's data Structure for gridded data, 당신은 같은 크기를 공유하는 dataset의 변수의 하위 집합을 식별해야합니다. (왜? 어떻게?)
- dataset의 현재 metadata는 자동적으로 수입됩니다. 그러나 메타데이터를 수정하거나 다른 메타데이터를 추가하려는 경우, 당신은 그것을 지정해야datasets.xml· 이름 *ERDDAP™다른 메타데이터를 필요글로벌 특성 (·infoUrl, 기관,sourceUrl, 요약 및 제목) 이름 *변수 속성 (·long\_name및 단위) · dataset에 있는 metadata로 dataset에 대한 descriptive 정보를 dataset에 추가합니다.ERDDAP™dataset에 descriptive 정보를 추가합니다. 추가 메타데이터는 데이터셋에 더 좋으며 도움이 됩니다.ERDDAP™데이터의 더 나은 일을 할 수 있습니다.
- ERDDAP™특별한 일을 할 필요경도, 위도, 고도 (또는 깊이) , 시간 변수·
이 아이디어로 살면 XML을 만들기 위해 노력이 만료됩니다.datasets.xml, 당신은의 모든 이점을 얻습니다ERDDAP™다음을 포함:
- datasets에 대한 전체 텍스트 검색
- Datasets에 대한 검색
- 데이터 액세스 양식 ( datasetID 사이트맵) 그래서 당신은 다른 파일 형식의 많은 데이터의 하위 세트를 요청할 수 있습니다
- 그래프와 지도를 요청하는 양식 ( datasetID ·)
- 웹 맵 서비스 (WMS) gridded datasets를 위해
- RESTful당신의 자료에 접근
이름 *datasets.xml몇 가지 datasets에 대한 상당한 노력이 필요하지만, 더 쉽게 · 첫번째 dataset 후에, 당신은 수시로 다음 dataset를 위한 당신의 일의 많음을 재사용할 수 있습니다. 다행히,ERDDAP™두 가지제품정보각 dataset에 XML을 만들 수 있도록datasets.xml· 갇혀있는 경우, 우리를 참조하십시오더 많은 지원 얻기에 섹션·
데이터 공급자 이름 *
데이터 공급자가 귀하의 데이터에 추가 할 때ERDDAP, 그것은 어려울 수 있고 metadata의 모든 것을 수집하는 시간 consuming (dataset에 대한 정보) dataset을 추가하는 데 필요한ERDDAP· 많은 데이터 소스 (예를 들면, .csv 파일, Excel 파일, 데이터베이스) 내부 metadata가 없습니다.ERDDAP™데이터 제공 업체의 메타데이터 수집 및 데이터 제공 업체에 대 한 광범위한 지도를 포함한 데이터 제공 업체 양식을 보유하고 있습니다.데이터베이스의 데이터· 제출된 정보는datasets.xml형식과 그 다음에 이메일ERDDAP™관련 기사 (이름 *) 관련 기사 (이름 *) 이름 * 큰Parent감독 /logs/dataProviderForm.log . 또는 . 따라서, the form semi-automates the process of getting dataset intoERDDAP, 하지만ERDDAP™관리자는 여전히 완료해야datasets.xmlchunk 과 거래 와 getting 데이터 파일 (₢ 킹) 공급자에서 또는 데이터베이스에 연결.
외부 소스에서 실제 데이터 파일의 제출은 거대한 보안 위험이므로ERDDAP™그것을 취급하지 않습니다. 예를 들어, 이메일에 대한 데이터 공급자와 함께 작동하는 솔루션을 파악해야 합니다. (작은 파일) , 구름에서 잡아 (예를 들면, DropBox 또는 Google 드라이브) , sftp 사이트 (비밀번호) , 또는 운동화 이름 * (USB 엄지 드라이브 또는 외부 하드 드라이브) · 당신은 아마 당신이 알고있는 사람들로부터 파일을 받아 들일 수 있습니다. 바이러스에 대한 파일을 스캔하고 다른 보안 주의를해야합니다.
링크가 없습니다.ERDDAP™데이터 공급자 양식에 (예를 들어,ERDDAP™홈 페이지) · 대신 누군가가 자신의 데이터를 가지고 싶어 할 때ERDDAP, 당신은 같은 이메일 말을 보낼 수 있습니다: 그렇습니다, 우리는 당신의 자료를에 얻을 수 있습니다ERDDAP· 시작하려면 양식을 작성하십시오. https://yourUrl/erddap/dataProviderForm.html (또는http://이름 *https://지원되지 않음) · 당신이 끝내기 후에, 나는 당신에게 마지막 세부사항을 밖으로 일할 것입니다. 양식을 보면 (충전하지 않고) , 당신은 위에 모양을 볼 수 있습니다ERD이름 *ERDDAP::제품정보·부품 1·부품 2·부품 3·부품 4· 이 링크에ERD ERDDAP™데이터에 데이터를 추가하려는 경우, 정보를 제출하지 마십시오.ERD ERDDAP·
데이터 공급자 양식을 제거하려면ERDDAP™, 칫
<dataProviderFormActive>false</dataProviderFormActive>
setup.xml 파일에서.
이에 대한 impetus는NOAA2014년연구 결과에 대한 공공 액세스 (뚱 베어) 기타 제품그 모든 것을 요구하는NOAATaxpayer 달러를 통한 환경 데이터 펀딩 가능 (그냥 파일) 창조의 12 달 안에. 그래서 사용에 관심 증가ERDDAP™서비스 ASAP을 통해 데이터셋을 만들 수 있습니다. 우리는 많은 데이터 공급자와 거래 할 수있는 더 효율적인 방법이 필요합니다.
피드백/문제? 이 양식은 새로운, 그래서 이메일을 보내erd dot data at noaa dot gov이 개선을 위한 피드백이나 제안이 있는 경우.
제품정보
ERDDAP™도구가 있는 두 개의 명령 줄 프로그램과 함께 XML을 만들 수 있도록 돕습니다.ERDDAP™관련 기사 설정하면ERDDAP™그리고 그것을 실행 (적어도 1 시간) , 이 프로그램을 찾을 수 있습니다 뚱 베어 /webapps/erddap/WEB-INF 디렉토리. Linux/유닉스 쉘 스크립트가 있습니다. (확장으로 .sh) Windows 스크립트 (확장으로 .bat) 각 프로그램.\[리눅스에서, 같은 사용자와 같은 도구를 실행 (톰캣?) 그것은 Tomcat을 실행합니다.\]각 프로그램을 실행할 때, 당신은 질문을 할 것입니다. 각 질문에 대한 응답을 입력 한 다음 Enter를 누릅니다. 또는 ^C를 눌러 프로그램을 언제든지 종료합니다.
프로그램은 실행되지 않습니다?
- 알 수없는 프로그램을 얻는 경우 (또는 유사한) 오류 메시지, 문제는 아마 운영 체제 찾을 수 없습니다Java· 당신은 어디를 알아야Java컴퓨터에서 사용하려고하는 .bat 또는 .sh 파일에 java 참조를 편집합니다.
- jar 파일을 찾을 수 없거나 클래스가 오류 메시지를 찾을 수 없으면Java.bat 또는 .sh 파일에 나열된 클래스 중 하나를 찾을 수 없습니다. 이 솔루션은 .jar 파일이 무엇인지 파악하고 .bat 또는 .sh 파일에서 java 참조를 편집합니다.
- 버전의 경우Java그것은 너무 오래 된 프로그램, 프로그램은 실행되지 않고 당신은 같은 오류 메시지를 볼 수
스레드 "main" java.lang.UnsupportedClassVersionError의 예외 :
몇몇/종류/이름 : Major.minor 버전 지원 한국어
이 솔루션은 최신 버전으로 업데이트됩니다.Java그리고 프로그램을 위한 .sh 또는 .bat 파일이 그것을 사용하고 있는지 확인합니다.
공구 인쇄 각종 진단 메시지:
- "ERROR"라는 단어는 절차가 완료되면 잘못되었을 때 사용됩니다. 오류를 얻기 위해 성가신이지만, 문제를 처리하는 오류 힘.
- "WARNING"라는 단어는 잘못되었을 때 사용되지만 절차가 완료 될 수 있습니다. 이것은 꽤 드문다.
- 다른 것은 단지 유익한 메시지입니다. \-verbose를 추가 할 수 있습니다.생성데이터셋Xml또는팟캐스트추가 정보 메시지를 얻기 위해 명령 줄, 때로는 문제를 해결하는 데 도움이됩니다.
두 도구는 큰 도움이되지만,이 페이지의 모든 지침을 주의 깊게 읽고 중요한 결정을해야합니다.
생성데이터셋Xml
- 생성데이터셋Xml dataset XML의 거친 초안을 생성 할 수있는 명령 줄 프로그램입니다 거의 모든 유형의 dataset.
우리는 당신이 GenerateDatasets를 사용하는 STRONGLY RECOMMEND 대신 Xml의 펑크 만들기datasets.xml때문에 손으로:
- Generate데이터셋 Xml는 초에서 작동합니다. 손에 의해 이것을하는 것은 적어도 1 시간의 일입니다, 당신이 무슨 일을 알고있을 때.
- Generate데이터셋 Xml는 더 나은 일을합니다. 손에 의해이 수행은 광범위한 지식이 필요합니다.ERDDAP™이름 * 그것은 당신이 손으로 더 나은 일을 할 것입니다. (Bob Simons는 항상 GenerateDatasets를 사용합니다. 첫번째 초안을 위한 Xml, 그는 썼습니다ERDDAP·)
- Generate데이터셋 Xml는 항상 유효한 펑크를 생성합니다datasets.xml· 모든 펑크datasets.xml당신이 글을 쓰는 것은 아마 예방하는 최소 몇 가지 오류가 있습니다.ERDDAP™dataset 로딩 중. 그것은 종종이 문제를 진단하는 데 시간이 걸립니다. 시간을 낭비하지 마십시오. 관련 기사 데이터셋 Xml는 열심히 일합니다. 그런 다음 원하는 경우 손으로 .xml을 정제 할 수 있습니다.
GenerateDatasets를 사용할 때 Xml 프로그램:
- Windows에서, 당신이 GenerateDatasetsXml를 실행하는 첫 번째 시간, 당신은 java에 경로를 변경 하기 위해 텍스트 편집기로 GenerateDatasetsXml.bat 파일을 편집해야합니다. Windows가 찾을 수 있도록 exe 파일Java·
- Generate데이터셋 Xml는 먼저 EDDType을 지정해야 합니다. (Erd Dap 데이터 세트 제품정보) dataset의. 이름 *Dataset 유형 목록 (이 문서에서) dataset에 적합한 형식을 파악하기 위해 일반 EDDTypes 외에도 몇 가지가 있습니다.특수/Pseudo Dataset 유형 (e.g., THREDDS 카탈로그를 크롤링하는 것datasets.xml카탈로그의 각 datasets) ·
- Generate데이터셋 Xml는 EDDType에 따라 일련의 질문을 합니다. 자주 묻는 질문ERDDAP™dataset의 소스에 액세스합니다. 무엇을 이해ERDDAP™EDDType에 대한 문서를 참조하여 동일한 데이터셋 유형을 클릭하여 지정한 EDDType에 대한Dataset 유형 목록·
특수 문자로 문자열을 입력해야 하는 경우 (e.g., 시작 또는 끝, non-ASCII 문자의 whitespace 문자) , 입력JSON 스타일 문자열 (\ 문자로 탈출하는 특수 문자) · 예를 들어, 탭 문자를 입력하려면, "\t"를 입력합니다 (거의 두 배 따옴표와 함께)ERDDAP™JSON 스타일 문자열입니다.
- 종종, 답변 중 하나는 GenerateDatasetsXml가 필요로하는 것입니다. 당신은 다시 시도 할 수 있습니다, 질문에 대한 개정 된 답변, GenerateDatasets까지 Xml는 성공적으로 소스 데이터를 발견하고 이해할 수 있습니다.
- 자주 묻는 질문 (또는 제대로) , 생성데이터셋 Xml는 dataset의 소스에 연결하고 기본 정보를 수집합니다. (예를 들어, 변수명 및 metadata) · 현지의 데이터 세트NetCDF .nc관련 파일, GenerateDatasets Xml는 종종 파일을 읽은 후 파일의 ncdump-like 구조를 인쇄합니다. 이것은 GenerateDatasetsXml를 통해 후속 루프에서 더 잘 질문에 응답 할 수있는 정보를 줄 수 있습니다.
- Generate데이터셋 Xml는 그런 dataset에 대한 dataset XML의 거친 초안을 생성합니다.
- 진단 정보 및 dataset XML의 거친 초안은 작성됩니다. 큰Parent감독 /logs/GenerateDatasetsXml.log .
- dataset XML의 거친 초안은 작성됩니다. 큰Parent감독 /logs/GenerateDatasetsXml.out .
"0 파일" 오류 메시지
GenerateDatasets를 실행하는 경우 Xml 또는팟캐스트, 또는 당신이 로드하려고 하는 경우EDDGrid...Files 또는 EDDTable에서 ... 파일 datasetERDDAP™, 그리고 당신은 "0 파일" 오류 메시지를 표시ERDDAP™디렉토리에 0 일치하는 파일 발견 (그 디렉토리에 일치하는 파일이 있다고 생각하면) ::
-
디렉토리의 전체 이름을 지정했는지 확인하십시오. 그리고 샘플 파일 이름을 지정하면 전체 디렉토리 이름을 포함하여 파일의 전체 이름을 지정해야합니다.
-
파일이 실제로 그 디렉토리에 있는지 확인합니다.
-
디렉토리 이름의 맞춤법 확인.
-
fileNameRegex를 확인합니다. 그것은 정말, 정말 쉽게 regexes와 실수를 만들. 시험 목적을 위해, 모든 파일명과 일치해야 regex .\*를 시도하십시오. (더 보기regex 문서이름 *regex 튜토리얼·)
-
프로그램을 실행하는 사용자 확인 (예를 들어, user=tomcat (·) 톰캣/ERDDAP) 그 파일에 대한 'read' 권한이 있습니다.
-
몇몇 운영 체계에서 (예를 들어, SELinux) 그리고 시스템 설정에 따라, 프로그램을 실행하는 사용자는 파일이 있는 디렉토리의 전체 체인에 대한 '읽' 권한이 있어야 합니다.
-
당신이 해결할 수없는 문제가 있다면,자주 묻는 질문가능한 한 많은 정보가 있습니다. 마찬가지로 주어진 데이터 세트에 적합한 EDDType과 같을 경우 해당 데이터 세트와 작동하지 않거나 적절한 EDDType이 없다면 파일을 보내주십시오.GitHub에서자주 묻는 질문 (관련 샘플 파일) ·
GenerateDatasets에서 출력을 편집해야 합니다. Xml를 더 잘 만들 수 있습니다.
-
지불 조건: 한국어datasets.xmlMADE BE Generate데이터셋 Xml ISN'T 부품 XML BEFORE가 PUBLIC에 대해 자세히 알아보세요.ERDDAP· Generate데이터셋 Xml는 RULES-OF-THUMB WHICH AREN'T ALWAYS CORRECT의 LOT에 의존합니다. XML의 CORRECTNESS를 준수 할 책임이 있습니다.ERDDAP사이트맵datasets.xml첨부파일
(재미 사실: 나는 외치는 아니에요. 역사적인 법적인 이유를 위해, 불평은 모든 모자에서 썼습니다.)
GenerateDatasetsXml의 출력은 거친 초안입니다. 당신은 거의 항상 그것을 편집해야합니다. 우리는 가능한 한 준비로 출력을 만들기 위해 엄청난 노력을 계속하고 있습니다. 그러나 제한이 있습니다. 종종 필요한 정보는 소스 메타 데이터에서 사용할 수 없습니다.
근본적인 문제는 우리가 컴퓨터 프로그램을 요구한다는 것입니다 (생성데이터셋Xml) 작업을 수행하려면, 당신이 같은 작업을 준 경우 100 사람들, 당신은 100 다른 결과를 얻을 것이다. 단일 "right"응답이 없습니다. 분명히, 프로그램은 밥의 마음을 읽는 가장 가까운 (이름 *) , 하지만 너무, 그것은 모든 이해 AI 프로그램이 아니다, 단지 현실의 무리는 함께 AI 같은 작업을 수행. (그날의 알-understanding AI 프로그램은 올 수 있지만 아직은 없습니다. 그렇지 않으면 인간이 더 큰 문제가 있을 수 있습니다. 당신이 원하는 것을주의하십시오.)
-
정보 목적으로, 출력은 global sourceAttributes and variable sourceAttributes as comments를 보여줍니다.ERDDAP™sourceAttributes를 결합하고addAttributes (그대는) 결합하기 사용자가 표시된 속성 (다른 속성은 경도, 위도, 고도, 깊이 및 시간 변수에 자동으로 추가됩니다.ERDDAP™실제로 dataset을 만든다) ·
-
sourceAttribute를 좋아하지 않으면 addAttribute를 같은 이름과 다른 값으로 추가하여 씁니다. (또는 값이 없다면 제거하려면) ·
-
모든 것addAttributes컴퓨터 생성 제안입니다. 수정하기 addAttribute를 좋아하지 않으면 변경하십시오.
-
다른 것을 추가하려면addAttributes, 추가합니다.
-
변경하려 면destinationName, 그것을 바꾸십시오. 그러나 변경하지 마십시오sourceName₢ 킹
-
주문을 변경할 수 있습니다.dataVariables 또는 그들을 제거.
- 다음을 사용할 수 있습니다.팟캐스트 (더 보기) 반복적으로 그 dataset에 대한 XML을 테스트하여 결과 데이터셋이 원하는대로 나타납니다.ERDDAP·
- 작은 변화를 만들 수 있습니다.datasets.xml생성 된 chunk, 예를 들어, 더 나은 공급infoUrl, 요약, 또는 제목.
doNotAdd표준이름
\-doNotAddStandardNames를 실행할 때 명령줄 매개변수로 포함하면 데이터셋 Xml, 생성 데이터셋 Xml는 추가하지 않습니다standard\_name으로addAttributes위도, 경도, 고도, 깊이 또는 시간이라는 변수 이외의 변수에 대해 (그것은 분명하다standard\_name₢ 킹) · 이것은 당신이 생성에서 산출을 사용하는 경우에 유용합니다 데이터셋 직접 XmlERDDAP™출력을 편집하지 않고 생성하기 때문에 데이터셋 Xml는 종종 추측standard\_names 잘못된. (우리는 항상 당신이 그것을 사용하기 전에 출력을 편집하는 것이 좋습니다ERDDAP·) 이 매개 변수를 사용 하 여 다른 미성년자 관련 효과 때문에 추측standard\_name다른 목적으로 종종 사용됩니다. 예를 들어, 새를 만들려면long\_name, 그리고 colorBar 설정을 만들.
스크립팅
키보드 및 루프에서 상호 작용하는 질문에 응답하는 대안으로 추가 데 이터 세트를 생성 할 수 있습니다, 당신은 하나의 데이터 세트를 생성하는 질문의 모든 질문에 응답 할 수있는 명령 줄 인수를 제공 할 수 있습니다. Generate데이터셋 Xml는 그 매개 변수를 처리하고 출력 파일에 출력을 작성하고 프로그램을 종료합니다.
이 작업을 설정하려면 먼저 대화 형 모드에서 프로그램을 사용하고 답변을 작성하십시오. 다음은 부분 예입니다: 스크립트를 실행해봅시다: ./GenerateDatasetsXml.sh 다음 입력: EDDTableFromAsciiFiles 다음 입력: /u00/data/ 다음 입력: .\*\.asc 다음 입력: /u00/data/sampleFile.asc 다음 입력: ISO-8859-1
비동기적인 방식으로 이것을 실행하려면, 이 명령 줄을 사용하십시오: ./GenerateDatasetsXml.sh EDDTableFromAsciiFiles /u00/data/ .\*\.asc /u00/data/sampleFile.asc ISO-8859-1 그래서 기본적으로, 당신은 단지 명령 줄에 모든 답변을 나열합니다. 이것은 re-running GenerateDatasets를 necessitates로 자주 변경하는 datasets에 유용합니다 사이트맵 (뚱 베어EDDGrid인기 카테고리) ·
상세 정보:
- 매개 변수가 공간 또는 일부 특수 문자를 포함하면 매개 변수를 인코딩합니다.JSON 스타일 문자열, e.g., 공백과 2를 가진 나의 모수\n라인".
- 매개 변수로 빈 문자열을 지정하려면, use: nothing
- 매개변수의 기본값을 지정하려면, use: default
- Generate데이터셋 Xml는 -i를 지원합니다 데이터셋 Xml이름 ₢ 킹 태그이름 지정된 출력을 삽입하는 명령줄 매개변수datasets.xml파일 형식 (기본값은 뚱 베어 /content/카지노사이트datasets.xml) · Generate데이터셋 Xml는 datasets에 있는 2개의 선을 찾습니다 모델 번호:
<!-- Begin GenerateDatasetsXml #*tagName someDatetime* -->
이름 *
<!-- End GenerateDatasetsXml #*tagName someDatetime* -->
그리고 새 콘텐츠와 함께 그 라인 사이에 모든 것을 대체하고, someDatetime을 변경합니다.
- -i 스위치는 단지 가공됩니다 (관련 기사datasets.xml상품정보) GenerateDatasets를 실행하는 경우 Xml 명령줄 인수를 사용하여 모든 질문에 대한 답변을 지정합니다. (위의 'Scripting'을 참조하십시오.) (생각은: 이 매개 변수는 스크립트와 함께 사용됩니다. 대화형 모드에서 프로그램을 사용하는 경우 (키보드의 정보를 입력) , 당신은 당신이 원하는 것을 생성하기 전에 XML의 잘못된 펑크를 생성 할 가능성이있다.)
- 시작과 끝 선이 발견되지 않은 경우, 그 줄과 새로운 내용이 바로 앞에 삽입됩니다.</erddapDatasets>.
- -I도 있습니다 (자본 i) -i와 동일하게 작동하는 테스트 목적을 위한 스위치, 그러나 불린 파일을 창조하십시오datasets.xml 날짜시간 변경은 하지 않습니다.datasets.xml·
- GenerateDatasets를 실행하지 마십시오 한 번에 두 개의 프로세스에서 Xml. 한 세트의 변화만 유지됩니다. 심각한 문제가 있을 수 있습니다. (예를 들어 손상된 파일) ·
"GenerateDatasetsXml -verbose"를 사용하는 경우 평소보다 더 진단 메시지를 인쇄합니다.
특수/Pseudo Dataset 유형
일반적으로 GenerateDatasets의 EDDType 옵션 이 문서에 설명 된 EDD 유형의 Xml 일치 (자세히보기Dataset 유형 목록) 그리고 하나 생성datasets.xmlchunk는 하나 의 특정 데이터 소스에서 하나의 데이터 세트를 만듭니다. 몇 가지 예외와 특별 사례가 있습니다.
EDDGrid언어: en
이 EDDType은 모든 것을 생성합니다datasets.xmlchunks 필요 에 확인EDDGrid언어: en모든 데이터 세트EDDGrid원격의 datasetsERDDAP· 당신은 원래 유지의 옵션을 가질 것이다datasetID₢ 킹 (몇몇을 복제할 수 있습니다.datasetID이미 당신의ERDDAP) 또는 새로운 이름을 생성 (그러나 보통 인간 읽을 수 없는) ·
EDDTableErddap에서
이 EDDType은 모든 것을 생성합니다datasets.xmlchunks 필요 에 확인EDDTableErddap에서리모트에 있는 EDDTable datasets의 전부에서 datasetsERDDAP· 당신은 원래 유지의 옵션을 가질 것이다datasetID₢ 킹 (몇몇을 복제할 수 있습니다.datasetID이미 당신의ERDDAP) 또는 새로운 이름을 생성 (그러나 보통 인간 읽을 수 없는) ·
EDDGrid인기 카테고리
이 EDDType은 모든 것을 생성합니다datasets.xml모두에 필요한 펑크EDDGrid사이트맵THREDDS를 통해 crawling recursively에 의해 찾을 수있는 데이터 세트 (이름 *) 카탈로그. THREDDS 카탈로그 URL의 많은 형태 가 있습니다. 이 옵션은 /catalog/와 함께 THREDDS .xml URL을 요구합니다. 예를 들어,
https://oceanwatch.pfeg.noaa.gov/thredds/catalog/catalog.xml 또는
https://oceanwatch.pfeg.noaa.gov/thredds/catalog/Satellite/aggregsatMH/chla/catalog.xml
(관련 .html 카탈로그에
https://oceanwatch.pfeg.noaa.gov/thredds/Satellite/aggregsatMH/chla/catalog.html 허용되지 않는,EDDGridfromThreddsCatalog).
당신은 문제가있는 경우EDDGrid인기 동영상 상표:
- 사용중인 URL을 확인하면 /catalog/가 포함되어 있으며 /catalog.xml .
- 가능한 경우 공용 IP 주소를 사용하십시오. (예를 들어, https://oceanwatch.pfeg.noaa.gov ) URL에서 로컬 숫자 IP 주소가 아닌 (예를 들어, https://12.34.56.78 ) · THREDDS가 로컬 숫자 IP 주소를 통해 접근 할 수 있다면, [<변환ToPublicSourceUrl>] (#converttopublicsourceurl에 대해) ·ERDDAP™사용자는 심지어 공공 주소를 참조ERDDAP™로컬 숫자 주소에서 데이터를 가져옵니다.
- 당신이 해결할 수없는 문제가 있다면,문제 해결 팁·
- 이들의 저수준 부호는 지금 사용합니다Unidatanetcdf-java 카탈로그 크롤러 코드 (사이트맵 카탈로그) 그래서 그것은 모든 THREDDS 카탈로그를 처리 할 수 (surprisingly complex일 수 있는) 이름 *Unidata그 코드.
EDDGridLonPM180Erddap카탈로그
이 EDDType은datasets.xml이름 *EDDGrid론PM180모든 데이터 세트EDDGrid데이터 세트ERDDAP180보다 더 큰 경도 값이 있습니다.
- 가능한 경우 공용 IP 주소를 사용하십시오. (예를 들어, https://oceanwatch.pfeg.noaa.gov ) URL에서 로컬 숫자 IP 주소가 아닌 (예를 들어, https://12.34.56.78 ) · 만약에ERDDAP™로컬 숫자 IP 주소를 통해만 액세스할 수 있습니다. [<변환ToPublicSourceUrl>] (#converttopublicsourceurl에 대해) ·ERDDAP™사용자는 심지어 공공 주소를 참조ERDDAP™로컬 숫자 주소에서 데이터를 가져옵니다.
EDDGridLon0360ErddapCatalog에서
이 EDDType은datasets.xml이름 *EDDGrid론0360모든 데이터 세트EDDGrid데이터 세트ERDDAP어떤 경도 값이 0 미만입니다.
- 가능한 경우 공용 IP 주소를 사용하십시오. (예를 들어, https://oceanwatch.pfeg.noaa.gov ) URL에서 로컬 숫자 IP 주소가 아닌 (예를 들어, https://12.34.56.78 ) · 만약에ERDDAP™로컬 숫자 IP 주 소를 통해만 액세스할 수 있습니다. [<변환ToPublicSourceUrl>] (#converttopublicsourceurl에 대해) ·ERDDAP™사용자는 심지어 공공 주소를 참조ERDDAP™로컬 숫자 주소에서 데이터를 가져옵니다.
EDDs파일
시작 디렉토리를 제공,이 디렉토리와 모든 하위 디렉토리를 가로 질러 검색하는 데이터 파일의 각 그룹에 대한 데이터 세트를 만들 수 있습니다.
- dataset가 발견되면 dataset가 모든 하위 디렉토리를 포함합니다.
- dataset가 발견되면, 유사한 형제는 별도의 datasets로 대우될 것입니다 (예를 들어, 1990 년대의 이사, 2000 년대, 2010 년대, 별도의 데이터 세트 생성) · 그들은 손으로 쉽게 결합해야합니다 -- 그냥 첫 번째 dataset의 변경<fileDir> 을 부모 디렉토리로 삭제하고 이후의 데이터셋을 삭제합니다.
- 이것은 단지 펑크를 생성하려고합니다.datasets.xml디렉토리에 파일 확장의 가장 일반적인 유형 (무시되는 .md5를 계산하지 않는) · 그래서, 디렉토리를 부여 10.nc파일 및 5 .txt 파일, dataset 생성됩니다.nc파일 만.
- 이 디렉토리의 모든 파일이 동일한 dataset에 속한다는 것을 가정합니다. 디렉토리가 있다면.ncSST 데이터 및 일부 파일.ncchlorophyll 자료가있는 파일, 단지 하나의 샘플.nc파일이 읽을 것입니다 (사이트맵 엽록소?) 그리고 하나의 dataset은 그 유형의 파일로 만들 것입니다. 데이터 세트는 아마도 같은 데이터 세트로 파일의 두 가지 유형의 파일을로드하려고 complications 때문에로드하지 못합니다.
- 디렉토리에서 가장 일반적인 확장이있는 4 개 이상의 파일이 있다면, 이것은 그들이 데이터 파일이 아니라 디렉토리를 건너는 것을 가정합니다.
- 디렉토리에 4 개 이상의 파일이 있는 경우, 이것은 성공적으로 chunk를 생성 할 수 없습니다.datasets.xml파일에 대한 (예를 들면, unsupported 파일 유형) , 이것은 생성한다EDDTable파일이름파일에 대한 dataset.
- 이 로그 파일에 쓴 진단의 끝에서, 다만 전에datasets.xmlchunks, 이것은 모든 하위 디렉토리에 의해 수집 된 정보 요약 테이블을 인쇄합니다. 테이블은 모든 하위 디렉토리를 나열하고 파일 확장의 가장 일반적인 유형을 나타냅니다, 파일의 총 수, 그리고 dataset의 유형이 파일을 위해 생성되었다 (이름 *) · 당신은 단지 직면 한 경우, 깊은 배열 된 파일 구조, GenerateDatasets를 고려 EDDType=EDDsFromFiles를 가진 Xml는 이 정보를 생성하기 위하여,
- 이 옵션은 데이터 파일의 주어진 그룹에 가장 적합한 EDDType을 추측하는 훌륭한 작업을 수행 할 수 없지만 빠르고 쉬운 시도 가치가 있습니다. 소스 파일이 적합하다면 잘 작동하며 생성하는 좋은 첫 번째 단계입니다.datasets.xml하위디렉토리의 많은 파일 시스템을 위해, 각 다른 데이터셋에서 데이터 파일.
EDDTableFromEML 및 EDDTableFromEMLBatch
이 특별한 EDDType는 생성합니다datasets.xml제품정보EDDTableAsciiFiles에서각 테이블에서 데이터 세트가 설명되었습니다.Ecological 메타데이터 언어XML 파일. "Batch" 변형은 로컬 또는 원격 디렉토리의 모든 EML 파일에서 작동합니다. 자주 묻는 질문EDDTableFromEML에 대한 문서·
EDDTable인포트
이 특별한 EDDType는 생성합니다datasets.xml제품정보EDDTableAsciiFiles에서정보의 dataset파일 형식파일. 소스 데이터 파일에 액세스 할 수 있다면 (inport-xml 파일은 찾을 수있는 위치에 대한 clues해야합니다) , 당신은 일 dataset를 안으로 만들 수 있습니다ERDDAP·
GenerateDatasets를 사용하는 다음 단계 개요 inport-xml 파일이있는 Xml는 작업 데이터 세트를 얻기 위해ERDDAP·
- inport-xml 파일에 액세스 할 때 (URL 또는 로컬 파일로) : GenerateDatasets 실행 Xml, EDDType=EDDTableFromInPort를 지정하고, inport-xml URL 또는 전체 파일 이름을 지정하고, thatChild=0을 지정하고, 다른 요청한 정보를 지정합니다. (이름 *) · (이 시점에서 소스 데이터 파일이 있거나 이름을 지정할 필요가 없습니다.) 어떤Child=0 설정은 GenerateDatasets를 알려줍니다. Xml에 대한 정보를 작성 모든 것 이름 *<법인 정보><entity>'s inport-xml 파일 (어떤 경우) · 또한 inport-xml 파일에 나열된 다운로드 URL의 모든 것을 포함하여 배경 정보 요약을 인쇄합니다.
- 그 모든 정보를 확인 (GenerateDatasets를 포함한 배경 정보 Xml 인쇄) 다운로드 URL을 방문 (₢ 킹) 소스 데이터 파일을 찾기 위해 (₢ 킹) · 당신이 그것을 찾을 수 있다면 (뚱 베어) , 다운로드 (뚱 베어) 할 수있는 디렉토리에ERDDAP· (소스 데이터 파일을 찾을 수없는 경우 진행 중에는 포인트가 없습니다.)
- 회사연혁 데이터셋 Xml 다시. 소스 데이터 파일이 inport-xml 파일의 하나에 해당하는 경우<법인 정보><entity>'s, 그Child=를 지정합니다. 그엔티니 (예를 들어, 1, 2, 3, ...) ·ERDDAP™엔티티티 정보의 이름에 소스 데이터 파일의 열 이름과 일치하려고하고, 모든 discrepancies를 수락 / 거부 / 수정하기 위해 신속한. 또는 inport-xml 파일이 없는 경우<법인 정보><entity>'s, 그Child=0을 지정합니다.
- 펑크에서datasets.xmlGenerateDatasets에 의해 만들어진 Xml, [글로벌 개정<addAttributes>] (#글로벌) 필요에 따라 /desired.
- 펑크에서datasets.xmlGenerateDatasetsXml에 의해 만들어졌다, add/revise [<dataVariable>] (#데이터variable) 필요한 정보 / 변수의 각을 설명합니다. 각 변수를 올바르게 식별해야합니다. [기타]<sourceName>] (#출처) (그것은 소스에 나타납니다) · [기타]<destinationName>] (#destination이름) (허용된 문자에 더 제한이 있습니다.sourceName) · [기타]<단위>] (#단위) (특히 그것이라면시간 또는 timestamp 변수단위가 형식을 지정해야 할 곳) · [기타]<missing\_value>] (#missing_value의 값) ·
- 마무리에 닫을 때 반복적으로 사용팟캐스트dataset description가 유효하다면, dataset가 나타나면ERDDAP™당신이 그것을 원한다.
InPort를 사용하여 데이터셋을 문서화하는 경우 그룹이 훌륭합니다.ERDDAP™실제 데이터를 사용할 수 있도록:
- ERDDAP™지금 사용할 수 있는 솔루션입니다.NOAA이름 *연구 결과에 대한 공공 액세스 (뚱 베어) 제품 정보지금, 미래의 일부 vague 시간에.
- ERDDAP™사용자가 사용할 수있는 실제 데이터를 만들고, 메타 데이터가 아닙니다. (데이터없이 Metadata는 무엇입니까?)
- ERDDAP™metadata 지원 (notably, 변수의 단위) , 일부 다른 데이터 서버 소프트웨어와 달리 고려. (metadata없이 데이터는 무엇입니까?) metadata를 지원하지 않는 소프트웨어를 사용하려면 데이터를 misunder 서서 및 misused로 초대합니다.
- ERDDAP™일부 다른 소프트웨어와 달리는 무료 및 오픈 소스 소프트웨어입니다. Ongoing 개발ERDDAP™이미 지불됩니다. 고객지원ERDDAP™사용자는 무료입니다.
- ERDDAP's 외관은 쉽게 반영하고 당신의 그룹을 강조 할 수 있습니다 (아니다.ERD또는ERDDAP) ·
- ERDDAP™모든 datasets에 액세스 할 수있는 일관된 방법을 제공합니다.
- ERDDAP™많은 유형의 데이터 파일 및 관계 데이터베이스에서 데이터를 읽을 수 있습니다.
- ERDDAP™소스 데이터가 많은 데이터 파일에 있는 데이터셋을 포함하여 대용량 데이터셋을 처리할 수 있습니다.
- ERDDAP™netCDF, ESRI .csv 및 같은 과학 데이터 파일 형식을 포함하여 사용자의 요청에 데이터 파일의 많은 유형에 데이터를 쓸 수 있습니다.ODV .txt·
- ERDDAP™사용자의 사양을 기반으로 데이터의 하위 세트의 사용자 정의 그래프와지도를 만들 수 있습니다.
- ERDDAP™이미지, 비디오, 오디오 파일의 수집과 같은 비 데이터셋을 처리할 수 있습니다.
- ERDDAP™설치 및 사용전 세계 60개 이상의 기관·
- ERDDAP™데이터 서버 중 하나로 나열되어 있습니다.NOAA내 계정NOAA데이터 액세스 Procedural 지침, 어떤 다른 소프트웨어든지 고려되는.
- ERDDAP™제품의NMFS/ 한국어NOAA, 그래서 그것 안에 사용NMFS이름 *NOAA자부심의 점이 있어야한다.NMFS이름 *NOAA·
견적 요청ERDDAP™인기있는 도움이 필요하면 메시지가 전송됩니다.ERDDAP™Google 그룹.
addFillValueAttributes 추가하기
이 특별한 EDDType 선택권은 dataset 유형이 아닙니다. \_FillValue 속성을 일부 데이터셋에서 일부 변수에 추가할 수 있는 도구입니다. 이름 *addFillValueAttributes 추가하기·
연락처 (주)
이 특별한 EDDType 선택권은 dataset 유형이 아닙니다. 대신 GenerateDatasets를 말합니다. 격자의 수집을 통해 검색 Xml.nc (및 관련) 파일 찾기 및 중복 시간 값이있는 파일의 목록을 인쇄합니다. 시간 값에서 볼 때, 원래 단위에서 변환"seconds since 1970-01-01"경우 다른 파일 사용 다른 단위 문자열. 시작 디렉토리를 제공해야 합니다. (썰매 없이 또는) , 파일 이름 정규 표현식 (예, .\*\.nc ) , 그리고 파일의 시간 변수의 이름.
채용정보
이 특별한 EDDType 선택권은 dataset 유형이 아닙니다. 대신 GenerateDatasets를 말합니다. Xml를 인쇄채용정보\-like 인쇄.nc·.ncml 또는.hdf파일. 그것은 실제로 netcdf-java를 사용합니다.채용정보NCdump의 C 버전보다 제한된 도구입니다. 이 옵션을 사용하는 경우, GenerateDatasetsXml는 옵션 중 하나를 사용하도록 요청합니다. "-h" (기타 제품) · "-c" (연락처) , "볼" (기본 정보) , "-v var1;var2", "-v var1 (0,0:10,0:20) · 이것은 ncdump없이, 그것이 무엇인지 알기 어렵기 때문에 유용합니다..nc·.ncml 또는.hdfFile and 따라서 EDDType은 GenerateDatasets에 지정해야 합니다. Xml의 장점 한국어.ncml 파일, 이것은 ncdump 출력을 출력합니다..nc밑에 적용된 ml 파일 변화.nc또는.hdf파일.
팟캐스트
- 팟캐스트 XML의 첫 번째 시도를 만든 후 사용할 수 있는 명령줄 프로그램입니다.datasets.xml· DasDds로, 당신은 XML를 반복적으로 시험하고 정제할 수 있습니다. DasDds 프로그램을 사용할 때:
- Windows에서 DasDds를 실행하는 첫 번째 시간은 DasDds를 편집해야합니다. 텍스트 편집기를 사용하여 java로 경로를 변경합니다. Windows가 찾을 수 있도록 exe 파일Java·
- DasDds는 당신을 위해 요구합니다datasetIDdataset에 대해 작업 중입니다.
- DasDds는 데이터 세트를 만들고datasetID·
- DasDds는 항상 진단 메시지의 제비를 인쇄합니다. "DasDds -verbose"를 사용하는 경우 DasDds는 평소보다 더 진단 메시지를 인쇄합니다.
- 안전을 위해 DasDds는 항상 모든 캐시 된 데이터셋 정보를 삭제합니다. (파일 형식) dataset를 만들기 전에 dataset를 위해. 이것은 설정과 동일하다하드 플래그그래서 집계 된 데이터 세트, 당신은 일시적으로 fileNameRegex를 조정할 수 있습니다.
- dataset가 로드에 실패하면 (어떤 이유) , DasDds는 중지하고 첫번째 오류에 대한 오류 메시지를 표시합니다.
문제가 될 수 있는지 추측하지 마십시오. ERROR 메시지를 주의 깊게 읽으십시오.
필요한 경우, 더 많은 clues 및 정보를 찾을 사전 진단 메시지를 읽으십시오. - dataset의 XML로 변경하여 그 문제를 해결하려고 합니다.
DasDds가 데이터셋을 다시 만들려고 합니다. - 반복적으로 각 문제를 해결하면 결국 모든 문제를 해결합니다.
그리고 dataset는 적재할 것입니다.
- 모든 DasDds 출력 (진단 및 결과) 화면에 작성하고 큰Parent감독 /logs/DasDds.log . . /logs/DasDds.log . . /logs/DasDds.log . /logs/DasDds.log . /logs/DasDds.log . /logs/DasDds.log . /logs/DasDds.log . /logs/DasDds.log . /logs/DasDds.log .log . /logs/DasDds.logs.log . ./ .logs/ . /logs/ .logsDds.logs.logs.logs.logs.logs/.logs.logs.logs.logs.logs.logs.logs.logs.logs.logs.logs.logs/ .logs.logs/.logs.logs/.logs.logs.logs.logs.logs.logs.logs.logs.logs
- DasDds가 dataset을 만들 수 있다면 DasDds는 다음 당신을 보여줍니다· .das (Dataset 특성) ·사이트맵 (Dataset 기술 제품 설명) ·.timeGaps의 (시간 간격) 당신의 화면에 dataset에 대한 정보와 쓰기 큰Parent감독 /logs/DasDds.out .
- 종종 dataset의 metadata 및 rerun DasDds를 청소하기 위해 dataset의 XML에 약간의 변경을 할 것입니다.
보너스 제삼자 공구:ERDDAP- 린트
ERDDAP- 린트는 Rob Fuller 및 Adam Leadbetter of the Irish Marine Institute의 프로그램을 통해 메타 데이터를 향상시킬 수 있습니다.ERDDAP™데이터셋.ERDDAP-lint "contains 규칙과 간단한 정적 웹 응용 프로그램을 실행에 대한 확인 테스트ERDDAP™서버. 모든 테스트는 웹 브라우저에서 실행됩니다." 이름 *유닉스/리눅스 lint 도구, 당신은 기존 규칙을 편집하거나 새로운 규칙을 추가 할 수 있습니다. 이름 *ERDDAP- 린트더 많은 정보.
이 도구는 특히 몇 시간 전에 생성 된 데이터 세트에 유용합니다. 현재 메타 데이터 선호도와 최신을 가져와야합니다. 예를 들어, GenerateDatasets의 초기 버전 Xml는 세계를 창조하기 위하여 어떤 노력을 둬지 않았습니다creator\_name·creator\_email, 제작자\_type, 또는creator\_url메타데이터 당신은 사용할 수ERDDAP-이 메타데이터 속성이 부족한 데이터셋을 식별합니다.
Rob와 Adam 덕분에이 도구를 만들고 그것을 사용할 수 있습니다ERDDAP™커뮤니티
기본 구조datasets.xml파일 형식
필수 및 옵션 태그는datasets.xml파일 형식 (그들이 나타나는 시간의 수) 아래와 같습니다. 연습, 당신의datasets.xml많이 있다<dataset>의 태그와 다른 태그를 사용<erddapDatasets> 필요에 따라.
<?xml version="1.0" encoding="ISO-8859-1" ?>
<erddapDatasets>
<angularDegreeUnits>...</angularDegreeUnits> <!-- 0 or 1 -->
<angularDegreeTrueUnits>...</angularDegreeTrueUnits> <!-- 0 or 1 -->
<cacheMinutes>...</cacheMinutes> <!-- 0 or 1 -->
<commonStandardNames>...</commonStandardNames> <!-- 0 or 1 -->
<convertInterpolateRequestCSVExample /> <!-- 0 or more -->
<convertInterpolateDatasetIDVariableList /> <!-- 0 or more -->
<convertToPublicSourceUrl /> <!-- 0 or more -->
<decompressedCacheMaxGB>...</decompressedCacheMaxGB> <!-- 0 or 1 -->
<decompressedCacheMaxMinutesOld>...</decompressedCacheMaxMinutesOld> <!-- 0 or 1 -->
<drawLandMask>...</drawLandMask> <!-- 0 or 1 -->
<emailDiagnosticsToErdData>...</emailDiagnosticsToErdData> <!-- 0 or 1 -->
<graphBackgroundColor>...</graphBackgroundColor> <!-- 0 or 1 -->
<ipAddressMaxRequests>...</ipAddressMaxRequests> <!-- 0 or 1 -->
<ipAddressMaxRequestsActive>...<ipAddressMaxRequestsActive> <!-- 0 or 1 -->
<ipAddressUnlimited>...<ipAddressUnlimited> <!-- 0 or 1 -->
<loadDatasetsMinMinutes>...</loadDatasetsMinMinutes> <!-- 0 or 1 -->
<loadDatasetsMaxMinutes>...</loadDatasetsMaxMinutes> <!-- 0 or 1 -->
<logLevel>...</logLevel> <!-- 0 or 1 -->
<nGridThreads>...</nGridThreads> <!-- 0 or 1 -->
<nTableThreads>...</nTableThreads> <!-- 0 or 1 -->
<palettes>...</palettes> <!-- 0 or 1 -->
<partialRequestMaxBytes>...</partialRequestMaxBytes> <!-- 0 or 1 -->
<partialRequestMaxCells>...</partialRequestMaxCells> <!-- 0 or 1 -->
<requestBlacklist>...</requestBlacklist> <!-- 0 or 1 -->
<slowDownTroubleMillis>...</slowDownTroubleMillis> <!-- 0 or 1 -->
<subscriptionEmailBlacklist>...</subscriptionEmailBlacklist> <!-- 0 or 1 -->
<unusualActivity>...</unusualActivity> <!-- 0 or 1 -->
<updateMaxEvents>...</updateMaxEvents> <!-- 0 or 1 --><standardLicense>...</standardLicense> <!-- 0 or 1 -->
<standardContact>...</standardContact> <!-- 0 or 1 -->
<standardDataLicenses>...</standardDataLicenses> <!-- 0 or 1 -->
<standardDisclaimerOfEndorsement>...</standardDisclaimerOfEndorsement> <!-- 0 or 1 -->
<standardDisclaimerOfExternalLinks>...</standardDisclaimerOfExternalLinks> <!-- 0 or 1 -->
<standardGeneralDisclaimer>...</standardGeneralDisclaimer> <!-- 0 or 1 -->
<standardPrivacyPolicy>...</standardPrivacyPolicy> <!-- 0 or 1 -->
<startHeadHtml5>...</startHeadHtml5> <!-- 0 or 1 -->
<startBodyHtml5>...</startBodyHtml5> <!-- 0 or 1 -->
<theShortDescriptionHtml>...</theShortDescriptionHtml> <!-- 0 or 1 -->
<endBodyHtml5>...</endBodyHtml5> <!-- 0 or 1 --><user username="..." password="..." roles="..." /> <!-- 0 or more -->
<dataset>...</dataset> <!-- 1 or more -->
</erddapDatasets>
다른 인코딩이 미래에 허용되지만, 이제는 ISO-8859-1만 권장됩니다.
사이트맵
버전 2.25의 새로운 버전은 XInclude에 대한 지원입니다. 이것은 SAX 파서 사용을 요구합니다<useSaxParser>true 사용</useSaxParser> 설정에서.xml. 이 파일에서 각 dataset을 작성할 수 있습니다. 다음 주에 모두 포함datasets.xml, dataset 정의의 재사용 부분, 또는 둘 다. 예를 보시려면,다운로드XInclude를 사용하여 변수 정의를 재사용합니다.
지원하다
일하기datasets.xml파일은 비 trivial 프로젝트입니다. 이 모든 것을 주의 깊게 읽으십시오. 당신은 후dataset 유형, 주의깊게 그것의 상세한 묘사를 읽으십시오.
Dataset 유형 선택
대부분의 경우, 단지 하나가있다ERDDAP™주어진 데이터 소스에 적합한 dataset 유형. 몇 가지 경우 (₢ 킹.nc파일 형식) , 몇 가지 가능성이있다, 그러나 일반적으로 그들 중 하나는 확실히 최고입니다. 먼저 가장 큰 결정은 다음과 같습니다. 다차원 배열 그룹으로 dataset을 치료하는 것이 적절합니다. (이렇게 하면EDDGriddataset 유형) 또는 데이터의 데이터베이스와 같은 표 (이렇게 하면EDDTable dataset 유형) ·
데이터 봉사
일반적으로 데이터 소스를 수정할 필요가 없습니다. (e.g., 다른 파일 유형에 파일을 변환) 그래서ERDDAP™할 수 있습니다. 가정의 한ERDDAP™데이터 소스가 사용됩니다. 일반적으로이 작품은 훌륭합니다. 몇몇 예외는:
- Relational 데이터베이스 및 Cassandra --ERDDAP™관련 데이터베이스 및 Cassandra에서 데이터를 직접 제공 할 수 있습니다. 그러나 보안, 로드 밸런싱 및 성능 문제, 같은 데이터로 다른 데이터베이스를 설정하거나 데이터를 저장할 수 있습니다NetCDFv3의.nc파일 및 있다ERDDAP™새 데이터 소스에서 데이터를 제공합니다. 이름 *EDDTable데이터베이스이름 *EDDTableCassandra에서·
- 지원되지 않은 데이터 소스 --ERDDAP™많은 유형의 데이터 소스를 지원할 수 있지만, 세계는 1000 개로 채워집니다. (수백만?) 다른 데이터 소스의 (notably, 데이터 파일 구조) · 이름 *ERDDAP™데이터 소스를 지원하지 않습니다:
- 데이터 소스가 있다면NetCDF .nc파일, 당신은 사용할 수 있습니다사이트맵On-the-fly의 데이터 파일을 수정하거나 사용NCO영구적으로 데이터 파일을 수정합니다.
- 데이터 소스 유형에 데이터를 쓸 수 있습니다.ERDDAP™지원하다.NetCDF-3명.nc파일은 좋은, 일반적인 권고 때문에 그들은 바이너리 파일이다ERDDAP™아주 빨리 읽을 수 있습니다. 탭 데이터의 경우 수집에 데이터를 저장 고려.nc파일 사용사이트맵 분리된 표본 추출 Geometries (사이트맵) Contiguous Ragged 배열 자료 구조 etc로 취급될 수 있습니다ERDDAP이름 *EDDTableNcCFFiles에서). 로그인한 경우 (각 공간과 시간의 펑크에 대한 데이터) ·ERDDAP™데이터를 신속하게 추출할 수 있습니다.
- 해당 데이터 소스에 대한 지원을 요청할 수 있습니다.ERDDAP™에 의해 이메일 Chris. noaaa.gov에서 존.
- 해당 데이터 소스에 대한 지원을 추가 할 수 있습니다. 코드를 작성하여 자신을 처리 할 수 있습니다. 이름 *이름 *ERDDAP™프로그래머의 가이드
- 속도 --ERDDAP™몇몇 자료 근원에서 자료를 다른 사람 보다는 매우 빨리 읽을 수 있습니다. 예를 들어, 읽기NetCDFv3의.nc파일은 빠르고 읽기 ASCII 파일은 더 느립니다. 그리고 큰 경우 (>1000년) 또는 큰 (>10,000원) 소스 데이터 파일 수,ERDDAP™약간의 데이터 요청으로 응답합니다. 일반적으로 차이는 인간에게 눈에 띄지 않습니다. 그러나 생각하면ERDDAP™주어진 dataset를 위해 느린, 당신은 더 능률적인 체제에 자료를 쓰기해서 문제를 해결하기 위하여 선택할지도 모릅니다 (보통: 약간, 잘 구조해,NetCDFv3의.nc파일 형식) · 탭 데이터의 경우, see이 조언·
힌트
Dataset.xml의 작업 데이터셋 설명의 복사본을 작성하여 XML을 생성하는 것이 더 쉽습니다.
특수 문자 인코딩
이름 *datasets.xmlXML 파일입니다, 당신은 MUST& 인코딩"&", "<", 그리고 "> "&", "<", 그리고 ">". 잘못된 :<제목> 시간 & Tides</제작품 오른쪽:<제목> 시간 & Tides</제작품
XML은 구문 오류를 견딜 수 없습니다.
dataset.xml 파일을 편집 한 후 결과가 확인하는 좋은 아이디어입니다.잘 형성된 XMLXML 텍스트를 XML 검수원으로 붙여넣기XML 유효성·
문제 해결 팁
- Datasets를 가진 문제를 진단하는 다른 방법
두 주 외에제품정보· - 로그.txt모든 로그 파일입니다.ERDDAP진단 메시지.
- 더 보기매일 보고서datasets의 리스트를 포함한 상태 페이지보다 더 많은 정보를 가지고 있으며, 예외는 아닙니다. (오류 수정) 그들은 생성.
- 더 보기상태 페이지확인하는 빠른 방법ERDDAP웹 브라우저의 상태. 로드하지 않은 데이터셋 목록이 포함되어 있습니다. (관련 예외는 아니지만) taskThread 통계 (의 발전을 보여주는EDDGrid이름 *이름 *EDDTable코피datasets와 어떤EDDGrid파일 형식또는EDDTable파일사용하는 datasets캐시FromUrl (하지만 캐시하지 크기GB) ) ·
- 갇혀있는 경우, 우리를 참조하십시오더 많은 지원 얻기에 섹션·
특수 변수
- 경도, 위도, 고도 (또는 깊이) , 및 시간 (릴트) 지원하다 destinationNames는 특별합니다.
- 일반:
- LLAT 변수는ERDDAP™축 변수의 경우 (제품정보EDDGrid데이터셋) 또는 data 변수의 (EDDTable datasets를 위해) destinationName"longitude", "latitude", "altitude", "depth", 또는"time"·
- 우리는 강력하게 이러한 변수에 대한 이러한 표준 이름을 사용할 것을 권장합니다. 그들 중 하나가 요구됩니다. 이 특별한 변수 이름을 사용하지 않는 경우,ERDDAP™자신의 중요성을 인식하지 않습니다. 예를 들어, LLAT 변수는 Graph로 특별히 처리됩니다. ( datasetID ·) : X 축 변수가 "longitude"이고 Y 축 변수는 "latitude",지도를 얻을 것이다 (표준 투상 및 토지 마스크, 정치 경계 등) 그래프 대신.
- ERDDAP™메타데이터를 LLAT 변수에 자동적으로 추가 (예를 들어, "ioos\_category", "단위 단위", 그리고 "\_CoordinateAxisType"과 같은 여러 표준 관련 속성) ·
- ERDDAP™선택된 데이터 서브셋의 LLAT 값과 관련된 글로벌 메타데이터를 많이 추가합니다. (예를 들어, "geospatial\_lon\_min") ·
- 이 메타데이터 표준을 지원하는 클라이언트는 추가 메타데이터를 활용할 수 있어 시간과 공간에 데이터를 배치할 수 있습니다.
- 클라이언트는 변수의 이름은 모든 관련 데이터셋과 동일하기 때문에 LLAT 변수를 포함하는 쿼리를 생성하는 것이 더 쉽습니다.
- "longitude"변수와 "latitude"변수의 경우:
- 사용 방법destinationNames "longitude" 과 "latitude"만하면단위 단위도 \_east 및 도 \_north, 각각입니 다. 데이터가 이러한 요구 사항을 적합하지 않으면 다른 변수 이름을 사용하십시오. (예를 들어, x, y, lonRadians, latRadians) ·
- 다른 단위로 표현된 경도와 위도 자료가 있는 경우에 따라서 다른destinationNames, 예를 들면, lonRadians 및 latRadians는, 도표를 만듭니다 ( datasetID ·) 그래프를 만들 (예를 들면, 시간 시리즈) 지도 대신.
- "altitude"변수와 "depth"변수의 경우:
- 사용 방법destinationName"altitude"는 해수면 위의 데이터의 거리를 확인합니다. (positive="up" 값) · 선택적으로, 당신은 바다의 밑에 부정적인 경우에 바다 수준의 밑에 거리를 위한 "altitude"를 사용할지도 모릅니다 (또는 당신이 예를 들면, [기타]<이름 =scale\_factor" 타입="int">- 1개</att>] (#scale_공장) 깊이값을 고도로 변환합니다.
- 사용 방법destinationName"depth"는 해수면 아래 데이터의 거리를 식별합니다. (positive="down"값) ·
- dataset는 "altitude"와 "depth"변수를 모두 가질 수 없습니다.
- 이 변수 이름의 경우,단위 단위"m", "미터", "미터"이어야 합니다. 단위가 다른 경우 (예를 들어, fathoms) , 당신은 사용할 수 있습니다 [기타]<이름 =scale\_factor"> 이름 * 주요 특징 </att>] (#scale_공장) 그리고 [<att name="units"> 미터</att>] (#단위) 단위를 미터로 변환합니다.
- 데이터가 이러한 요구 사항을 적합하지 않으면 다른 사용destinationName (예를 들면, overGround, 거리 회사 소개) ·
- 수직 CRS를 알고 있다면 메타 데이터에 지정하십시오. 예를 들어 "EPSG:5829" (해수면의 위 즉 석 고도) , "EPSG:5831" (해수면의 밑에 즉석 깊이) , 또는 "EPSG:5703" (NAVD88 고도) ·
- 제품정보"time"변수:
- 사용 방법destinationName "time"전체 date+time을 포함하는 변수만 (또는 날짜, 그 모든 것이있다면) · 예를 들어, 날짜와 timeOfDay에 대한 별도의 열이 있으며, 변수 이름을 사용하지 않습니다."time"·
- 이름 *단위 단위시간 및 timeStamp 변수의 단위 속성에 대한 자세한 내용은.
- 시간 변수 및 관련시간 : Stamp 변수항상 소스의 시간 형식으로 데이터 값을 변환하는 것은 독특합니다. (모든 것) 숫자 값으로 (1970-01-01T00:00:00Z 이후 초) 또는 문자열 값 (ISO 8601:2004년 (₢ 킹) 지원하다) , 상황에 따라.
- 사용자 요청 시간 데이터 때, 그들은 숫자 값으로 시간을 지정하여 요청할 수 있습니다. (1970-01-01T00:00:00Z 이후 초) 또는 문자열 값 (ISO 8601:2004년 (₢ 킹) 지원하다) ·
- ERDDAP™유틸리티를 가지고숫자 변환 시간 /에서 문자열 시간·
- 이름 *이름 *ERDDAP거래 시간·
왜 두 가지 기본 데이터 구조?
- 클라이언트와 컴퓨터 클라이언트가 가능한 dataset 구조의 복잡한 집합을 처리하기가 어렵 기 때문에,ERDDAP™2개의 기본적인 자료 구조를 이용합니다:
- 한국어Gridded 데이터 구조 (예를 들어, 위성 데이터 및 모델 데이터) 이름 *
- 한국어탭 데이터 구조 (예를 들면, in-situ buoy, 역 및 trajectory 자료) ·
- 물론, 모든 데이터는 이러한 구조에서 표현 될 수 없습니다, 하지만 그것은 많은 수 있습니다. 테이블, 특히, 매우 유연한 데이터 구조 (관계 데이터베이스 프로그램의 성공 살펴보기) ·
- 이 데이터 쿼리를 쉽게 구성합니다.
- 이 데이터 응답은 단순한 구조가 있습니다. 이는 표준 파일 유형의 다양한 데이터에 쉽게 접근할 수 있도록 합니다. (종종 간단한 데이터 구조를 지원) · 이것은 우리가 설정 한 주요 이유입니다ERDDAP™이 방법.
- 이, 차례로, 우리에게 매우 쉽게 (또는 누구) 클라이언트 소프트웨어를 작성하는 것은 모두ERDDAP™데이터셋.
- 이것은 다른 소스에서 데이터를 쉽게 비교할 수 있습니다.
- 우리는 당신이 다른 데이터 구조에서 데이터를 작업하는 데 사용되는 경우 매우 aware는 처음이 접근법이 단순하거나 충분하다고 생각할 수 있습니다. 그러나 모든 자료 구조에는 tradeoffs가 있습니다. 없음은 완벽합니다. do-it-all 구조에는 그들의 downsides가 있습니다. 그들과 일하는 것은 복잡하고 파일만 쓸 수 있고 특별한 소프트웨어 도서관과 읽을 수 있습니다. 자주 묻는 질문ERDDAP그와 함께 일하기에 충분한 접근, 당신은 그것의 이점이 있다는 것을 찾아낼지도 모릅니다 (데이터 응답을 파악할 수 있는 여러 파일 유형의 지원) · 더 보기ERDDAP™슬라이드 쇼 (특히,데이터 구조 슬라이드) 이 문제에 대해 많은 이야기.
- 그리고 심지어이 접근이 당신에게 이상한 소리, 대부분의ERDDAP™클라이언트는 결코 통지하지 않습니다 -- 그들은 단순히 데이터 세트의 모든 좋은 간단한 구조가 있고 그들은 다양한 파일 형식에서 반환된 다양한 소스에서 데이터를 얻을 수 있다는 것을 감사할 것입니다.
크기 (mm)
- source dataset DON'T의 그리드 변수가 동일한 축 변수를 공유하는 경우?
내 계정EDDGriddatasets, 모든 데이터 변수 MUST 사용 (공유하기) 모든 축 변수. 그래서 소스 데이터 세트는 치수의 한 세트와 일부 변수를 가지고, 다른 크기의 다른 세트와 다른 변수, 당신은에 두 개의 데이터 세트를 만들 필요가있다ERDDAP· 예를 들어, 하나를 만들 수 있습니다.ERDDAP™"Some Title"의 데이터 세트 (지상에) "만 사용할 변수를 잡아\[시간 :\]\[이름 *\]\[경도\]차원과 다른 것ERDDAP™"Some Title"의 데이터 세트 (깊이에) "사용하는 변수를 파악하기\[시간 :\]\[이름 *\]\[이름 *\]\[경도\]· 또는 단일 값으로 크기를 추가하는 데이터 소스를 변경할 수 있습니다. (예를 들면, altitude=0) 변수를 생성한다.
ERDDAP™더 복잡한 datasets를 취급하지 않습니다 (예를 들어, 삼각형의 메쉬를 사용하는 모델) 이름 * 이 datasets를 사용할 수 있습니다.ERDDAP™두 개 이상의 데이터 세트를 만들기ERDDAP™ (그래서 각 새로운 dataset의 모든 데이터 변수는 축 변수의 동일한 집합을 공유) , 하지만 그 사용자가 원하는 것은 아닙니다. 몇몇 datasets를 위해, 당신은 dataset의 일정한 gridded 버전을 만들고 본래 자료 이외에 제안할지도 모릅니다. 일부 클라이언트 소프트웨어는 일반 그리드 만 처리 할 수 있으므로이 작업을 수행하면 추가 클라이언트에 도달합니다.
Projected Gridded 데이터
몇몇 gridded 자료에는 복잡한 구조가 있습니다. 예를 들어, 위성 레벨 2 ("곡 트랙") 데이터는 간단한 투상을 사용하지 않습니다. 모델러 (기타) 종종 다양한 비 원통형 투사 데이터와 함께 작업 (예를 들면, conic, 극 스테레오 그래픽, tripolar) 또는 unstructured 격자에서 (더 복잡한 데이터 구조) · 일부 최종 사용자는이 데이터를 원하는대로, 그래서 정보의 손실이 없습니다. 그 고객을 위해,ERDDAP™데이터를 제공 할 수 있습니다.ERDDAP™관리자는 몇 가지 데이터 세트로 원래 데이터 세트를 깰, 같은 축 변수를 공유하는 변수를 포함한 각 부분. 예, 그것은 사람들이 참여하는 확률이 보인다, 그것은 대부분의 다른OPeNDAP서버. 한국어ERDDAP™많은 형식에서 사용할 수있는 데이터를 강조합니다. 가능한 한ERDDAP™use/requires 더 균일 한 데이터 구조. 조금 어둡지만 (i.e., 예상보다 다른) ·ERDDAP™계획된 자료를 배포할 수 있습니다.
\[예,ERDDAP™데이터 구조를 위한 느슨한 필요조건이 있을 수 있었습니다, 그러나 산출 체재를 위한 필요조건을 지킵니다. 그러나 그것은 많은 사용자 중 혼란에 이어, 특히 초보자, 다른 구조와 데이터에 대한 많은 겉보기로 유효한 요청 때문에 데이터가 파일 유형에 적합하지 않기 때문에. 우리는 현재 체계의 디자인에 돌아갑니다.\]
일부 최종 사용자는 다른 상황에서 쉽게 사용할 수 있도록 Equirectangular / plate carrée 또는 Mercator와 같은 lat lon 원통형 투사에 데이터를 원합니다. 이러한 상황에서 우리는 격려ERDDAP™다른 소프트웨어를 사용하는 관리자 (NCO·Matlab· 사이트맵 IDV는? ...?) data를 지리적으로 재구성 (직사각형 투사 / 판 carrée) 또는 다른 원통형 투사 및 데이터의 형태를ERDDAP™다른 dataset로. 이것은 그들이 위성 레벨 2 데이터를 수준 3 데이터로 변환 할 때 어떤 사람들와 유사합니다. 그런 도구는NCOregridding 데이터에 대한 확장 옵션을 제공합니다.
GIS 및 Reprojecting 데이터
GIS 세계는 종종지도 중심이기 때문에 GIS 프로그램은 일반적으로 데이터를 재구성하기위한 지원을 제공합니다, 즉, 다른 투사와지도에 데이터를 플로팅.
현재,ERDDAP™reproject 데이터에 도구가 없습니다. 대신 데이터셋의 변형을 만들기 위해 외부 도구를 사용하는 것이 좋습니다. 데이터가 직사각형에 원래 형태로 재구성 된 곳 (위도 경도) 적당한 배열ERDDAP·
우리의 의견에서, CF/DAP세계는 GIS 세계에서 약간 다르며 약간 낮은 수준에서 작동합니다.ERDDAP™그 반사. 일반적으로,ERDDAP™data로 일하기 위하여 디자인됩니다 (지도 없음) 변경하고 싶지 않아 (프로젝트) 그 데이터. 제품 정보ERDDAP™, gridded 자료는 수시로/보통/preferably lat lon 가치와 원통 모양 투상과 관련되고, 몇몇 투상의 x,y 가치 아닙니다. 어떤 경우,ERDDAP™데이터의 투상과는 아무것도하지 않습니다; 그것은 단지 데이터를 통과, 으로, 현재의 투상, reprojection는 데이터에 상당한 변화가 있다는 이론에,ERDDAP™중요한 변화와 관련이 없습니다. 또한, 이후 사용자는 데이터를 다시 재구성 할 수 있습니다. 즉, 한 번의 리프로젝션을 수행하지 않을 것입니다. (그래서,ERDDAP™관리자는 다른 투사, 벌금에 데이터를 제공하려는; 그냥 데이터 오프라인을 다시 시작하고 다른 데이터 세트로 제공ERDDAP· 위성 기반 데이터 세트의 랏은 NASA 통화 수준 2로 제공된다 (뚱 베어) 레벨 3 (견적 요청) 버전.) 시간 :ERDDAP™맵 만들기 (직접 또는 통해WMS또는 KML) ·ERDDAP™현재 Equirectangular / plate carrée projection과 함께 맵을 만들 수있는 유일한 제안이 가장 매핑 프로그램에 의해 허용됩니다.
우리는 격려합니다ERDDAP™다른 소프트웨어를 사용하는 관리자 (NCO·Matlab· 사이트맵 IDV는? ...?) data를 지리적으로 재구성 (직사각형 투사 / 판 carrée) 또는 다른 원통형 투사 및 데이터의 형태를ERDDAP™다른 dataset로. 이것은 그들이 위성 레벨 2 데이터를 수준 3 데이터로 변환 할 때 어떤 사람들와 유사합니다. 그런 도구는NCOregridding 데이터에 대한 확장 옵션을 제공합니다.
우리 는 희망ERDDAP™앞으로의 다른 계획과지도를 제공하는 내장 도구가 있습니다. 우리는 또한 미래에 GIS 세계에 더 나은 연결을 희망 (현재 보다는 다른WMS제품정보) · 그것은이 "현대"세계에서 끔찍하다, CF / 사이 링크DAP세계와 GIS 세계는 여전히 약합니다. 두 가지는 두 가지 목록입니다. (당신이 돕고 싶은 경우에, 연결에 notablyERDDAP™to MapServer, 이메일을 보내 주시기 바랍니다 Chris. noaaa.gov의 존.)
데이터 유형
ERDDAP™다음 데이터 유형 지원 (이름은 민감합니다;'u'prefix는 "unsigned"를 뜻합니다. 다른 시스템에 있는 많은 이름은 조금의 수입니다) ::
사이트맵
- 사이트맵 -128에서 127의 범위로 정수 값을 서명했습니다. 다른 시스템에서, 이것은 때때로 int8 호출됩니다. 이것은 SQL과 Cassandra에 의해 "tinyint"라고합니다. ERDDAP™변환하기한국어몇몇 근원에서 (e.g., SQL 및 Cassandra) 바이트로ERDDAP™0=false, 1=true, 127=의 값으로missing\_value·
우바이트
- 우바이트 0 ~ 255 범위의 정수 값을 지정했습니다. 다른 시스템에서는 때때로 uint8라고합니다.
뚱 베어
- 뚱 베어 -32768에서 32767 범위로 정수 값을 서명했습니다. 다른 시스템에서, 이것은 때때로 int16이라고 불립니다. 이것은 SQL과 Cassandra에 의해 "smallint"라고합니다.
뚱 베어
- 뚱 베어 0 ~ 65535 범위의 정수 값을 지정했습니다. 다른 시스템에서는 때때로 uint16라고합니다.
뚱 베어
- 뚱 베어 2147483647에 -2147483648의 범위를 가진 정수 값을 서명했습니다. 다른 시스템에서는 때때로 int32라고합니다. 이것은 "integer라고합니다.|한국어 (·) "SQL과 "int"로 Cassandra.
뚱 베어
- 뚱 베어 0 ~ 4294967295 범위의 정수 값을 지정했습니다. 다른 시스템에서는 때때로 uint32라고합니다.
긴 수명
- 긴 수명 -9223372036854775808에서 9223372036854775807의 범위를 가진 정수 가치 서명했습니다. 다른 시스템에서는 때때로 int64라고합니다. 이것은 "bigint라고합니다.|한국어 (·) "SQL과 "bigint"에 의해 Cassandra. 많은 파일 유형이 긴 데이터를 지원하지 않기 때문에, 그들의 사용은 discouraged입니다. 가능한 경우 대신 더블 사용 (더 보기) ·
로드 중 ...
- 로드 중 ... 0 ~ 18446744073709551615 범위의 정수 값 다른 시스템에서는 때때로 uint64라고합니다. 많은 파일 유형이 ulong 데이터를 지원하지 않기 때문에, 그들의 사용은 discouraged입니다. 가능한 경우 대신 더블 사용 (더 보기) ·
팟캐스트
- 팟캐스트 대략 +/- 3.402823466e+38의 범위를 가진 IEEE 754 float입니다. 다른 시스템에서, 이것은 때때로 float32라고합니다. 이것은 "real이라고합니다.|팟캐스트 (·) |댓글 RSS (·) |한국어 (·) Cassandra의 SQL 및 "float"에 의해 ". 특별한 값 NaN은 Not-a-Number를 의미합니다. ERDDAP™NaN에 긍정적이고 부정적인 불평 값을 변환합니다.
더블 더블
- 더블 더블 IEEE 754 이중으로 약 범위 +/- 1.7976931348623157E+308. 다른 시스템에서, 이것은 때때로 float64라고합니다. 이것은 "두 배 정밀도라고합니다.|팟캐스트 (·) |댓글 RSS (·) |한국어 (·) "SQL과 Cassandra에 의해 "더블". 특별한 값 NaN은 Not-a-Number를 의미합니다. ERDDAP™NaN에 긍정적이고 부정적인 불평 값을 변환합니다.
₢ 킹
- ₢ 킹 단 하나, 2 바이트 (16 비트) 유니코드 UCS-2 문자의 범위\u0000 (₢ 킹) 제품정보\uffff (전화기:+86-21-52551666 팩스:+86-21-52551) · \uffff's 정의는 NaN의 두 배 가치에 아날로그 Not-a-Character입니다. 숯의 사용은 많은 파일 유형이 숯을 지원하지 않거나 1 바이트 숯만 지원하지 않기 때문에 차별됩니다. (더 보기) · 대신 문자열을 사용하여 고려하십시오. 사용자는 char 변수를 사용하여 그래프를 만들 수 있습니다.ERDDAP™숫자 데이터로 사용할 수 있는 유니코드 코드 포인트 번호로 문자를 변환합니다.
스트레이트
- 스트레이트 0 이상의 순서, 2 바이트 (16 비트) 유니코드 UCS-2 문자· ERDDAP™use/interprets a 0-length string as a 누락된 값.ERDDAP™true null 문자열을 지원하지 않습니다. 이론적 인 최대 문자열 길이는 2147483647 문자이지만 다소 짧은 문자열과도 다양한 장소에 다양한 문제가 있습니다. 제품 정보ERDDAP's String for SQL's character, varchar, character varying, binary, varbinary, interval, array, multiset, xml, and any other database data type that doesn't fit cleanly with any otherERDDAP™데이터 유형. 제품 정보ERDDAPCassandra 's String for Cassandra's "text" 과 다른 어떤 Cassandra data type that doesn't fit cleanly 와ERDDAP™데이터 유형.
이전 다음ERDDAP™v2.10,ERDDAP™integer 형식을 내부적으로 지원하지 않고 데이터 리더 및 작가의 제한된 지원을 제공하지 않았습니다.
Data Type 제한
당신은 생각할 수 있습니다ERDDAP™가상 데이터셋을 가지고 있는 시스템으로 데이터셋의 소스를 내부 데이터 모델로 읽고 데이터를 다양한 서비스(e.g.,(OPeN)DAP·WMS) 및 사용자 요청에 응답의 파일 유형.
- 각 입력 리더는 데이터 유형의 하위 세트를 지원합니다.ERDDAP™지원하다. 데이터 읽기ERDDAP's 내부 데이터 구조는 문제가 없습니다.
- 각 산출 작가는 또한 자료 유형의 subset를 지원합니다. 그 때문에 문제입니다.ERDDAP긴 데이터를 지원하지 않는 파일 유형에 예를 들어 긴 데이터가 있습니다.
아래는 제한의 설명입니다 (또는 없음) 다양한 출력 작가 및 방법ERDDAP™문제와 거래. 이러한 합병증은 inherent 부분입니다.ERDDAPinteroperable disparate 체계의 목표.
사이트맵
- 사이트맵 (사이트맵.tsv등) 텍스트 파일 -
-
모든 수치 데이터는 문자열 표현을 통해 작성됩니다. (0 길이 문자열로 표시되는 누락된 데이터 값) ·
-
그러나ERDDAP™ASCII 텍스트 파일, 많은 독자에게 정확하고 ulong 값 쓰기 (e.g., 스프레드 시트 프로그램) 긴 값과 ulong 값으로 올 바르게 처리하지 않고 두 배 값으로 변환 할 수 없습니다. (몇몇 경우에 있는 정밀도의 손실) ·
-
Char 및 String data는 JSON String을 통해 작성되며, 모든 유니코드 문자를 처리합니다. (아마, ASCII #127, 예를 들어, 유로 문자 "\u20ac"로 나타납니다) ·
-
구글 맵
- 구글 맵 (.json·.jsonlCSV등) 텍스트 파일 -
- 모든 숫자 데이터는 문자열 표현을 통해 작성됩니다.
- Char와 String data는 JSON String으로 작성되며, 모든 유니코드 문자를 처리합니다. (아마, ASCII #127, 예를 들어, 유로 문자 "\u20ac"로 나타납니다) ·
- 모든 숫자 데이터 유형의 미스링 값은 null로 나타났습니다.
.nc3 파일
- .nc3개의 파일은 기본적으로 어떤 unsigned integer 자료 유형을 지원하지 않습니다. CF v1.9의 앞에, CF는 불신뢰한 정수 유형을 지원하지 않았습니다. 이 작업을 수행ERDDAP™2.10+는 NUG 표준을 따르고 항상 "true" 또는 "false"의 값으로 "\_Unsigned" 속성을 추가하여 데이터가 할당되거나 서명되지 않은 변수를 나타냅니다. 모든 integer 속성은 서명 된 속성으로 작성됩니다. (예를 들어, 바이트) 서명 값(예: ubyteactual\_range0 ~ 255 값을 가진 속성은 0 ~ -1 값으로 바이트 속성으로 나타났습니다. (아웃 범위 값의 두 가지의 보완 값). (signed) integer 속성이 표시되지 않은 속성으로 읽을 수있는 쉬운 방법이 없습니다.ERDDAP™읽을 때 "\_Unsigned" 속성을 지원.nc3 파일.
- .nc3개의 파일은 긴 또는 ulong 자료 유형을 지원하지 않습니다.ERDDAP™이 작업을 일시적으로 변환하여 두 배의 변수가 될 것입니다. 두 배는 +/- 9,007,199,254,740,992까지 모든 가치를 정확하게 표현할 수 있습니다 2^53입니다. 이것은 불완전한 해결책입니다.Unidata사소한 업그레이드를 거부.nc3 이 및 관련 문제, 인용.nc4개 (주요 변화) 해결책으로.
- CF 사양 (v1.9의 앞에) 숯 데이터 유형을 지원했지만 숯이 숯의 건물 블록으로만 예정되어 효과적으로 묶는 것은 불연합니다. 메일링 리스트에 대한 질문은 답을 혼동합니다. 이 합병증 때문에, 그것은에서 char 변수를 방지하는 것이 가장 좋습니다ERDDAP™가능한 한 문자열 변수를 사용합니다.
- 한국어.ncASCII-encoded를 가진 3개의 파일만 지원되는 끈 (7 비트, #0 - #12) 이름 * 이름 * (이름 *ERDDAP) 확장하다 (시작 ~2017) "ISO-8859-1"의 값을 가진 속성 "\_Encoding"을 포함함으로써 (각 8 비트 문자의 모든 256 값을 정의하는 ASCII의 확장) 또는 문자열 데이터를 인코딩하는 방법을 나타내는 "UTF-8". 다른 인코딩은 법적일 수 있지만 discouraged.
.nc4 파일
- .nc4개의 파일 지원 모두의ERDDAP데이터 유형.
NCCSV 파일
NCCSV 1.0 파일은 무수한 정수 데이터 유형을 지원하지 않습니다. NCCSV 1.1+ 파일모든 unsigned integer 데이터 유형 지원.
DAP
- (OPeN)DAP (.das, .dds, .asc ASCII 파일 및 .dods 바이너리 파일) - - -
- (OPeN)DAP짧고, ushort, int, uint, float 및 더블 값을 올바르게 처리합니다.
- (OPeN)DAP"byte" 데이터 유형이 존재하며, 실제로, THREDDS 및ERDDAP™"byte"를 처리했습니다.(OPeN)DAP서비스. 이 더 나은 거래,ERDDAP™2.10+는 NUG 표준을 따르고 항상 "true"또는 "false"의 값으로 "\_Unsigned" 속성을 추가하여 데이터가 무엇인지 나타냅니다.ERDDAP™호출 바이트 또는 ubyte. 모든 바이트와 ubyte 속성은 서명 값 (예를 들어, ubyteactual\_range0 ~ 255 값을 가진 속성은 0 ~ -1 값으로 바이트 속성으로 나타났습니다. (아웃 범위 값의 두 가지의 보완 값). "byte" 속성이 ubyte 속성으로 읽을 수 없다는 것을 알 수있는 방법이 없습니다.
- (OPeN)DAP서명 또는 서명되지 않은 긴을 지원하지 않습니다.ERDDAP™이 작업을 일시적으로 변환하여 두 배의 변수와 속성이 될 수 있습니다. 두 배는 9,007,199,254,740,992까지 모든 가치를 정확하게 표현할 수 있습니다 2^53입니다. 이것은 불완전한 해결책입니다.OPeNDAP (회사연혁) 사소한 업그레이드를 거부DAP2.0 이 및 관련 문제, 인용DAP4개 (주요 변화) 해결책으로.
- 이름 *(OPeN)DAP별도의 숯 데이터 유형이 없으며 기술적으로 1 바이트 ASCII 문자를 지원하지 않습니다. (#0 - #12) 문자열에서 char data variables는 1-character-long Strings로 나타날 것입니다.(OPeN)DAP.das, .dds 및 .dods 응답.
- 기술적으로,(OPeN)DAPASCII-encoded 문자로 문자열만 지원 (#0 - #12) · 이름 * (이름 *ERDDAP) 확장하다 (시작 ~2017) "ISO-8859-1"의 값을 가진 속성 "\_Encoding"을 포함함으로써 (각 8 비트 문자의 모든 256 값을 정의하는 ASCII의 확장) 또는 문자열 데이터를 인코딩하는 방법을 나타내는 "UTF-8". 다른 인코딩은 법적일 수 있지만 discouraged.
Data Type 댓글
- 긴, ulong 및 많은 파일 유형의 char 데이터에 대한 가난한 지원 때문에, 우리는 이러한 데이터 유형의 사용을 차별ERDDAP· 가능한 경우, 긴과 우롱 대신 두 배를 사용하며, 차 대신 문자열을 사용합니다.
- 메타데이터 -(OPeN)DAP's .das 및 .dds 응답은 긴 또는 ulong 속성 또는 데이터 유형을 지원하지 않습니다 (그리고 대신 두 배로 표시) , 대신 사용할 수 있습니다ERDDAPmetadata의 tabular 표현http· erddap/ (주) / 한국어 datasetID HTML 웹 페이지 (예를 들어, https://coastwatch.pfeg.noaa.gov/erddap/info/cwwcNDBCMet/index.html ) (다른 파일 유형, 예를 들어, .csv,.htmlTable·.itx·.json·.jsonlCSV1·.jsonlCSV·.jsonlKVP·.mat·.nc·.nccsv·.tsv·.xhtml) 또는.nccsvMetadata 응답 (예를 들어, https://coastwatch.pfeg.noaa.gov/erddap/tabledap/cwwcNDBCMet.nccsvMetadata 한국어.nccsvMetadata는 tabular datasets에서만 가능합니다.) , 모든 자료 유형을 지원하는 둘 다 (, 긴, ulong 및 차) ·
미디어 파일
모든 데이터는 숫자 또는 텍스트의 배열입니다. 일부 데이터 세트는 이미지, 오디오 및 비디오 파일과 같은 미디어 파일을 포함하고 있습니다.ERDDAP™미디어 파일에 대한 액세스를 얻기 위해 쉽게 만들 수있는 몇 가지 특수 기능이 있습니다. 그것은 2 단계 과정입니다:
- byte 범위 요청을 지원하는 시스템을 통해 자신의 URL을 통해 액세스 할 수있는 각 파일을 만드십시오. 이 작업을 수행하는 가장 쉬운 방법은 디렉토리에 파일을 넣어ERDDAP™접속하다 (그들은 용기에 있다면.zip파일, 압축 해제, 당신이 제공 할 수 있지만.zip파일에 너무.) 그런 다음EDDTable파일이름dataset 을 통해 접근 가능한 그 파일을 만들기ERDDAP™, 확실히 통해ERDDAP이름 *"files"시스템·
모든 파일은 EDDTableFromFileNames를 통해 접근 가능ERDDAP이름 *"files"시스템 지원byte 범위 요청· 정상적으로, 클라이언트 때 (e.g., 브라우저) URL에 요청을, 그것은 응답으로 전체 파일을 가져옵니다. 그러나 byte 범위 요청으로, 요청은 파일에서 바이트의 범위를 지정하고 서버는 그 바이트를 반환합니다. 이 파일은 byte 범위 요청을 통해 액세스 할 수 있는 경우에만 브라우저의 오디오 및 비디오 플레이어가 작동하기 때문에 관련이 있습니다.
선택 사항: 관련 미디어 파일이있는 하나의 데이터 세트가 있다면, 각 그룹에 대한 하위 폴더가있는 하나의 EDDTableFromFileNames를 만들 수 있습니다. 장점은 새로운 데이터 세트에 대한 새로운 미디어 파일을 추가 할 때, 당신이해야 할 모든 새로운 폴더를 만들고 그 폴더에 파일을 넣어. 폴더와 파일은 EDDTableFromFileNames dataset에 자동으로 추가됩니다.
- 선택 사항: 미디어 파일에 대한 참조를 포함하는 데이터 세트가있는 경우, 추가ERDDAP· 예를 들어, .csv 파일이 있을 수 있습니다. 각 시간 누군가가 그 광경과 관련된 이미지 파일의 이름을 포함하는 고래와 열을 보았다. 이미지 파일의 이름은 파일 이름, 예를 들어, Img20141024T192403Z, 전체 URL이 아니라면 추가해야합니다.파일AccessBase Url 및 / 또는 파일AccessSuffixmetadata에 속성dataVariablebaseURL과 그 파일명에 대한 suffix를 지정합니다. EDDTableFromFileNames를 통해 액세스 할 수있는 파일을 만든 경우 URL은 양식에있을 것입니다. 사이트맵 /erddap/파일/ datasetID / 한국어 예를 들어,
<att name="fileAccessBaseUrl">*someBaseURL*</a>
<att name="fileAccessSuffix">.png</a>
거기에 있다면.zip또는 데이터 변수와 관련된 모든 미디어 파일과 다른 컨테이너 파일, 우리는 또한 사용자가 액세스 할 수있는 파일을 만드는 것이 좋습니다 (단계 1 위) 그리고 그 후에 그것을 확인합니다파일AccessArchive 뚱 베어이름 *
\[시작하다ERDDAP™v1.82의\]위의 첫 번째 단계를 수행하면 (또는 두 단계) , 다음 사용자가 볼 때ERDDAP™ "files"그 dataset를 위한 체계 (또는 dataset의 하위 세트를 참조하십시오..htmlTable요청, 두 번째 단계가 된 경우) ·ERDDAP™filename의 왼쪽에 '?' 아이콘을 표시합니다. 이 아이콘을 통해 사용자가 이미지를 보여주는 팝업 또는 오디오 플레이어 또는 비디오 플레이어를 볼 수 있습니다. 브라우저는 제한된 수의 유형만 지원합니다.
- 이름 * (파일 형식: .gif, .jpg, .png) ·
- 언어: 영어 (보통 .mp3, .ogg 및 .wav) ·
- 동영상 파일 (보통 .mp4, .ogv 및 . 사이트맵) ·
지원은 다른 운영 체계에 다른 브라우저의 다른 버전과 변화합니다. 그래서 당신이 제공 할 파일 유형의 선택이 있다면,이 유형의 제안을 의미한다.
또는 사용자가 표시된 파일명에서 클릭한 경우ERDDAP™웹 페이지, 브라우저는 이미지, 오디오 또는 비디오 파일을 별도의 웹 페이지로 표시합니다. 이것은 매우 큰 이미지 또는 비디오가 팝업 대신 풀 스크린에 확장하는 것을 매우 유용합니다.
AWS S3 파일로 작업
Amazon 웹 서비스 (사이트맵) 의 판매클라우드 컴퓨팅서비스.사이트맵AWS가 제공하는 객체 저장 시스템입니다. 전통적인 파일 시스템의 감독 및 파일 대신 (PC에서 하드 드라이브처럼) , S3는 "objects"를 붙드는 다만 "buckets"를 제안합니다 (우리는 그들을 호출합니다"files") ·
ASCII 파일 (예를 들어, .csv) ·ERDDAP™물통에 있는 파일과 직접 작동할 수 있습니다. 할 필요가있는 유일한 것은 지정합니다.<fileDir> AWS 버킷의 특정 형식을 사용하여 dataset에 대한, 예를 들어, https://bucketName.s3.aws-region.amazonaws.com/subdirectory/ · 사용 안 함<캐시FromUrl> . 자세히 보기
그러나 바이너리 파일 (₢ 킹.nc, .grib, .bufr, 그리고.hdf파일 형식) , 당신은 사용을 필요로 합니다<cacheFromUrl> 시스템 아래에 설명.ERDDAP, netcdf 자바 (이름 *ERDDAP™이 파일에서 데이터를 읽는 용도) , 및 다른 과학적인 자료 소프트웨어는 제안하는 전통적인 파일 시스템에 있는 파일로 일하기 위하여 디자인됩니다블록 레벨파일 연결 (파일의 펑크를 읽을 수 있음) S3만 제공파일 수준 (기타 제품) 파일 연결 (전체 파일을 읽을 수 있음) · AWS는 S3에 대안을 제공합니다,회사 소개 (사이트맵) ), 파일에 구획 수평 접근을 지원하는 그러나 S3 보다는 더 비싼, 그래서 자료 파일의 대량 저장을 위해 드물게 사용됩니다. (그래서 사람들이 구름에 데이터를 저장한다고 말할 때 (사이트맵) 저렴 한, 그것은 일반적으로 오렌지 비교에 사과입니다.)
S3 버킷
물통의 내용. 키. 객체. Delimiters.
기술적으로, S3 물통은 컴퓨터에 파일 체계 같이 계층 파일 구조에서 조직되지 않습니다. 대신, 물통은 "objects"를 포함 (파일 형식) , "키"가 있는 각 (이름 *) · noaa-goes17 버킷의 키의 예
ABI-L1b-RadC/2019/235/22/OR\\_ABI-L1b-RadC-M6C01\\_G17\\_s20192352201196\\_e20192352203569\\_c20192352204013.nc
해당 객체의 대응 URl은
AWS는 URL이 어떻게 구성되었는지에 약간의 변화를 지원하지만,ERDDAP™이 1개의 특정한 체재를 요구합니다:
https://bucketName.s3.region.amazonaws.com/key
그것은 일반적인 연습, 이 예제와 같이, 키 이름은 계층 경로와 파일 이름과 같은 보이는, 하지만 기술적으로 그들은 아니다. 그것은 일반적이 고 유용,ERDDAP™/'s 를 가진 키는 hierarchical path plus file name 이며, 이 문서는 다음과 같습니다. 버킷의 키가 사용하지 않는 경우 /의 (예를 들어, 같은 열쇠
ABI-Lib.2018.052.22.OR\_ABI-L1b-RadM2-M3C10\_G16\_s20180522247575), 다음ERDDAP™긴 파일 이름으로 전체 키를 치료합니다.
개인 대 공공 버킷 -- S3 버킷의 관리자는 버킷과 그 내용의 공개 또는 개인을 만들 수 있습니다. 공개적으로 버킷의 모든 파일이 파일 URL을 사용하여 누구나 다운로드 할 수 있습니다. Amazon은열린 Datapublic datasets를 호스트하는 프로그램 (데이터 포함NOAA, NASA 및 미국) 무료 및 그 버킷에서 파일을 다운로드 할 수 없습니다. 버킷이 개인이라면, 버킷의 파일은 공인된 사용자 및 AWS 요금으로만 액세스할 수 있습니다. (일반적으로 물통의 소유자에 의해 지불) 비-AWS S3 컴퓨터에 파일을 다운로드합니다.ERDDAP™대중과 개인 물통에 있는 자료로 일할 수 있습니다.
AWS 자격
그렇게 만들기ERDDAP™개인 물통의 내용을 읽을 수 있습니다, 당신은 AWS credentials를 필요로 하고 당신은 표준 장소에 있는 credentials 파일을 저장해야 합니다ERDDAP™자주 묻는 질문 AWS SDK 보기Java2.x 문서:기본 자격 설정· (값을 저장하는 옵션Java명령 줄 매개변수 in\[뚱 베어\]/bin/setenv.sh는 좋은 선택권일지도 모릅니다.)
AWS /파일/
- /files/시스템 -- 더 보기ERDDAP™ /files/시스템사용자는 dataset에 소스 파일을 다운로드 할 수 있습니다. 소스 파일을 다운로드하려는 많은 사용자가 원본 소스 파일을 다운로드하고 있기 때문에 소스 파일이있는 모든 데이터 세트에 이것을 켜는 것이 좋습니다.
- 파일이 개인 S3 버킷에 있다면, 파일을 다운로드하는 사용자의 요청이 처리됩니다.ERDDAP™, 파일에서 데이터를 읽을 것입니다 그리고 그 후에 사용자에게 전송, 따라서 당신의 짐 증가ERDDAP™, 들어오고 나가는 대역폭을 사용하고, 당신을 만들기 (이름 *ERDDAP™관련 기사) AWS에 데이터 egress 수수료를 지불합니다.
- 파일이 공개 S3 버킷에 있는 경우, 파일을 다운로드하는 사용자 의 요청은 AWS S3 URL로 그 파일로 리디렉션됩니다. 따라서 데이터가 흐르지 않습니다.ERDDAP™, 따라서 짐을 위에 감소시키십시오ERDDAP· 그리고 Amazon Open Data에 있는 경우 (무료 와이파이) 공중 물통, 그 후에 당신 (이름 *ERDDAP™관련 기사) AWS에 데이터 egress 수수료를 지불하지 않습니다. 따라서, 대중에서 큰 이점 서빙 자료가 있습니다 (아니다.) S3 버킷 및 Amazon Open Data에서 데이터를 제공하는 거대한 장점 (무료 와이파이) 물통.
ERDDAP™AWS S3 버킷
ERDDAP™AWS S3 버킷
다행히, 많은 노력 후에,ERDDAP™S3의 블록 레벨 액세스와 함께 작업의 inherent 문제를 처리 할 수있는 여러 가지 기능이 있습니다.
- \[법적 고지: AWS S3 버킷과 작업은 많은 추가 작업입니다. AWS는 서비스 및 기능의 거대한 생태계입니다. 많이 배울 수 있습니다. 그것은 시간과 노력이 걸립니다, 그러나 그것은 할 수 있습니다. 환자와 당신은 일을 얻을 것이다. 도움을위한 Look/ask
(주)AWS 문서, 웹사이트스택 오버플로, 그리고 일반
ERDDAP™지원 옵션) if/when 당신이 붙어 있는 경우에.\]
- S3 버킷의 파일 디렉토리 구조 및 파일 이름을 찾을 수 없습니다.ERDDAP™이 문제를 위한 해결책이 있습니다: EDDTableFromFileNames에는 특별 한 있습니다\\\*fromOn더플라이사용자가 S3 버킷의 내용을 검색 할 수있는 EDDTableFromFileNames 데이터 세트를 만들 수있는 옵션 (파일 다운로드) dataset를 통해"files"옵션. 있습니다.아래 예제·
- ERDDAP™데이터 읽기외부 압축 데이터 파일, 그래서 S3에 파일을 저장하면 괜찮습니다.gz·.gzip·.bz2, .Z, 또는 다른 유형의 외부 압축 데이터 파일, 극적으로 할 수 있습니다 (2개 - 20X) 파일 저장 비용을 삭감하십시오. S3에서 더 작은 파일을 전송하여 저장된 시간 이후, 외부 압축 파일을 사용하기위한 시간이 없습니다.ERDDAP대략 균형 여분 시간 필요ERDDAP™파일 압축. 이 기능을 사용하려면 dataset의 확인해야 합니다.<파일이름Regex> 압축 파일 형식을 허용 (e.g., 추가 (|.gz) regex의 끝에) ·
- 가장 일반적인 경우, 어디 당신은ERDDAP™테스트 / 개발을위한 PC에 설치하고 데이터 세트가 S3 버킷의 개체로 저장되는 바이너리 데이터 파일이있는 경우 데이터 세트를 얻기위한 하나의 접근법ERDDAP™이름:
-
PC에 디렉토리를 작성하여 몇 가지 테스트 데이터 파일을 보유합니다.
-
소스에서 만든 디렉토리에 두 개의 데이터 파일을 다운로드합니다.
-
제품 정보생성데이터셋Xmlchunk를 생성하기 위해datasets.xml두 로컬 데이터 파일에 근거한 dataset를 위해.
-
dataset가 원하는 것과 같이 작동합니다.팟캐스트당신의 지역ERDDAP·
다음 단계는 dataset의 사본을 만듭니다 (S3 버킷에서 데이터를 얻을 것) 대중의ERDDAP·
-
chunk를 복사datasets.xmldataset에 대한datasets.xml대중을 위한ERDDAP™그것은 데이터를 봉사한다.
-
본문 바로가기ERDDAP로컬 하드 드라이브는 임시 파일의 캐시를 잡아. 디렉토리는 많은 디스크 공간을 사용하지 않습니다. (아래 cacheSizeGB를 참조하십시오.) ·
-
dataset의 값 변경<fileDir> tag 그래서 그냥 만든 디렉토리에 포인트 (디렉토리가 비어있더라도) ·
-
더 보기캐시FromUrldataset의 물통 이름과 선택적인 접두사를 지정하는 꼬리표 (i.e., 디렉토리) 특정한Aws S3 URL 형식ERDDAP™견적 요청·
-
한국어<캐시 크기GB>] (#cachefromurl의 경우) dataset의 XML에 태그 (e.g., 10는 대부분의 datasets를 위한 좋은 가치입니다) 이름 *ERDDAP™로컬 캐시의 크기를 제한하기 (i.e., 원격 파일의 모든 캐시하려고하지 마십시오) ·
-
대중에서 작동하는 경우ERDDAP· 첫 번째 시간ERDDAP™dataset를 적재하기 때문에, 그것은 적재하는 장시간을 가지고 갈 것입니다,ERDDAP™모든 데이터 파일을 다운로드하고 읽을 필요가 있습니다.
-
dataset가 거대한 Gridded 데이터 파일의 거대한 컬렉션 인 경우, 이것은 매우 오랜 시간이 걸릴 것입니다. 몇몇 경우에, gridded 자료 파일을 위해,ERDDAP™필요한 정보를 추출할 수 있습니다. (e.g., 그리드 데이터 파일의 데이터의 시간 지점) 파일 이름에서이 문제를 피합니다. 이름 *집회 파일 이름·
- 옵션으로 (특히 EDDTableFromFiles 데이터셋) , 당신은 추가할 수 있습니다뚱 베어dataset에 태그를 붙입니다.ERDDAP데이터에 대한 사용자의 요청에 응답 할 때 1 이상의 스레드를 사용 합니다. 이 때 발생하는 지연의 효과를 최소화ERDDAP™data 파일 읽기 (원격 제어) AWS S3 버킷은 로컬 캐시와 (아마) 그들을 압축.
AWS S3 오픈 데이터
현재 위치NOAA이름 *Big Data 프로그램·NOAAAWS를 포함한 다섯 개의 조직과 파트너십을 맺고, "더 많은 배포를 필요로하지 않고 데이터를 직접 컴퓨팅 할 수 있도록 클라우드의 주요 관측 및 모델 출력의 저장 사본의 잠재적 이점을 탐구하기 위해". AWS는 datasets를 포함합니다 그것에서 얻NOAA프로그램의 일부로 큰 컬렉션에 대한 공공 액세스 제공AWS S3에 데이터 열기어떤 컴퓨터에서 Amazon compute 인스턴스인지 (임대된 컴퓨터) AWS 네트워크 또는 어떤 네트워크에서 자신의 PC에. 아래 예제는 공개적으로 접근 가능한 데이터 세트와 함께 작업하고 있습니다.
AWS S3 버킷의 액세스 파일
개인 S3 데이터 버킷의 소유자는 버킷에 액세스해야합니다. (AWS 문서 보기)
모든 경우 AWS SDK가 필요하므로 AWS 계정이 필요합니다.Java (이름 *ERDDAP™버킷의 내용에 대한 정보를 검색) AWS 계정 자격 증명을 요구합니다. (더 많은)
ERDDAP™AWS S3 Buckets만 접근할 수 있습니다.<캐시FromUrl>] (#cachefromurl의 경우) (주)<fileDir>) 특정 형식으로:
https://bucketName.s3.aws-region.amazonaws.com/prefix/
이름 *
- BucketName은 버킷 이름의 짧은 형태입니다, 예를 들어 noaaa-goes17 .
- aws-region, e.g., us-east-1, 테이블 중 하나에있는 "Region"열에서AWS 서비스 종료점버킷이 실제로 있습니다.
- 접두사는 선택 사항입니다. 현재, 그것은 끝해야'/'·
예를 들어, https://noaa-goes17.s3.us-east-1.amazonaws.com/ABI-L1b-RadC/
이 URL 형식은 AWS S3 권고 중 하나입니다.버킷 접근이름 *접두사의이 설명·ERDDAP™버킷 URL과 옵션 접두사를 지정하려면 하나의 URL로 결합해야 합니다.<cacheFromUrl> (또는<fileDir>) 파일이 있습니다.
공중 AWS S3 물통을 시험하십시오
공개 버킷의 경우 브라우저의 AWS S3 디렉토리의 버킷 URL을 테스트하고, 예를 들어, https://noaa-goes17.s3.us-east-1.amazonaws.com 버킷 URL이 정확하고 적합하다면ERDDAP, XML 문서를 반환합니다. (이름 *) 그 버킷의 내용 목록. 불행히도, 전체 URL (i.e., 버킷 URL 플러스 접두사) 이름 *ERDDAP™주어진 dataset를 원하면 브라우저에서 작동하지 않습니다. AWS는 브라우저에서 쉽게 버킷의 계층을 검색 할 수있는 시스템을 제공하지 않습니다. (부정확한 경우, Chris에게 이메일을 보내십시오. noaaa.gov에서 존. 그렇지 않으면, 아마존,이에 대한 지원을 추가하십시오!)
버킷의 내용보기
S3 버킷은 종종 파일의 두 가지 범주를 포함, 가짜 하위 디렉토리의 몇, 이는 몇 가지가 될 수ERDDAP™데이터셋. 으로ERDDAP™datasets, 시작 디렉토리를 알아야 합니다.<cacheFromUrl> (또는<fileDir>) 및 파일의 하위 설정 식별 파일 이름의 형식. 브라우저의 버킷 전체 내용을 보려면 S3가 먼저 1000 파일을 보여 주면 충분합니다. 현재 버킷의 모든 내용을 볼 수있는 가장 좋은 방법은 버킷을 만드는 것입니다.EDDTable파일이름데이터셋 (PC에서ERDDAP™그리고/또는 당신의 공중에ERDDAP) , 디렉토리 구조를 검색하고 파일을 다운로드 할 수있는 쉬운 방법을 제공합니다. 더 보기<fileDir> 위의 URL이 될 것입니다, 예, https://noaa-goes17.s3.us-east-1.amazonaws.com ·\[왜 AWS S3가 AWS 계정없이이 작업을 할 수있는 빠르고 쉬운 방법을 제공합니까?\]나는 비 아마존 네트워크에 내 PC에 이것을 할 때, 아마존은 속임수에 대한 응답을 느리게 나타납니다 (약 100 (·) chunk 당 파일) 첫 번째 몇 척 후 (chunk 당 1000의 파일) 다운로드 버킷이 많은 파일이 있을 수 있기 때문에 (noaaa-goes17 은 26 백만) , 버킷의 모든 내용을 얻을 수 있습니다 EDDTableFromFileNames 몇 시간 (예, 12!) 끝으로.\[아마존은 맞습니까?!\]
EDDTable 만들기 FromFileNames AWS S3 버킷과 데이터 세트
만약 당신이 물통 이름이 있는 경우, 하지만 이미 S3 버킷의 파일 목록 또는 버킷의 관련 파일의 위치를 식별, EDDTableFromFileNames 데이터 세트를 만들기 위해 아래의 지침을 사용 하 여 S3 버킷의 디렉토리 계층을 검색할 수 있습니다ERDDAP이름 *"files"시스템.
- AWS 계정 열기 ERDDAP™사용 방법AWS SDK를 위한JavaAWS에서 버킷 정보를 얻기 위해, 그래서 당신은 필요AWS 계정 생성 및 활성화· 그것은 꽤 큰 일, 학습에 많은 것들.
- AWS Credentials를 넣어ERDDAP™찾을 수 있습니다. 자주 묻는 질문AWS Credentials 및 개발 지역 설정·ERDDAP™ (특히 AWS SDKJava) AWS 자격 증명을 찾을 수 있습니다. 이름 *ERDDAP™자격 증명을 찾을 수 없습니다. 다운로드 IllegalArgumentException: 프로파일 파일은 null 오류가 없습니다.ERDDAP's log.txt 파일.
Linux 및 Mac OS 용 Hint : 자격 증명 파일은 Tomcat을 실행하는 사용자의 홈 디렉토리에 있어야합니다. (이름 *ERDDAP) (이 단락을 위해, 우리는 user=tomcat을 가정할 것입니다) ~/.aws/credentials라는 파일에서. /home/tomcat -- 실제로 cd ~ 운영 체제가 ~ user=tomcat을 생각하는 곳을 찾을 수 있음을 가정하지 마십시오. 존재하지 않는 경우 디렉토리를 만듭니다. 또한, 파일에 대한 credentials 파일을 넣어 한 후, 파일에 대한 사용자 및 그룹이 tomcat이고, chmod 400 credentials를 사용하여 파일이 user=tomcat에 대한 읽기 전용인지 확인합니다.
- 버킷 URL 만들기파일 형식ERDDAP™견적 요청, 예를들면 https://noaa-goes17.s3.us-east-1.amazonaws.com · (대중적인 물통) 브라우저에서 테스트하여 그 버킷의 내용을 나열한 XML 문서를 반환합니다.
- 제품 정보생성데이터셋Xml더 보기EDDTable파일이름데이터 세트:
-
시작 디렉토리에 대 한, 이 구문을 사용: \\이름 * 에서OnTheFly, 당신의BucketUrl 예를 들어, \\*\*fromOn더플라이, https://noaa-goes17.s3.us-east-1.amazonaws.com/
-
파일 이름 regex? ·
-
반복? 한국어
-
관련 제품 모든 분? 10080년
-
기관?NOAA
-
요 약? 이름 * (ERDDAP™decent Summary를 자동으로 생성합니다.)
-
이름 * 이름 * (ERDDAP™decent title을 자동으로 생성합니다.) 평소처럼, 당신은 정확한 확인하기 위해 XML을 편집하고 데이터 세트의 펑크 전에 개선을해야합니다datasets.xml·
-
- 위의 지시를 따르고 dataset을로드하면ERDDAP, 당신은 EDDTableFromFiles 데이터셋을 만들었습니다. 예를 들어, AWS Open Data Buckets에서 파일을 검색하고 다운로드하기 위해 누구나 쉽게 만들려면 EDDTableFromFileNames datasets를 만들었습니다 (목록을 참조)
https://upwell.pfeg.noaa.gov/erddap/search/index.html?searchFor=awsS3Files\_ ) 거의 모든AWS S3는 자료 물통을 엽니다·
\[우리가 포함하지 않은 몇 개의 버킷에는 루트 디렉토리에 많은 파일이 있습니다. (합리적인 시간에 다운로드 할 수 있습니다) , 또는 공공 액세스 허용하지 않습니다 (그들은 모두 공개되어야합니까?) , 또는 Requester 급여 물통입니다 (예, Sentinel) ·\]
클릭하시면"files"이 데이터셋 중 하나에 대한 링크는 S3 버킷의 디렉토리 트리 및 파일을 검색할 수 있습니다. 방법 때문에\\\*fromOnTheFly EDDTableFromFiles 작품, 이 디렉토리 목록은 항상 완벽하게 최신이기 때문에ERDDAP™을 얻 그 에 a-fly. 디렉토리 트리를 실제 파일 이름로 클릭하고 파일 이름을 클릭합니다.ERDDAP™AWS에서 파일을 직접 다운로드 할 수 있도록 AWS S3에 요청을 리디렉션합니다. 그런 파일을 검사 할 수 있습니다.
트러블? EDDTableFromFiles가 로드되지 않을 경우ERDDAP™ (또는 DasDds) , 오류 메시지에 대 한 log.txt 파일을 찾습니다. 당신이 볼 경우 다운로드 IllegalArgumentException: 프로필 파일은 null 오류가 될 수 없습니다, 문제는 AWS SDK가Java (에 의해ERDDAP) credentials 파일을 찾을 수 없습니다. 위의 자격 지침을 참조하십시오.
AWS가 단순히 브라우저를 사용하여 공용 버킷의 내용을 볼 수 있도록 허용하지 않는 것은 불행하지 않습니다.
그런 다음ERDDAP™사용자가 파일에 액세스하는 데이터 세트.
자주 묻는 질문ERDDAP™S3 버킷 (이름 *) ·
위에 만든 샘플 EDDTableFromFileNames dataset의 경우, 디렉토리 트리의 디렉토리 및 파일 이름과 함께 작은 포킹을 수행하면 최상위 디렉토리 이름이 명확하게됩니다. (예, ABI-L1b-RadC) 관련 기사ERDDAP™별도의 데이터셋을 호출합니다. 당신이 일하는 물통은 유사할지도 모릅니다. 별도의 데이터 세트를 만들 수 있습니다.ERDDAP™그 datasets의 각각을 위해, 예를 들면,
https://noaa-goes17.s3.us-east-1.amazonaws.com/ABI-L1b-RadC/
으로<cacheFromUrl>. 불행히도, 이 특정한 예를 위해, 물통에 있는 자료 세트는 1개 수준 2 datasets이기 위하여 봅니다,ERDDAP™ 특히 좋지 않습니다.dataset가 다른 크기를 사용하는 변수의 더 복잡한 컬렉션이기 때문에.
NcML 파일
NcML 파일을 지정할 수 있습니다.NetCDF (v3 또는 v4) .nc, .grib, .bufr 또는.hdf (v4 또는 v5) 파일, 그리고 그 후에 있다ERDDAP™치료하기.nc소스 파일로 ml 파일.ERDDAP™datasets는 받아들입니다.ncml 파일.nc파일이 예상됩니다. NcML 파일은 확장.ncml입니다. 이름 *UnidataNcML 문서· NcML은 당신이 그것을 가진 몇몇 일을 할 수 있기 때문에 유용합니다 (예를 들어, 수집에 다른 파일에 다른 변경을 만들고, 파일에 특정 값으로 크기를 추가) , 당신은 할 수 없습니다ERDDAP이름 *datasets.xml·
- 변경 사항.ncml 파일의 lastModified 시간은 dataset가 재로드 될 때마다 재로드 될 파일이 발생하지만, underlying으로 변경됩니다..nc데이터 파일은 직접 통지되지 않습니다.
- 힌트: NcML는 입니다\*이름 *\*NcML 파일의 일부 항목의 순서에 민감한. NcML의 생각으로 지정된 순서의 일련의 지시를 지정하고, 소스 파일을 변경하는 의도 (NcML 파일의 시작/위에 상태) 대상 파일로 (NcML 파일의 끝/바닥에 국가) ·
NcML의 대안은NetCDF회사 소개 (NCO) · 큰 차이는 NcML이 변화하는 것을 위한 체계입니다 (그래서 소스 파일은 변경되지 않습니다) , 어디NCO변경할 수 있습니다. (또는 새 버전의) 파일. 둘 다NCONcML은 매우 유연하고 파일을 생각할 수있는 거의 모든 변화를 만들 수 있습니다. 둘 다를 위해, 그것은 당신이해야 하는 무슨을 정확하게 파악하는 것을 도전할 수 있습니다 -- 유사한 예를 위한 웹을 검사하십시오. 둘 다 netCDF를 준비하는 유용한 도구입니다.HDF파일 사용ERDDAP, notably, 무엇을 넘어 변화ERDDAP조작 시스템은 할 수 있습니다.
예제 #1: 단일 값으로 시간 치수 추가 현재 위치.nc새로운 외부 차원을 창조하는 ml 파일 (시간, 1 값 : 1041379200) 그리고 A2003001.L3m\_DAY\_PIC\_pic\_4km라는 파일에서 사진 변수에 그 크기를 추가합니다..nc::
<netcdf xmlns='https://www.unidata.ucar.edu/namespaces/netcdf/ncml-2.2'>
<variable name='time' type='int' shape='time' />
<aggregation dimName='time' type='joinNew'>
<variableAgg name='pic'/>
<netcdf location='A2003001.L3m\\_DAY\\_PIC\\_pic\\_4km.nc' coordValue='1041379200'/>
</aggregation>
</netcdf>
예제 #2: 기존 시간 값 변경 자주 묻는 질문.nc파일이 이미 시간과 시간의 값을 가지고 있지만, 값은 잘못 (당신의 목적) · 이름 *.ncml 파일 말한다: ""19810825230030-NCEI라는 데이터 파일에 대 한...", 차원 변수에 대 한"time", 단위 속성은 1970-01-01T00:00:00Z 이후 '둘째로 설정하고 367588800로 시간 값을 설정합니다.
<netcdf xmlns='https://www.unidata.ucar.edu/namespaces/netcdf/ncml-2.2'
location="19810825230030-NCEI-L3C\\_GHRSST-SSTskin-AVHRR\\_Pathfinder-PFV5.3\\_NOAA07\\_G\\_1981237\\_day-v02.0-fv01.0.nc">
<variable name="time">
<attribute name='units' value='seconds since 1970-01-01T00:00:00Z' />
<values>367588800</values>
</variable>
</netcdf>
NetCDF회사 소개 (NCO)
"NETCDF 운영자 (NCO) netCDF를 가지고 있는 명령행 프로그램\[v3 또는 v4\]·HDF \[v4 또는 v5\]·\[.grib의 .bufr,\]및/또는DAP입력으로 파일, 다음 작동 (e.g., 새로운 자료, compute 통계, 인쇄, 하이퍼스랩, metadata 조작) 그리고 텍스트, 바이너리 또는 netCDF 형식으로 화면 또는 파일에 결과를 출력합니다.NCOgridded 과학적인 자료의 aids 분석. 포탄 결합 작풍의NCO사용자가 상호 작용하는 파일을 조작하고 분석 할 수 있습니다. 또는 고급 프로그래밍 환경의 일부 오버 헤드를 피하는 표현 스크립트가 있습니다. (이름 *NCO홈페이지) ·
자주 묻는 질문NCO이름 *사이트맵· 큰 차이는 NcML이 변화하는 것을 위한 체계입니다 (그래서 소스 파일은 변경되지 않습니다) , 어디NCO변경할 수 있습니다. (또는 새 버전의) 파일. 둘 다NCONcML은 매우 유연하고 파일을 생각할 수있는 거의 모든 변화를 만들 수 있습니다. 둘 다를 위해, 그것은 당신이해야 하는 무슨을 정확하게 파악하는 것을 도전할 수 있습니다 -- 유사한 예를 위한 웹을 검사하십시오. 둘 다 netCDF를 준비하는 유용한 도구입니다.HDF파일 사용ERDDAP, notably, 무엇을 넘어 변화ERDDAP조작 시스템은 할 수 있습니다.
예를 들어, 사용할 수 있습니다.NCO의 단위를 만들려면 일정한 원래 일관되게되지 않은 파일 그룹에 일관성있는. 또는, 당신은 사용할 수 있습니다NCO지원하다scale\_factor이름 *add\_offset파일 그룹에서scale\_factor이름 *add\_offset다른 소스 파일에 다른 값이 있다. (또는, 당신은 지금 그 문제를 처리 할 수 있습니다ERDDAP™이름 *EDDGrid보낸 사람NcFilesUnpacked, 이는 변종의EDDGridfromNcFiles에서 포장된 데이터를 풀고 값이 낮은 수준으로 표준화하여 다른 컬렉션 파일을 처리할 수 있습니다.scale\_factors와add\_offset, 또는 다른 시간 단위.)
NCO무료 및 오픈 소스 소프트웨어입니다.GPL 3.0 이상이름 *
예제 #1: 단위 일관성 만들기
EDDGrid파일 및 EDDTable 파일에서 주어진 변수에 대한 단위는 모든 파일에서 동일합니다. 몇몇의 파일이 trivially인 경우에 (기능적으로) 다른 사람 (예, 시간 단위)
1970-01-01 00:00:00 UTC 이후의 두 번째
"seconds since 1970-01-01T00:00:00Z", 당신은 사용할 수 있었습니다NCO이름 *뚱 베어. 모든 파일에서 단위를 변경하는 것은 동일합니다
nco/ncatted - 단위, 시간, o, c의 1970-01-01T00:00:00Z' \*부터 두번째.nc
\[EDDTable에서 같은 많은 문제를 위해... 파일 datasets, 당신은 지금 사용할 수 있습니다표준화 이름 *이름 *ERDDAP소스 파일을 표준화하기 위해ERDDAP·\]
Dataset의 크기에 제한
당신은 아래에 "2 억"에 많은 참조를 볼 수 있습니다. 더 정확하게, 그것은 2,147,483,647에 참고입니다 (2^31-1) 32 비트의 최대 값은 정수를 서명했습니다. 일부 컴퓨터 언어에서 예를 들어Java (이름 *ERDDAP™에 게시 됨) , 그것은 많은 자료 구조를 위해 사용될 수 있는 가장 큰 자료 유형입니다 (예를 들어, 배열의 크기) ·
문자열 값 (예를 들어, 변수 이름, 속성 이름, 문자열 속성 값 및 문자열 데이터 값) , 문자열 당 문자의 최대 수ERDDAP™~2억원 그러나 거의 모든 경우에, 문자열이 합리적인 크기를 초과하면 작거나 큰 문제가있을 것입니다. (e.g., 80자 변수 이름과 속성 이름, 그리고 대부분의 문자열 속성 값과 데이터 값에 대한 255자) · 예를 들어, 긴 변수 이름을 표시하는 웹 페이지는 awkwardly 넓고 긴 변수 이름은 응답 파일 유형의 한계를 초과하면 truncated 것입니다.
gridded datasets를 위해:
- 최대 수axisVariables는 2 억입니다. 최대 수dataVariables는 2 억입니다. 그러나 dataset에는 >100 변수가 있는 경우, 사용자가 사용할 수 있는 커다란 것입니다. 그리고 dataset가 >1 백만개의 변수가 있는 경우, 서버는 많은 물리적 메모리를 필요로 하고 다른 문제가 있을 것입니다.
- 각 차원의 최대 크기 (axisVariable) ~2 억 값입니다.
- 나는 세포의 최대 총 수 생각 (모든 차원 크기의 제품) 무제한이지만 ~9e18일 수 있습니다.
tabular datasets를 위해:
- 최대 수dataVariables는 2 억입니다. 그러나 dataset에는 >100 변수가 있는 경우, 사용자가 사용할 수 있는 커다란 것입니다. 그리고 dataset가 >1 백만개의 변수가 있는 경우, 서버는 많은 물리적 메모리를 필요로 하고 다른 문제가 있을 것입니다.
- 소스의 최대 수 (예를 들어, 파일) 집계는 2 억입니다.
- 일부 경우에, 개인 소스에서 행의 최대 수 (예를 들어, 파일이지만 데이터베이스가 아닙니다.) ~2 억 줄입니다.
- 다른 제한이 없습니다.
Gridded와 tabular datasets 둘 다를 위해, 단 하나 요구에 의해 요구될 수 있는 subset의 크기에 몇몇 내부 한계가 있습니다 (자주 관련 >2 억의 뭔가 또는 ~9e18 뭔가) , 그러나 사용자가 파일 유형 별 한계를 명중 할 가능성이 훨씬 더 있습니다.
- NetCDF버전 3.nc파일은 2GB 바이트로 제한됩니다. (누군가에게 문제가 있다면, 나를 알고: 나는 지원을 추가 할 수 있었다NetCDF버전 3.nc64 비트 확장 또는NetCDF버전 4, 이는 한계를 크게 늘리고 있지만 무한하지 않을 것입니다.)
- 브라우저는 데이터의 단지
500MB 후 충돌, 그래서ERDDAP™응답 제한.htmlTable400MB의 데이터 요청. - 많은 데이터 분석 프로그램이 비슷한 한계가 있습니다. (예를 들어, 차원의 최대 크기는 종종 ~2 억 값입니다.) , 그래서 file-type-specific limits 주변을 얻기 위해 열심히 일하는 이유가 없습니다.
- file-type-specific limits는 진정한 엄청난 양의 데이터를 막는 데 유용하다. (예를 들어, 데이터셋이 데이터셋이 20TB의 데이터셋이 있을 때 "이 dataset의 모든 것") 몇 주 또는 달을 다운로드 할 것입니다. 더 긴 다운로드, 더 가능성이 그것은 다양한 이유로 실패합니다.
- file-type-specific limits는 사용자가 합리적인 크기의 서브셋을 처리하는 데 유용합니다. (예를 들 어, 한 번에 한 번에 데이터로 파일을 통해 큰 Gridded dataset 처리) ·
ACDD-1.3로 전환
제품정보 (뚱 베어생성데이터셋Xml) 현재 추천ACDD 버전 1.32015년 초에 쥐가고 있는 , 글로벌 컨벤션 속성에서 "ACDD-1.3"라고 불립니다. 이름 *ERDDAP™버전 1.62 (2015년 6월 출시) ·ERDDAP™중고/추천 원본, 버전 1.0,NetCDFDataset Discovery에 대한 Attribute 협약"라고 함UnidataDataset Discovery v1.0" 글로벌 컨벤션 및Metadata\_Conventions이름 *
ACDD의 데이터셋이 이전 버전인 경우, ACDD-1.3으로 전환하는 것이 좋습니다. 그것은 어렵지 않습니다. ACDD-1.3은 버전 1.0과 매우 뒤로 호환됩니다. 모든 datasets를 위한 스위치에 (이름 *EDDGridInErddap 및 EDDTable 사용 FromErddap 데이터셋) ::
- 새로 발굴된 글로벌 제거Metadata\_Conventions으로 add (또는 기존의 변경Metadata\_Conventions이름 *)
<att name="Metadata\\_Conventions">null</att>
데이터셋의 글로벌<addAttributes>. 2. dataset이 글로벌에 있는 Conventions 속성이 있는 경우<addAttributes>, 모든 변경 "UnidataDataset Discovery v1.0"에 참조 "ACDD-1.3". dataset가 글로벌에 있는 Conventions 속성이 없는 경우<addAttributes>, 다음 ACDD-1.3을 나타내는 것을 추가하십시오. 예를 들어,
<att name="Conventions">COARDS, CF-1.6, ACDD-1.3</att>
3. dataset이 글로벌 경우standard\_name\_vocabulary속성, 값의 형식을 변경하시기 바랍니다, 예를 들어,
<att name="standard\\_name\\_vocabulary">CF Standard Name Table v65</att>
참고가 이전 버전의 경우CF 표준 이름 테이블· 그것은 아마도 현재 버전으로 전환하는 좋은 아이디어입니다. (65, 우리가 이것을 쓰고) , 새로운 표준 이름은 그 테이블에 그 이후 버전 추가되었지만, 오래된 표준 이름은 거의 deprecated 결코 제거되지 않습니다. 4. ACDD-1.0은 글로벌 속성을 포함하지만creator\_name·creator\_email·creator\_url·생성데이터셋Xml몇 시간 전에 자동으로 추가하지 않았다ERDDAP™v1.50입니다. 이것은 중요한 정보입니다:
- creator\_name사용자가 dataset의 제작자를 알 수 있습니다.
- creator\_email사용자가 dataset에 대한 질문이있는 경우 dataset의 제작자에게 연락하는 선호 이메일 주소를 알려줍니다.
- creator\_url사용자가 제작자에 대해 더 많은 것을 찾을 수있는 방법을 제공합니다.
- ERDDAP™FGDC 및 ISO 19115-2/19139 메타데이터 문서를 생성 할 때이 정보를 모두 사용합니다. 이 문서는 외부 검색 서비스에 의해 자주 사용됩니다.
dataset의 글로벌에 이러한 속성을 추가하십시오.<addAttributes>.
<att name="creator\\_name">NOAA NMFS SWFSC ERD</att>
<att name="creator\\_email">erd.data@noaa.gov</att>
<att name="creator\\_url">https://www.pfeg.noaa.gov</att>
그게 다. 나는 너무 열심히하지 않았다.
로드 중 ...
버전 2.25로ERDDAP™읽을 수 있습니다 Zarr 파일 사용EDDTableFromNcFiles는이름 *EDDGrid파일 형식·
(2019년 8월 현재) 우리는 쉽게 잘못 될 수 있지만, 우리는 아직 확신하지로드 중 ..., 또는 더 작은 펑크로 데이터 파일을 깰 유사한 시스템은 문제의 큰 솔루션입니다ERDDAP™Amazon AWS S3와 같은 클라우드 서비스에 저장된 데이터를 읽으십시오. Zarr은 다양한 상황에서의 유용성을 보여준 훌륭한 기술입니다.ERDDAP+S3는 그 상황 중 하나입니다. Zarr의 모든 데이터를 저장하기 위해 노력하기 전에, 실제로 더 나은 솔루션인지 볼 수있는 몇 가지 테스트를 수행 할 수 있습니다.
구름에 접근 데이터와 문제는 대기 (lag to first get data – 품질 협력 업체 중국에서) 파일 수준 접근 (block-level 보다는 오히려 접근) · Zarr은 파일 수준의 액세스 문제를 해결하지만 지연에 대해 아무것도하지 않습니다. 파일 다운로드 비교 (그래서 블록 레벨 액세스와 로컬 파일로 읽을 수 있습니다.) , Zarr은 Zarr과 같은 지연 문제를 exacerbate 할 수있다, 파일을 읽고 지금 여러 통화의 시리즈를 포함 파일의 다른 부분을 읽을 수 (각자의 lag) · 지연 문제는 요청을 병렬화하여 해결 될 수 있지만 Zarr에 따라 더 높은 수준의 솔루션입니다.
그리고 Zarr (관련 데이터베이스) , 우리는 데이터 파일이 간단한, 쉽게 무결성을 확인 할 수있는 단일 파일, 또는 make/download a copy of.
ERDDAP™ (v2의) URL 소스에서 파일의 로컬 캐시를 유지하기위한 시스템 (예, S3) (필수)<cacheFromUrl>와<캐시최대GB>] (#cachefromurl의 경우) ). 그리고 새로운 [<₢ 킹 (한국어) 높은 수준의 데이터 검색을 병렬화하여 대기시간 문제를 최소화해야 합니다.<cacheFromUrl>는 많은 시나리오에 대해 매우 잘 작동합니다. (우리는 얼마나 유익한지 모르겠습니다.<nThreads>는 더 시험 없이 입니다.) 우리는 좋은 네트워크 연결을 가진 AWS 인스턴스에 타이밍 테스트를 수행하지 않았지만, 우리는 파일의 다양한 원격 URL 소스로 성공적으로 테스트했습니다. 이름 *ERDDAP이름 *<cacheFromUrl> 모든 유형의 데이터 파일과 함께 작동합니다. (₢ 킹.nc·.hdf, .csv의.jsonlCSV) 외부 압축 경우에도 (₢ 킹.gz) , 파일의 변경 없이 (e.g., Zarr 컬렉션으로 다시 작성) ·
그것은 다른 시나리오가 다른 솔루션을 호의 할 가능성이, 예를 들어, 한 번 파일의 일부를 읽을 필요가 (Zarr 승리) , 대. 한 번 모든 파일을 읽을 필요가, 대. 반복된 파일의 일부 또는 모든 부분을 읽을 필요가 (<cacheFromUrl>가 승리합니다.
Zarr의 모든 데이터를 저장하기 위해 노력하기 전에, 실제로 더 나은 솔루션인지 볼 수있는 몇 가지 테스트를 수행 할 수 있습니다.
Types Datasets의 목록
필요한 경우 적절한 dataset 유형 선택, 참조Dataset 유형 선택·
datasets의 유형은 2개의 종류로 떨어졌습니다. (왜?)
EDDGrid
- EDDGrid datasets 핸들 gridded 자료.
- 내 계정EDDGriddatasets, 데이터 변수는 데이터의 다차원 배열입니다.
- 각 치수의 축 변수가 있습니다. Axis variables MUST는 데이터 변수가 그(것)들을 사용한다는 순서로 지정됩니다.
- 내 계정EDDGriddatasets, 모든 데이터 변수 MUST 사용 (공유하기) 모든 축 변수. (왜? 그렇지 않으면?)
- 분류된 차원 가치 - 모든 것EDDGriddatasets, 각 차원 MUST는 분류한 순서에서 일 것입니다 (ascending 또는 후손) · 각각은 불규칙하게 간격을 붙일 수 있습니다. 아무 것도 없습니다. 이것은의 필요조건입니다CF 메타데이터 표준· 어떤 차원의 값이 정렬되지 않은 경우, dataset는 로드되지 않고ERDDAP™로그 파일에 첫 번째 취소 된 값을 식별합니다. 큰Parent감독 /logs/log.txt 파일 형식
몇 가지 하위 클래스에는 추가 제한이 있습니다 (notably,EDDGridAggregateExistingDimension은 외부 (왼쪽, 첫 번째) 차원이 간결되어야합니다.
Unsorted 치수 값은 거의 항상 소스 데이터 세트와 문제를 나타냅니다. 가장 일반적으로 잘못되거나 부적절한 파일이 집계에 포함될 때 발생합니다. 이 문제를 해결하려면 오류 메시지를 참조하십시오.ERDDAP™log.txt 파일이 종료된 시간값을 찾을 수 있습니다. 그런 다음 해당 파일을 찾을 소스 파일에서 (또는 그 후에 1) 그것은 집계에 속하지 않습니다.
- 더 완전한 설명보기EDDGrid데이터 모델·
- 더 보기EDDGriddataset 유형은:
- EDDGrid파일 형식로컬 오디오 파일 그룹에서 데이터를 수집합니다.
- EDDGrid사이트맵데이터 처리DAP서버.
- EDDGridInEDDTable에서지정된 dataset을 gridded dataset로 변환합니다.
- EDDGrid언어: en원격에서 Gridded 데이터를 처리ERDDAP·
- EDDGrid서포토내장 ETOPO 토피 데이터를 처리합니다.
- EDDGrid파일 형식모두의 수퍼 클래스EDDGrid...Files 클래스에서.
- EDDGrid파일 형식지역 MergeIR 그룹에서 데이터 수집.gz파일.
- EDDGrid파일 형식로컬 그룹에서 데이터를 집계NetCDF (v3 또는 v4) .nc관련 파일.
- EDDGrid보낸 사람NcFilesUnpacked변종은EDDGridfromNcFiles는 로컬 그룹에서 데이터를 집계합니다.NetCDF (v3 또는 v4) .nc관련 파일,ERDDAP™낮은 수준에서 포장.
- EDDGrid론PM180아이의 경도값을 수정EDDGrid그들은 범위 -180에서 180이다.
- EDDGrid론0360아이의 경도값을 수정EDDGrid그들은 범위 0에서 360입니다.
- EDDGrid사이드 바이트2개 이상의 집계EDDGrid측에 의하여 datasets 측.
- EDDGridAggregateExisting디멘션2개 이상의 집계EDDGriddatasets는, 첫번째 차원을 위한 다른 가치의 있는 각, 그러나 다른 차원을 위한 동일한 가치.
- EDDGrid이름 *다른 지역 복사본을 만들 수 있습니다.EDDGrid's data and serves data from the local copy. 이 데이터는 다음과 같습니다.
- 모든 것EDDGriddatasets는 nThreads 설정을 지원한다.ERDDAP™요청에 응답 할 때 사용하는 많은 스레드가 얼마나. 이름 *뚱 베어자주 묻는 질문
연락처
- 연락처 datasets 손잡이 tabular 자료.
- 탭 데이터는 행과 열을 가진 데이터베이스와 같은 테이블으로 표현할 수 있습니다. 각 란 (a data 변수) name, 속성 세트, 저장 단지 하나의 유형의 데이터. 각 행에는 관측이 있습니다. (또는 관련 값의 그룹) · 데이터 소스는 다른 데이터 구조, 더 복잡한 데이터 구조 및/또는 여러 데이터 파일에 데이터를 가질 수 있지만ERDDAP™소스 데이터를 데이터베이스와 같은 테이블에 평평하게 할 수 있어야합니다.ERDDAP·
- 더 완전한 설명보기EDDTable 자료 모형·
- EDDTable dataset 유형은:
-
EDDTable모든 데이터 세트다른 모든 데이터셋에 대한 정보가 있는 고급 데이터셋입니다.ERDDAP·
-
EDDTableAsciiFiles에서comma-, tab-, semicolon-, 또는 space-separated tabular ASCII 데이터 파일에서 데이터를 수집합니다.
-
EDDTableAscii서비스모든 EDDTableFromAsciiService... 클래스의 수퍼 클래스입니다.
-
연락처일부의 데이터 처리NOAANOS 웹 서비스.
-
EDDTable오디오파일로컬 오디오 파일 그룹에서 데이터를 수집합니다.
-
EDDTable에서 AwsXml파일자동 기상역 세트에서 데이터 수집 (사이트맵) XML 파일.
-
EDDTableCassandra에서하나의 Cassandra 테이블에서 탭 데이터를 처리합니다.
-
EDDTableColumnarAsciiFiles에서고정폭 데이터 열을 가진 tabular ASCII 데이터 파일에서 데이터를 수집합니다.
-
연락처탭 데이터 처리DAP순서 서버.
-
EDDTable데이터베이스하나의 데이터베이스 테이블에서 탭 데이터를 처리합니다.
-
EDDTable에서EDDGridEDDTable dataset을 만들 수 있습니다.EDDGrid데이터셋.
-
EDDTableErddap에서원격에서 탭 데이터를 처리ERDDAP·
-
EDDTable파일이름서버의 파일 시스템의 파일 그룹에 대한 정보에서 데이터셋을 생성하지만 파일 내에서 데이터를 제공하지 않습니다.
-
EDDTable파일모든 EDDTableFrom...Files 클래스의 수퍼 클래스입니다.
-
다운로드이름 *ERDDAP데이터 가져 오기 및 데이터 내보내기를위한 유일한 시스템.
-
EDDTable에서Hyrax파일 형식 (관련 상품) 여러 변수와 함께 파일에서 데이터를 수집합니다.Hyrax OPeNDAP계정 관리·
-
EDDTableInvalidCRAFiles에서데이터 수집NetCDF (v3 또는 v4) .nc특정, 잘못된, CF DSG Contiguous Ragged Array의 변형을 사용하는 파일 (사이트맵) 파일. 그러나ERDDAP™이 파일 형식을 지원, 그것은 잘못된 파일 유형은 아무도 사용 시작해야. 이 파일 형식을 사용하는 그룹은 강력하게 사용하도록 권장합니다.ERDDAP™유효한 CF DSG CRA 파일을 생성하고 이 파일을 사용하여 중지합니다.
-
EDDTableMultidimNcFiles에서데이터 수집NetCDF (v3 또는 v4) .nc몇 가지 변수를 가진 파일 공유 차원.
-
EDDTableFromNcFiles는데이터 수집NetCDF (v3 또는 v4) .nc몇 가지 변수를 가진 파일 공유 차원. 기존 데이터셋을 위한 이 데이터셋 유형을 계속 사용하는 것이 좋습니다. 하지만 새로운 데이터셋을 위해 대신 EDDTableFromMultidimNcFiles를 사용하는 것이 좋습니다.
-
EDDTableNcCFFiles에서데이터 수집NetCDF (v3 또는 v4) .nc지정된 파일 형식 중 하나를 사용하는 파일사이트맵 분리된 표본 추출 Geometries (사이트맵) 대회. 그러나 다차원 CF DSG 변형 중 하나를 사용하여 파일에 대한 사용EDDTableMultidimNcFiles에서대신.
-
EDDTableNccsvFiles에서데이터 수집사이트맵ASCII .csv 파일.
-
연락처 (관련 상품) NOS XML 서버에서 탭 데이터를 처리합니다.
-
EDDTable온도OBIS 서버에서 탭 데이터를 처리합니다.
-
EDDTableFromParquet파일데이터 처리스낵 바·
-
EDDTable에서SOS탭 데이터 처리SOS서버.
-
EDDTableFromThredds파일 (관련 상품) 여러 변수와 함께 파일에서 데이터를 수집합니다.사이트맵OPeNDAP계정 관리·
-
EDDTable에서WFS파일 형식 (관련 상품) 모든 데이터의 로컬 복사본을 만듭니다.ArcGISMapServer로 이동WFS서버 그래서 자료는 그 후에 빨리 보존될 수 있습니다ERDDAP™사용자.
-
연락처EDDTable datasets의 그룹에서 EDDTable dataset를 만들 수 있습니다.
-
EDDTable코피EDDTable datasets의 많은 유형의 국부적으로 사본을 만들고 그 후에 국부적으로 사본에서 자료를 빨리 보존할 수 있습니다.
-
Dataset 유형의 상세한 설명
EDDGrid사이트맵
EDDGrid사이트맵 핸들 그리드 변수에서DAP서버.
- 우리는 강하게 추천합니다Generate데이터셋 Xml 프로그램거친 초안을 만들기 위해datasets.xml이 dataset에 대한 펑크. 해당 정보를 수집하거나 자신의 XML을 만들 필요가 있습니다.EDDGridFromDap dataset 를 클릭하여 소스 데이터셋의 DDS 및 DAS 파일을 브라우저에서 찾으세요 (.das 및 .dds를 추가하여sourceUrl, 예를 들면, https://thredds1.pfeg.noaa.gov/thredds/dodsC/satellite/BA/ssta/5day.dds ) ·
- EDDGridFromDap은 모든 다차원 변수에서 데이터를 얻을 수 있습니다.DAP데이터 서버. (이전,EDDGridfromDap은 "grid"로 지정된 변수에 제한되었지만 더 이상 요구 사항은 없습니다.)
- 분류된 차원 가치 - 각 차원의 값은 정렬된 순서에 있습니다. (ascending 또는 후손) · 값은 불규칙하게 공간화 될 수 있습니다. 아무 것도 없습니다. 이것은의 필요조건입니다CF 메타데이터 표준· 어떤 차원의 값이 정렬되지 않은 경우, dataset는 로드되지 않고ERDDAP™로그 파일에 첫 번째 취소 된 값을 식별합니다. 큰Parent감독 /logs/log.txt 파일 형식
Unsorted 치수 값은 거의 항상 소스 데이터 세트와 문 제를 나타냅니다. 가장 일반적으로 잘못되거나 부적절한 파일이 집계에 포함될 때 발생합니다. 이 문제를 해결하려면 오류 메시지를 참조하십시오.ERDDAP™log.txt 파일이 종료된 시간값을 찾을 수 있습니다. 그런 다음 해당 파일을 찾을 소스 파일에서 (또는 그 후에 1) 그것은 집계에 속하지 않습니다.
EDDGrid스낵 바 사이트맵
<dataset type="EDDGridFromDap" datasetID\="..." active\="..." >
<sourceUrl>...</sourceUrl>
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1.
For EDDGridFromDap, this gets the remote .dds and then gets the new
leftmost (first) dimension values. -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<addAttributes>...</addAttributes> <!-- 0 or 1 -->
<axisVariable>...</axisVariable> <!-- 1 or more -->
<dataVariable>...</dataVariable> <!-- 1 or more -->
</dataset>
EDDGridInEDDTable에서
EDDGridInEDDTable에서 EDDTable tabular dataset을 변환 할 수 있습니다.EDDGridGridded 데이터 세트. 그 외ERDDAP™datasets를 어느것으로 대우하십시오데이터 세트 (서브클래스EDDGrid) 또는 tabular datasets (EDDTable의 종류) ·
- 정상적으로, 당신은 gridded 자료가 있는 경우에, 당신은 다만 설치합니다EDDGriddataset 직접. 예를 들어, 관계 데이터베이스에 저장된 데이터가 있는 경우ERDDAP™EDDTableFromDatabase를 통해서만 접근할 수 있습니다.EDDGridFromEDDTable 클래스는 그 상황을 치료 할 수 있습니 다.
- 분명히, 밑에 EDDTable dataset에 있는 자료는이어야 합니다 (기본으로) Gridded data, 하지만 탭 형태로. 예를 들어, EDDTable dataset에는 CTD 데이터가 있을 수 있습니다. 동방향 및 북방향 전류의 측정은 여러 깊이에서 여러 번 측정합니다. 깊이가 각 시점과 동일하므로EDDGridFromEDDTable은 한 번에 그리드 데이터 세트를 만들 수 있으며, 아래 EDDTable dataset을 통해 데이터를 액세스 할 수있는 깊이 치수.
- Generate데이터셋 사이트맵 우리는 강하게 추천합니다Generate데이터셋 Xml 프로그램거친 초안을 만들기 위해datasets.xml이 dataset에 대한 펑크. 거친 초안을 개선해야 할 정보를 수집 할 수 있습니다.
- 소스 특성 -- datasets의 다른 유형으로,EDDGridFromTable은 Global sourceAttributes가 있는 아이디어와주요사업addAttributes (설정하기datasets.xml) 글로벌 결합을 만들기 위해 결합 된 , Attributes, 어떤 사용자가 볼 수 있습니다. 글로벌 소스Attributes의 경우,EDDGridFromEDDTable은 글로벌 결합을 사용합니다. EDDTable dataset의 특성 (1 분 동안 생각한다면, 그것은 감각을 만든다.)
마찬가지로, 각각axisVariable이름과dataVariable이름 *addAttributes·EDDGridFromEDDTable은 변수의 결합을 사용합니다. Underlying EDDTable dataset의 특성EDDGridfromEDDTable 변수의 sourceAttributes. (1 분 동안 생각한다면, 그것은 감각을 만든다.)
결과적으로 EDDTable이 좋은 메타 데이터가있는 경우EDDGridFromEDDTable 종종 약간의 필요addAttributesmetadata -- 여기에 몇 가지 tweaks.
-
dataVariable사이트맵axisVariable사이트맵 아래 EDDTable은 오직dataVariable₢ 킹 이름 *EDDGridFromEDDTable dataset에는 몇몇이 있을 것입니다axisVariable₢ 킹 (EDDTable의 몇몇에서 창조하는dataVariable₢ 킹) 그리고 몇dataVariable₢ 킹 (남아있는 EDDTable에서 창조하는dataVariable₢ 킹) ·생성데이터셋XmlEDDTable 으로 추측 할 것dataVariables는EDDGridInEDDTable에서axisVariables, 하지만 그것은 단지 추측. GenerateDatasetsXml의 출력을 수정해야 합니다.dataVariables는axisVariables, 그리고 어떤 순서에서.
-
축밸류 -- EDDTable에 대해 아무것도 없다EDDGridfromEDDTable의 가능한 값axisVariabledataset의 gridded 버전에 있는 s는, 그래서 당신은 각을 위한 그 정보를 제공합니다axisVariable이 속성 중 하나를 통해:
- AxisValues -- 값을 지정할 수 있습니다. 예를 들어, <att name="axisValues"(영어)유형 = 더블 목록\>2, 2.5, 3, 3.5, 4</에트> 주의사항데이터 유형더 많은 언어 또한, 목록의 유형 (예를 들면, 두 배) , MUST는 자료 일치합니다 EDDTable에서 변수의 종류와EDDGridfromEDDTable 데이터셋.
- AxisValuesStartStrideStop -- 시작, stride 및 스톱값을 지정하여 정기적으로 우주 값을 지정할 수 있도록 합니다. 다음은 AxisValues 예제와 같습니다. <att name="axisValuesStartStrideStop" 의 확장 파일유형 = 더블 목록\>2, 0.5, 4</에트> 다시, 목록 데이터 유형의 사용. 또한, 목록의 유형 (예를 들면, 두 배) , MUST는 자료 일치합니다 EDDTable에서 변수의 종류와EDDGridfromEDDTable 데이터셋.
업데이트 -- 그냥 아무 길도 없다EDDGridInEDDTable에서 EDDTable의 AxisValues를 처음에 결정하는 것은 또한 믿을 수 있는 방법이 없습니다EDDGridAxisValues가 변경되었을 때 EDDTable에서 결정할 수 있습니다. (notably, 시간 변수에 대한 새로운 값이있을 때) · 현재 유 일한 솔루션은 AxisValues 속성을 변경하는 것입니다.datasets.xmldataset를 다시로드합니다. 예를 들어, 스크립트를 작성할 수 있습니다.
- 제품정보datasets.xml제품정보 datasetID· 데이터셋ID · 그래서 당신은 정확한 dataset로 일하고 있습니다.
- 제품정보datasets.xml다음의 발생에 대한
다운로드
그래서 당신은 올바른 변수와 작업. - 제품정보datasets.xml다음의 발생에 대한
<att name="axisValuesStartStrideStop" type="doubleList">
그래서 당신은 태그의 시작 위치를 알고. 4. 제품정보datasets.xml다음의 발생에 대한
</att>
그래서 당신은 축선 가치의 끝 위치를 알고 있습니다. 5. 이전 시작을 대체, stride, 새로운 값으로 값을 중지. 6. 연락처플래그 URLdataset에 대해ERDDAP™dataset를 다시로드합니다.
이것은 이상하지 않지만 작동합니다.
- 정밀 -- 시간 :EDDGridfromEDDTable은 데이터에 대한 사용자 요청에 응답합니다. EDDTable 응답 테이블에서 EDDTable 응답 테이블의 행을 이동EDDGrid응답 격자. 이렇게하려면 테이블의 주어진 행에 "축"값이 그리드의 축 값의 일부 조합과 일치하면 알아야합니다. integer 데이터 유형의 경우 두 값이 동일하게 결정하기 쉽습니다. 그러나 부유물과 두 배를 위해, 이것은 부유물 점 수의 끔찍한 문제를 가져옵니다정확히 일치하지 않음· (예를 들면, 0.2 versus 0.19999999996) · 으로 (뚱 베어) 거래 이,EDDGridFromTable 은밀한 속성을 지정합니다.axisVariables, 동일한 숫자의 총 수를 지정합니다.
- 예를 들어,<att name="precision" type="int">5</에트>
- 다른 유형의 데이터 변수를 위해 다른 기본 정밀도 값이 있습니다. 기본값은 보통 적절합니다. 그렇지 않으면 다른 값을 지정해야합니다.
- 제품 정보axisVariables는시간 또는 시간 Stamp 변수, 기본값은 전체 정밀도입니다 (정확한 일치) ·
- 제품 정보axisVariablefloats는, 기본 정밀도는 5.입니다.
- 제품 정보axisVariable두 배는, 기본 정밀도입니다 9.
- 제품 정보axisVariableinteger 데이터 유형이 있는 s,EDDGridfromEDDTable은 정밀 특성을 무시하고 항상 전체 정밀도를 사용합니다. (정확한 일치) ·
- 여행 정보 탭 데이터의 펑크 변환을 할 때 그리드 데이터의 펑크로,EDDGridfromEDDTable은 예상 중 하나에 EDDTable "축"값과 일치 할 수 없습니다EDDGridFromEDDTable 축선 가치,EDDGridinEDDTable 조용히 (오류 없음) 테이블의 행에서 데이터를 던져. 예를 들어, 다른 데이터가 있을 수 있습니다. (격자에) EDDTable dataset에서. (그리고 만약 stride > 1, 그것은 명백하지 않습니다EDDGrid축 값이 원하는 값이며, 하나는 stride 때문에 건너 뛸 수 있습니다.) 그래서, 정밀도 값이 너무 높으면, 사용자는 유효 데이터 값이 실제로 존재할 때 데이터 응답에 누락 된 값을 볼 수 있습니다.
Conversely, 정밀도 값이 너무 낮은 경우, EDDTable "축"값은 일치하지 않아EDDGridFromEDDTable 축선 가치는 (맹렬하게) 이름 *
이 잠재적 인 문제는 사용자가 잘못된 데이터를 얻는 것이기 때문입니다. (또는 누락된 값) 적절한 데이터를 얻을 때 (또는 적어도 오류 메시지) · 이것은 결함이 없습니다.EDDGrid사용 방법EDDGridFromTable는 이 문제를 해결할 수 없습니다. 문제는 격자 된 데이터로 tabular data의 변환에 필수적입니다. (다른 가정이 만들 수 없다면, 여기에 할 수 없습니다.) · 당신까지,ERDDAP™관리자, 시험하기EDDGridinEDDTable 완전히 정밀도 값이 이러한 잠재적 인 문제를 방지하기 위해 설정되도록합니다.
뚱 베어
- 뚱 베어-- 이것은 dataset의 아주 특이한 유형입니다. 할 수있는 쿼리의 유형부터 (에 의해 처리) 이름 *EDDGrid데이터셋 (범위와 strides와 관련된axisVariable₢ 킹) 할 수있는 쿼리의 종류에서 매우 다릅니다. (에 의해 처리) EDDTable 데이터셋 (일부 변수의 범위와 관련) , 성과의EDDGridfromEDDTable datasets는 정확한 요청에 따라 크게 다를 것입니다. stride 값이 있는 요청 > 1개,EDDGridfromEDDTable은 데이터의 상대적으로 큰 펑크를 위해 EDDTable을 요구할 수 있습니다 (stride=1인 경우) 그리고 그 결과 sift는, 몇몇 줄에서 자료를 지키고 다른 사람에서 자료를 던지고. 데이터가 필요하기 때문에 많은 데이터를 통해 sift를 갖는 경우, 요청은 더 오래 걸릴 것입니다.
이름 *EDDGridFromEDDTable에는 큰 간격이 있다는 것을 말할 수 있습니다 (원치 않는 자료의 행으로) 원하는 데이터를 가진 행 사이,EDDGridFromEDDTable는 큰 간격에 있는 자료의 쓸모 없는 줄을 건너서 1개의 큰 요구 대신에 결심한 EDDTable에 몇몇 subrequests를 만들기 위하여 선택할지도 모릅니다. 이 결정에 대한 감도는 gapThreshold 값에 의해 지정됩니다<gapThreshold> 태그 (default=1000 소스 데이터의 행) · gapThreshold를 작은 숫자로 설정하면 dataset 만들기 (제품 정보) 더 많은 잠수함. gapThreshold를 더 큰 숫자로 설정하면 dataset 만들기 (제품 정보) 몇몇 subrequests.
gapThreshold가 너무 작으면EDDGridfromEDDTable은 여러 요청의 오버 헤드가 초과 된 데이터를 얻기 위해 저장된 시간보다 더 낫기 때문에 더 천천히 작동합니다. gapThreshold가 너무 커지면,EDDGridfromEDDTable은 너무 많은 과잉 데이터가 EDDTable에서 재생되기 때문에 더 천천히 작동합니다. (발견 된 Goldilocks로, 중간은 "조절 권리"입니다.) EDDTable datasets의 다른 유형을 위한 머리 위는 크게 변화합니다, 그래서 당신의 dataset를 위한 실제적인 제일 조정을 아는 유일한 방법은 실험을 통해 입니다. 그러나 당신은 너무 멀리 잘못이 기본값으로 찔렀다.
간단한 예는: 상상해EDDGridFromTable 와 단 하나axisVariable (100000의 크기로 시간,) ·dataVariable (제품 정보) , 그리고 1000의 기본 gapThreshold.
- 사용자 요청 온도\[0💯5000\], stride는 100입니다 그래서 간격 크기는 gapThreshold 보다는 더 적은인 99입니다. 이름 *EDDGridFromTable은 요청에 필요한 모든 데이터에 대해 EDDTable에 하나의 요청을 만들 것입니다 (온도에 동등\[0:5000 원\]) 그리고 필요한 데이터의 모든 행을 던져.
- 사용자 요청 온도\[0:2500:5000의\], 그 stride 2500 그래서 격차 크기는 2499, 이는 gapThreshold보다 더 큰. 이름 *EDDGridfromTable은 온도와 동등한 EDDTable에 분리된 요청을 할 것입니다\[0 댓글\], 온도\[명세\], 온도\[5000 원\]·
갭 크기의 계산은 여러 축이있을 때 더 복잡합니다.
각 사용자 요구에 대 한,EDDGridfromEDDTable prints 이와 관련된 진단 메시지로그.txt파일.
- 이름 <로그레벨> (#로그레블) 내 계정datasets.xml은 정보로 설정, 이 같은 메시지를 인쇄 \ nOuterAxes=1 의 4 nOuterRequests=22 nOuterAxes=0, gapThreshold가 초과되지 않았을 경우, 하나의 요청만 EDDTable으로 만들 수 있습니다. nOuterAxes>0, gapThreshold가 초과되고 nOuterRequests는 왼쪽 nOuterAxes의 각 요청한 조합과 일치하는 EDDTable에, 할 것입니다. 예를 들어, dataset이 4인 경우axisVariables와dataVariables 같은 동상\[시간 :\]\[이름 *\]\[경도\]\[(주)\], 가장 왼쪽 (1 년 전) Axis 변수는 시간입니다.
- 이름 *<로그레벨> 내 계정datasets.xml모든 것을 설정하고, 추가 정보는 log.txt 파일로 작성됩니다.
EDDGrid사용 약관 사이트맵
<dataset type="EDDGridFromEDDTable" datasetID\="..." active\="..." >
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<accessibleViaWMS>...</accessibleViaWMS> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1.
For EDDGridFromEDDTable, this only works if the underlying EDDTable
supports updateEveryNMillis. -->
<gapThreshold>...</gapThreshold> <!-- 0 or 1. The default is 1000. >
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<addAttributes>...</addAttributes> <!-- 0 or 1 -->
<axisVariable>...</axisVariable> <!-- 1 or more -->
<dataVariable>...</dataVariable> <!-- 1 or more -->
<dataset>...</dataset> <!-- The underlying source EDDTable dataset. -->
</dataset>
EDD*에서ERDDAP
EDDGrid언어: en 원격에서 Gridded 데이터를 처리ERDDAP™서버. EDDTableErddap에서 원격에서 탭 데이터를 처리ERDDAP™서버.
- EDDGridFromErddap 및 EDDTableFromErddap은 다른 모든 데이터 세트에서 다르게 행동합니다.ERDDAP·
- datasets의 다른 유형 같이, 이 datasets는 근원에서 dataset에 관하여 정보를 얻고 기억에서 그것을 지킵니다.
- datasets의 다른 유형 같 이, 때ERDDAP™datasets 검색, Data Access Form 표시 ( datasetID 사이트맵) , 또는 표시는 도표 모양을 만듭니다 ( datasetID ·) ·ERDDAP™메모리에 있는 dataset에 대한 정보를 사용합니다.
- EDDGridInErddap 및 EDDTable 사용 fromErddap은 기초입니다.그리드 / 클러스터 / 페더레이션이름 *ERDDAPCPU 사용량을 효율적으로 배포하는 s (주로 맵 만들기) , 메모리 사용, dataset 저장 및 대용량 데이터 센터의 대역폭 사용.
지원하다
- datasets의 다른 유형과는 달리, 때ERDDAP™이 datasets에서 데이터 또는 이미지에 대한 요청을받습니다.ERDDAP 관련 기사리모트에 요구ERDDAP™서버. 결과는:
- 이것은 아주 능률적입니다 (CPU, 메모리 및 대역폭) , 그렇지 않으면
- 합성ERDDAP™다른 사람에게 요청을 보낼 수 있습니다.ERDDAP™ (시간 제한) ·
- 기타ERDDAP™데이터를 얻기 위해, reformat it, and send the data to the CompositeERDDAP·
- 합성ERDDAP™데이터 수신 (대역폭 사용) , reformat 그것 (CPU 및 메모리 사용) , 사용자가 데이터를 전송 (대역폭 사용) · 요청을 리디렉션하고 다른 것을 허용ERDDAP™사용자에 직접 응답을 보내기 위해, 합성ERDDAP™CPU 시간, 메모리, 또는 요청에 대역폭을 사용하지 않습니다.
- 리디렉션은 클라이언트 소프트웨어에 상관없이 사용자에게 투명합니다. (브라우저 또는 다른 소프트웨어 또는 명령 줄 도구) ·
- 이것은 아주 능률적입니다 (CPU, 메모리 및 대역폭) , 그렇지 않으면
- 당신은 말할 수 있습니다ERDDAP™설정하여 사용자 요청을 리디렉션하지 마십시오.<리디렉션>false</redirect>, 그러나이는 ...FromErddap dataset 유형의 장점의 대부분을 negates (뿐만 아니라, 정면 끝에 짐을 분산ERDDAP™원격 / 백업ERDDAP) ·
이름 *
일반적으로, 때EDDGridInErddap 및 EDDTable 사용 보낸 사람Erddap (이름 *) 당신의 의견ERDDAP, 그들은 원격 데이터셋에 가입을 추가하려고ERDDAP이메일/URL 구독 시스템 즉, 먼 dataset가 변화할 때마다, 리모트ERDDAP™연락처설정Dataset 플래그 URL내 계정ERDDAP™로컬 데이터 세트는 ASAP를 다시로드하고 로컬 데이터 세트가 항상 완벽하게 최신이며 원격 데이터 세트를 mimics합니다. 그래서, 첫 번째 시간이 발생, 당신은 당신이 구독을 검증하는 이메일 요청을 받아야. 그러나, 로컬 경우ERDDAP™이메일을 보낼 수 없습니다 또는 원격 경우ERDDAP's email/URL 구독 시스템은 활성화되지 않습니다, 당신은 원격 이메일을 보내야ERDDAP™관리자 및 요청 s/he 수동 추가 [<onChange>에 대하여 (#오름) ·</onChange> 태그는 모든 관련 데이터셋을 호출하기 위해설정Dataset 플래그 URL· 더 보기ERDDAP™setDataset 목록의 일일 보고서 플래그 URL, 하지만 그냥 하나를 보낼EDDGridfromErddap 및 EDDTableFromErddap 데이터셋을 원격으로ERDDAP™관리자.
이것은 작동하지 않습니까? 원격 데이터셋과 동기화하지 않는 로컬 데이터셋은? 데 이터셋이 최신 상태로 유지되도록 이 시스템을 올바르게 작동해야 합니다. 순서에 이러한 것들을 각각 확인:
- 내 계정ERDDAP™이메일을 보낼 수 있어야합니다. setup.xml의 이메일 설정을 참조하십시오.
- 일반 정보 (그러나 항상) , 당신의ERDDAP이름 *<baseUrl>와<baseHttpsUrl>must 포트 번호가 없습니다 (예) : 8080, : 8443) · 그들이 하는 경우, 사용프록시Url에서 포트를 제거하기 위해.
- 설정에서.xml,<JoinToRemoteErddapDataset>는 true로 설정되어야 합니다.
- 현지 EDD가 될 때 ... FromErddap dataset는 다시로드되어, 리모트에 요청을 보내야 합니다.ERDDAP™원격 데이터셋에 가입하십시오. 이 일이 일어나는지 확인하려면 log.txt 를 참조하십시오.
- 구독 요청을 확인하려면 이메일이 있어야 합니다.
- 구독 요청을 확인하려면 해당 이메일의 링크를 클릭하십시오.
- 원격 제어ERDDAP™유효성 검사가 성공했다는 것을 말해야합니다. 언제든지 원격으로 이메일을 요청할 수 있습니다.ERDDAP™대출 및 유효한 구독 목록. 자주 묻는 질문 리모트ErddapBase 뚱 베어 /erddap/subscriptions/list.html .
- 먼 dataset가 변화할 때 (e.g., 추가 데이터를 가져옵니다) , 먼ERDDAP™flagURL에 문의하려면ERDDAP· 당신은 이것을 검사할 수 없습니다, 그러나 당신은 원격의 관리자에게 요구할 수 있습니다ERDDAP™확인하기
- 내 계정ERDDAP™flagURL을 설정할 요청을 받아야 합니다. "setDatasetFlag.txt"에 대한 log.txt에서 보기 (₢ 킹) 요청과 관련된 오류 메시지가 있는지 확인하십시오.
- 내 계정ERDDAP™그런 다음 dataset를 다시로드하려고 (아마 즉시,하지만 ASAP) ·
최대 최신 (시간 :) ·
EDDGrid/TableFromErddap datasets는 소스 데이터셋이 될 때 각 소스 데이터셋에 대한 저장된 정보를 변경합니다."부속"그리고 metadata의 몇몇 조각 변화 (e.g., 시간 변수의actual\_range) , 구독 알림 생성. 소스 데이터셋이 자주 변경되는 데이터가 있는 경우 (예를 들면, 새로운 자료 매 초) 그리고 사용"업데이트"아래 데이터로 빈번한 변경을 통지하는 시스템,EDDGrid/TableFromErddap은 다음 dataset "reload"까지 이러한 빈번한 변경 사항에 대해 통보하지 않습니다.EDDGrid/TableFromErddap은 완벽하게 업데이트되지 않습니다. 이 문제를 최소화하여 소스 데이터셋의 변경<reloadEveryNMinutes> 더 작은 값 (60? 15?) 더 많은 구독 알림이 있음을 알려드립니다.EDDGrid/TableFromErddap 소스 데이터셋에 대한 정보를 업데이트합니다.
또는 데이터 관리 시스템이 소스 데이터셋이 새로운 데이터가 있는지 알고 있다면 (e.g., 데이터 파일을 배치하는 스크립트를 통해) , 그리고 그것이 슈퍼 빈번하지 않는 경우 (e.g., 매 5 분, 또는 덜 자주) , 더 나은 해결책이 있습니다:
- 이용안내<source dataset up-to-date를 유지하기 위해 모든NMillis>를 업데이트합니다.
- 소스 dataset의 설정<reloadEveryNMinutes> 더 큰 수에 (1440년?) ·
- 스크립트는 소스 dataset의 접촉플래그 URL새 데이터 파일을 배치 한 후 오른쪽.
그것은 소스 데이터셋 이 완벽하게 최신 상태로 이어지고 구독 알림을 생성하는 원인이 될 것입니다.EDDGrid/TableFromErddap 데이터 세트. 그대는EDDGrid/TableFromErddap dataset은 완벽하게 업데이트됩니다. (잘, 추가되는 새로운 자료의 5 초 안에) · 그리고 모든 것이 효율적으로 수행됩니다. (불필요한 dataset reloads 없이) ·
이름 *addAttributes·axisVariable, 또는dataVariable
다른 유형의 데이터 세트와 달리, EDDTableFromErddap 및EDDGridFromErddap datasets는 세계를 허용하지 않습니다<addAttributes>·<axisVariable> 또는<dataVariable> 섹션에서datasets.xml그 dataset를 위해. 문제는 그 사람들이 주장에 이끌 수 있다는 것입니다:
- 허용되고 새로운 글로벌 속성을 추가했습니다.
- 사용자 요청시ERDDAP™글로벌 속성의 경우, 새로운 속성이 나타납니다.
- 그러나 사용자가 요청할 때ERDDAP™데이터 파일에 대한, 당신의ERDDAP™소스에 요청을 리디렉션ERDDAP· 이름 *ERDDAP™새로운 속성의 인식입니다. 그래서 metadata, e.g., a와 데이터 파일을 만들면.nc파일, metadata는 새로운 속성이 없습니다.
2개의 일 주위가 있습니다:
- Convince 소스의 관리자ERDDAP™메타데이터를 원하는 변경을 할 수 있습니다.
- 대신 EDDTableFromErddap, 사용연락처· 또는 대신EDDGridFromErddap, 사용EDDGrid사이트맵· 이러한 EDD 유형은 원격에서 dataset에 효율적으로 연결할 수 있습니 다.ERDDAP™ (하지만 데이터 요청을 리디렉션하지 않고) 그리고 그들은 세계를 포함 하 여<addAttributes>·<axisVariable> 또는<dataVariable> 섹션에서datasets.xml· 다른 차이점 : 원격 데이터셋에 수동으로 가입해야하므로 데이터셋이 됩니다.ERDDAP™공지 사항 (을 통해플래그 URL) 먼 dataset에 변화가 있을 때. 따라서, 당신은 원격 데이터셋에 연결 대신 새로운 데이터셋을 만들 것입니다.
다른 노트
- 보안상의 이유로,EDDGridfromErddap 및 EDDTable 사용 FromErddap는 지원하지 않습니다 [<접속하다>] (#액세스) 태그 및 원격 데이터 세트와 함께 사용할 수 없습니다 (사용하기 때문에 [<접속하다>] (#액세스) ).. 이름 *ERDDAP이름 *보안 시스템일부 데이터셋에 대한 액세스를 제한하는 경우.
- 시작하기ERDDAP™v2.10,EDDGridfromErddap 및 EDDTableFromErddap 지원 [<액세스ViaFiles> (#액세서리) 태그. datasets의 다른 유형과는 달리, 기본값은 true이지만, dataset의 파일은 source dataset도 가지고 있는 경우에만 accessViaFiles일 것입니다<accessViaFiles> true로 설정합니다.
- 당신은 사용할 수 있습니다Generate데이터셋 Xml 프로그램으로datasets.xml이 유형의 dataset에 대한 chunk. 그러나 당신은 손으로 쉽게 데이터 세트의 이러한 유형을 할 수 있습니다.
EDDGrid인더 스트리 사이트맵
- EDDGrid인더스트리 XML dataset는 매우 간단합니다, intent가 이미 사용에 적합 한 원격 데이터 세트를 mimic하기 때문에ERDDAP::
<dataset type="EDDGridFromErddap" datasetID\="..." active\="..." >
<sourceUrl>...</sourceUrl>
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<accessibleViaFiles>...</accessibleViaFiles> <!-- 0 or 1, default=true. -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<updateEveryNMillis>...</updateEveryNMillis> <!-- 0 or 1
For EDDGridFromErddap, this gets the remote .dds and then gets
the new leftmost (first) dimension values. -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<nThreads>...</nThreads> <!-- 0 or 1 -->
<dimensionValuesInMemory>...</dimensionValuesInMemory> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<redirect>true(default)|false</redirect> <!-- 0 or 1; -->
</dataset>
EDDTableErddap 스켈레톤 사이트맵
- EDDTableFromErddap dataset에 대한 skeleton XML은 매우 간단합니다. intent는 원격 데이터 세트를 mimic로 마이그레이션하기 때문에 이미 사용에 적합ERDDAP::
<dataset type="EDDTableFromErddap" datasetID\="..." active\="..." >
<sourceUrl>...</sourceUrl>
<accessibleTo>...</accessibleTo> <!-- 0 or 1 -->
<graphsAccessibleTo>auto|public</graphsAccessibleTo> <!-- 0 or 1 -->
<reloadEveryNMinutes>...</reloadEveryNMinutes> <!-- 0 or 1 -->
<defaultDataQuery>...</defaultDataQuery> <!-- 0 or 1 -->
<defaultGraphQuery>...</defaultGraphQuery> <!-- 0 or 1 -->
<addVariablesWhere>...</addVariablesWhere> <!-- 0 or 1 -->
<fgdcFile>...</fgdcFile> <!-- 0 or 1 -->
<iso19115File>...</iso19115File> <!-- 0 or 1 -->
<onChange>...</onChange> <!-- 0 or more -->
<redirect>true(default)|false</redirect> <!-- 0 or 1; -->
</dataset>
EDDGrid서포토
EDDGrid서포토 그냥 봉사ETOPO1 글로벌 1 분 그리드 Elevation 데이터 세트 (얼음 표면, 그리드 등록, 바이너리, 2 바이트 int : etopo1\_ice\_g\_i2.zip) 는ERDDAP·
- 만 2datasetIDs는 지원됩니다EDDGridFromEtopo는 경도값 -180에서 180까지의 데이터에 액세스할 수 있으므로 경도값 또는 경도값 0에서 360으로 접속할 수 있습니다.
- 데이터가 이미 설명되어 있기 때문에 어떤 하위 태그가 없습니다.ERDDAP·
- 그래서 두 가지 옵션EDDGridFromEtopo 데이터셋은 (한국어) ::
<!-- etopo180 serves the data from longitude -180 to 180 -->
<dataset type="EDDGridFromEtopo" datasetID="etopo180" />
<!-- etopo360 serves the data from longitude 0 to 360 -->
<dataset type="EDDGridFromEtopo" datasetID="etopo360" />
EDDGrid파일 형식
EDDGrid파일 형식 모두의 수퍼 클래스EDDGrid...Files 클래스에서. 사용할 수 없습니다.EDDGrid파일에서 직접. 대신, subclass를 사용EDDGridfromFiles에서 특정 파일 유형을 처리하십시오:
- EDDGrid파일 형식gridded에서 데이터 처리지원하다.gz파일.
- EDDGrid파일 형식로컬 오디오 파일 그룹에서 데이터를 수집합니다.
- EDDGrid파일 형식gridded에서 데이터 처리사이트맵파일,HDF (v4 또는 v5) .hdf파일,.nc단백질파일 및NetCDF (v3 또는 v4) .nc파일. 이것은 다른 파일 유형과 함께 작동 할 수 있습니다. (예를 들어, BUFR) , 우리는 다만 그것을 시험하지 않았습니다 -- 당신이 흥미있는 경우에 저희에게 몇몇 표본 파일을 보내십시오.
- EDDGrid보낸 사람NcFilesUnpacked의 변형EDDGridGridded에서 데이터를 처리하는 FromNcFilesNetCDF (v3 또는 v4) .nc관련 파일,ERDDAP™낮은 수준에서 포장.
현재 다른 파일 형식이 지원되지 않습니다. 하지만 그것은 일반적으로 상대적으로 쉽게 다른 파일 유형에 대한 지원을 추가. 자주 묻는 질문 또는 데이터가 오래된 파일 형식의 경우, 우리는 파일을 변환하는 것이 좋습니다.NetCDFv3의.nc파일.NetCDF널리 지원, 바이너리 형식, 데이터에 빠른 임의 액세스를 허용, 이미 지원ERDDAP·
파일 상세 정보
다음 정보는 모든 하위 클래스에 적용됩니다.EDDGrid파일에서.