데이터 커넥터

Driverless AI는 외부 데이터 소스 액세스를 위해 다양한 데이터 커넥터를 제공합니다. 기본적으로 다음 데이터 연결 유형이 활성화됩니다.

  • upload: 표준 업로드 기능

  • file: 로컬 파일 시스템/서버 파일 시스템

  • hdfs: Hadoop 파일 시스템, HDFS 구성 폴더 경로 및 Key tab을 구성해야 함을 잊지 마십시오

  • s3: Amazon S3, 선택적인 비밀 및 액세스 키 구성

  • recipe_file: 사용자 정의 레시피 파일 업로드

  • recipe_url: URL을 통한 사용자 정의 레시피 업로드

또한 enabled_file_systems 구성 옵션(Native 설치) 또는 환경 변수(Docker 이미지 설치)의 수정을 통해 다음 연결 유형의 활성화가 가능합니다.

  • dtap: Blue Data Tap 파일 시스템, DTap 섹션을 구성하는 것을 기억하십시오

  • gcs: Google Cloud Storage, gcs_path_to_service_account_json 을 구성하는 것을 기억하십시오

  • gbq: Google Big Query, gcs_path_to_service_account_json 을 구성하는 것을 기억하십시오

  • hive: Hive 커넥터, Hive를 구성하는 것을 기억하십시오

  • minio: Minio Cloud Storage, secret and access key 를 구성을 기억하십시오

  • snow: Snowflake Data Warehouse, Snowflake 자격 증명을 구성하는 것을 기억하십시오

  • kdb: KDB+ Time Series 데이터베이스, KDB 자격 증명을 구성하는 것을 기억하십시오

  • azrbs: Azure Blob Storage, Azure 자격 증명을 구성하는 것을 기억하십시오

  • jdbc: JDBC Connector, JDBC를 구성하는 것을 기억하십시오

이러한 데이터 소스는 파일 시스템의 형태로 노출되며 각각의 파일 시스템에는 고유한 접두사가 붙습니다. 예:

  • S3 데이터 참조는 s3:// 를 사용하십시오.

  • HDFS 데이터 참조는 접두사 hdfs:// 를 사용하십시오.

  • Azure Blob Store 데이터 참조는 https://<storage_name>.blob.core.windows.net. 을 사용하십시오

  • BlueData Datatap 데이터 참조는 dtap:// 를 사용하십시오.

  • Google BigQuery 데이터 참조는 Google BigQuery 데이터 세트 및 쿼리할 테이블을 알아야 합니다. 표준 SQL 쿼리를 사용하여 데이터를 수집하십시오.

  • Google Cloud Storage 데이터 참조는 gs:// 를 사용하십시오.

  • kdb+ 데이터 참조는 호스트 이름 및 포트 http://<kdb_server>:<port> 를 사용하십시오.

  • Minio 데이터 참조는 http://<endpoint_url> 를 사용하십시오.

  • Snowflake 데이터 참조는 표준 SQL 쿼리를 사용하여 데이터를 수집하십시오.

  • JDBC를 통해 SQL 데이터베이스에 액세스하기 위해서는 데이터베이스와 관련된 구문으로 SQL 쿼리를 사용하십시오.

자세한 정보는 다음 섹션을 참조하십시오.