Google Dataflow上Apache Beam示例的权限错误

RHolland 05/25/2017. 2 answers, 230 views
python google-cloud-platform google-cloud-platform google-cloud-dataflow google-cloud-dataflow apache-beam

我在将Apache Beam示例从本地计算机提交到我们的云平台时遇到了问题。

使用gcloud auth list我可以看到正确的帐户当前处于活动状态。 我可以使用gsutil和Web客户端与文件系统进行交互。 我可以使用cloud shell通过python REPL运行管道。

但是当我尝试运行python wordcount示例时,我收到以下错误:

IOError: Could not upload to GCS path gs://my_bucket/tmp: access denied.
Please verify that credentials are valid and that you have write access 
to the specified path. 

关于凭证,我有什么遗漏吗?

3 Comments
Mitch Lillie 05/25/2017
你有一个名为my_bucket的存储桶,它not包含文件夹或文件tmp吗?
RHolland 05/26/2017
my_bucket存在,目录tmp也存在
jldupont 06/30/2017
它可能与授予VM的访问范围有关。 请参阅stackoverflow.com/questions/27275063 / ...

2 Answers


Alex Amato 05/25/2017.

您需要为项目创建GCS存储桶和文件夹,然后将其指定为管道参数,而不是使用默认值。

https://cloud.google.com/storage/docs/creating-buckets

5 comments
RHolland 05/26/2017
存储桶和目录存在。 然后,此存储桶用于--output--temp-location管道参数。 运行wordcount示例时是否还有其他参数?
Alex Amato 05/31/2017
您使用的是对存储区具有权限的项目吗? 它是拥有桶的同一个项目吗?
Alex Amato 05/31/2017
您可以浏览“存储”部分中的GCS文件夹。 选择您正在使用的项目,您应该能够看到项目console.cloud.google.com可见的所有存储桶
RHolland 06/01/2017
我可以看到存储桶,我可以创建和删除目录,我可以将文件上传到存储桶。 这是在我使用gcloud auth list登录到同一用户的同时。
RHolland 06/06/2017
凭证究竟如何运作? $GOOGLE_APPLICATION_CREDENTIALS环境变量是否与它有关或者是否都通过gcloud命令处理?

创建存储桶后解决了相同的错误。
gsutil mb gs:///

Related questions

Hot questions

Language

Popular Tags