%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22pystac-client%22%2C%0A%23%20%20%20%20%20%22rasterio%22%2C%0A%23%20%20%20%20%20%22duckdb%22%2C%0A%23%20%20%20%20%20%22geopandas%22%2C%0A%23%20%20%20%20%20%22zarr%3E%3D3%22%2C%0A%23%20%20%20%20%20%22fsspec%22%2C%0A%23%20%20%20%20%20%22aiohttp%22%2C%0A%23%20%20%20%20%20%22scikit-learn%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Cloud-native%20geospatial%0A%0A%20%20%20%20every%20example%20reads%20only%20the%20few%20MB%20it%20needs%20straight%20from%20a%20cloud%20bucket.%0A%0A%20%20%20%20%7C%20%7C%20Data%20%7C%20Where%20it%20lives%20%7C%20Format%20%7C%20Read%20with%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%201%20%7C%20Sentinel-2%20satellite%20image%20%7C%20AWS%20Open%20Data%2C%20found%20via%20the%20%5BEarth%20Search%5D(https%3A%2F%2Fearth-search.aws.element84.com%2Fv1)%20STAC%20catalog%20%7C%20COG%20(Cloud-Optimized%20GeoTIFF)%20%7C%20%60pystac-client%60%20%2B%20%60rasterio%60%20%7C%0A%20%20%20%20%7C%202%20%7C%20Fields%20of%20the%20World%20field%20boundaries%20%7C%20%5BSource%20Cooperative%5D(https%3A%2F%2Fsource.coop%2Fftw%2Fglobal-data-2e)%20%7C%20GeoParquet%20%7C%20%60duckdb%60%20%7C%0A%20%20%20%20%7C%203%20%7C%20AlphaEarth%20embeddings%20%7C%20%5BSource%20Cooperative%5D(https%3A%2F%2Fsource.coop%2Ftge-labs%2Faef-mosaic)%20%7C%20Zarr%20%7C%20%60zarr%60%20%7C%0A%0A%20%20%20%20**Why%20it's%20easy%3A**%20the%20files%20sit%20in%20public%20buckets%20behind%20plain%20HTTPS%2C%20and%20each%20format%20is%20cut%20into%20tiles%2C%20row%20groups%20or%20chunks%20with%20an%20index%20at%20the%20front%2C%20so%20your%20code%20asks%20for%20byte%20ranges%20(HTTP%20range%20requests)%20and%20pulls%20just%20your%20area%2C%20never%20the%20whole%20file.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20warnings%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20pystac_client%0A%20%20%20%20import%20rasterio%0A%20%20%20%20from%20rasterio.warp%20import%20transform_bounds%0A%20%20%20%20from%20rasterio.windows%20import%20from_bounds%0A%20%20%20%20import%20duckdb%0A%20%20%20%20import%20geopandas%20as%20gpd%0A%20%20%20%20import%20zarr%0A%20%20%20%20from%20sklearn.decomposition%20import%20PCA%0A%0A%20%20%20%20warnings.filterwarnings(%22ignore%22%2C%20module%3D%22pystac%22)%0A%0A%20%20%20%20def%20stretch(img)%3A%0A%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%20np.nanpercentile(img%2C%20%5B2%2C%2098%5D%2C%20axis%3D(0%2C%201))%0A%20%20%20%20%20%20%20%20return%20np.clip((img%20-%20lo)%20%2F%20(hi%20-%20lo)%2C%200%2C%201)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20PCA%2C%0A%20%20%20%20%20%20%20%20duckdb%2C%0A%20%20%20%20%20%20%20%20from_bounds%2C%0A%20%20%20%20%20%20%20%20gpd%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20pystac_client%2C%0A%20%20%20%20%20%20%20%20rasterio%2C%0A%20%20%20%20%20%20%20%20stretch%2C%0A%20%20%20%20%20%20%20%20transform_bounds%2C%0A%20%20%20%20%20%20%20%20zarr%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20A%20satellite%20image%3A%20the%20Sundarbans%20in%20false%20colour%0A%0A%20%20%20%20Ask%20the%20STAC%20catalog%20for%20the%20clearest%20Sentinel-2%20scene%20over%20the%20Sundarbans%20mangroves%20(India%E2%80%93Bangladesh)%2C%20January%E2%80%93March%202025.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pystac_client)%3A%0A%20%20%20%20place%20%3D%20%5B89.08%2C%2021.88%5D%0A%20%20%20%20catalog%20%3D%20pystac_client.Client.open(%22https%3A%2F%2Fearth-search.aws.element84.com%2Fv1%22)%0A%20%20%20%20items%20%3D%20catalog.search(%0A%20%20%20%20%20%20%20%20collections%3D%5B%22sentinel-2-c1-l2a%22%5D%2C%0A%20%20%20%20%20%20%20%20intersects%3D%7B%22type%22%3A%20%22Point%22%2C%20%22coordinates%22%3A%20place%7D%2C%0A%20%20%20%20%20%20%20%20datetime%3D%222025-01-01%2F2025-03-31%22%2C%0A%20%20%20%20%20%20%20%20query%3D%7B%22eo%3Acloud_cover%22%3A%20%7B%22lt%22%3A%205%7D%2C%20%22s2%3Anodata_pixel_percentage%22%3A%20%7B%22lt%22%3A%205%7D%7D%2C%0A%20%20%20%20).item_collection()%0A%20%20%20%20scene%20%3D%20min(items%2C%20key%3Dlambda%20item%3A%20item.properties%5B%22eo%3Acloud_cover%22%5D)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%7Blen(items)%7D%20scenes%20match%3B%20clearest%3A%20%60%7Bscene.id%7D%60%2C%20%22%0A%20%20%20%20%20%20%20%20f%22%7Bscene.datetime%3A%25d%20%25b%20%25Y%7D%2C%20%7Bscene.properties%5B'eo%3Acloud_cover'%5D%3A.3f%7D%20%25%20cloud.%22%0A%20%20%20%20)%0A%20%20%20%20return%20place%2C%20scene%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20False%20colour%20%3D%20near-infrared%2C%20red%2C%20green%20shown%20as%20R%2C%20G%2C%20B%3A%20living%20plants%20reflect%20lots%20of%20near-infrared%2C%20so%20the%20mangroves%20glow%20red.%20Asking%20for%20a%20tenth%20of%20the%20width%20(1%2F100%20of%20the%20pixels)%20makes%20GDAL%20read%20the%20small%20overview%20stored%20inside%20each%20COG%2C%20not%20the%20full-size%20band.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20rasterio%2C%20scene%2C%20stretch)%3A%0A%20%20%20%20def%20read_band(name%2C%20size%3D1098)%3A%0A%20%20%20%20%20%20%20%20with%20rasterio.open(scene.assets%5Bname%5D.href)%20as%20src%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20src.read(1%2C%20out_shape%3D(size%2C%20size)).astype(%22float32%22)%0A%0A%20%20%20%20false_colour%20%3D%20np.dstack(%5Bread_band(b)%20for%20b%20in%20(%22nir%22%2C%20%22red%22%2C%20%22green%22)%5D)%0A%20%20%20%20false_colour%5Bfalse_colour%20%3D%3D%200%5D%20%3D%20np.nan%0A%0A%20%20%20%20plt.figure(figsize%3D(7%2C%207))%0A%20%20%20%20plt.imshow(stretch(false_colour))%0A%20%20%20%20plt.title(f%22Sentinel-2%20false%20colour%2C%20%7Bscene.datetime%3A%25d%20%25b%20%25Y%7D%2C%20110%20%C3%97%20110%20km%22)%0A%20%20%20%20plt.axis(%22off%22)%0A%20%20%20%20plt.gca()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Zoom%20to%20full%2010%20m%20detail%3A%20a%206%20%C3%97%206%20km%20window%20around%20%60place%60%20touches%20at%20most%204%20of%20the%20band's%20121%20tiles%20(1024%20%C3%97%201024%20pixels%20each).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(from_bounds%2C%20np%2C%20place%2C%20plt%2C%20rasterio%2C%20scene%2C%20stretch%2C%20transform_bounds)%3A%0A%20%20%20%20lon%2C%20lat%20%3D%20place%0A%20%20%20%20zoom_box%20%3D%20(lon%20-%200.03%2C%20lat%20-%200.03%2C%20lon%20%2B%200.03%2C%20lat%20%2B%200.03)%0A%0A%20%20%20%20def%20read_window(name)%3A%0A%20%20%20%20%20%20%20%20with%20rasterio.open(scene.assets%5Bname%5D.href)%20as%20src%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20window%20%3D%20from_bounds(*transform_bounds(%22EPSG%3A4326%22%2C%20src.crs%2C%20*zoom_box)%2C%20src.transform)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20src.read(1%2C%20window%3Dwindow).astype(%22float32%22)%0A%0A%20%20%20%20zoom%20%3D%20np.dstack(%5Bread_window(b)%20for%20b%20in%20(%22nir%22%2C%20%22red%22%2C%20%22green%22)%5D)%0A%0A%20%20%20%20plt.figure(figsize%3D(7%2C%207))%0A%20%20%20%20plt.imshow(stretch(zoom))%0A%20%20%20%20plt.title(f%2210%20m%20pixels%2C%20%7Bzoom.shape%5B1%5D%7D%20%C3%97%20%7Bzoom.shape%5B0%5D%7D%22)%0A%20%20%20%20plt.axis(%22off%22)%0A%20%20%20%20plt.gca()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20Vectors%3A%20farm%20fields%20in%20Iowa%20with%20DuckDB%0A%0A%20%20%20%20%5BFields%20of%20the%20World%5D(https%3A%2F%2Ffieldsofthe.world)%20drew%20field%20boundaries%20worldwide%20for%202017%E2%80%932025%20from%20Sentinel-2%20with%20an%20AI%20model%2C%20one%20GeoParquet%20file%20per%20UTM%20zone%20per%20year.%20Most%20of%20Iowa%20is%20in%20zone%2015%3A%20a%202.3%20GB%20file%20with%202%2C882%2C476%20fields%20in%20354%20row%20groups%2C%20and%20DuckDB%20uses%20each%20row%20group's%20bounding-box%20min%2Fmax%20to%20fetch%20only%20the%202%20that%20touch%20our%207%20%C3%97%207%20km%20box.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(duckdb%2C%20gpd%2C%20mo)%3A%0A%20%20%20%20box%20%3D%20(-93.70%2C%2041.95%2C%20-93.62%2C%2042.01)%0A%20%20%20%20west%2C%20south%2C%20east%2C%20north%20%3D%20box%0A%0A%20%20%20%20fields_url%20%3D%20%22https%3A%2F%2Fdata.source.coop%2Fftw%2Fglobal-data-2e%2Fvector%2F2025%2Fzone%3D15%2Futm15.parquet%22%0A%20%20%20%20duckdb.sql(%22INSTALL%20spatial%3B%20LOAD%20spatial%3B%22)%0A%20%20%20%20fields%20%3D%20duckdb.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20id%2C%20%22metrics%3Aarea%22%20%2F%2010000%20AS%20hectares%2C%20ST_AsWKB(geometry)%20AS%20geometry%0A%20%20%20%20%20%20%20%20FROM%20read_parquet('%7Bfields_url%7D')%0A%20%20%20%20%20%20%20%20WHERE%20bbox.xmin%20%3C%20%7Beast%7D%20AND%20bbox.xmax%20%3E%20%7Bwest%7D%0A%20%20%20%20%20%20%20%20%20%20AND%20bbox.ymin%20%3C%20%7Bnorth%7D%20AND%20bbox.ymax%20%3E%20%7Bsouth%7D%0A%20%20%20%20%22%22%22).df()%0A%20%20%20%20fields%20%3D%20gpd.GeoDataFrame(fields%2C%20geometry%3Dgpd.GeoSeries.from_wkb(fields.geometry.apply(bytes))%2C%20crs%3D%22EPSG%3A4326%22)%0A%20%20%20%20mo.md(f%22%7Blen(fields)%7D%20fields%20in%20the%20box%3B%20median%20size%20%7Bfields.hectares.median()%3A.1f%7D%20ha.%22)%0A%20%20%20%20return%20east%2C%20fields%2C%20north%2C%20south%2C%20west%0A%0A%0A%40app.cell%0Adef%20_(east%2C%20fields%2C%20north%2C%20south%2C%20west)%3A%0A%20%20%20%20ax%20%3D%20fields.plot(column%3D%22hectares%22%2C%20cmap%3D%22YlGn%22%2C%20edgecolor%3D%22%23333%22%2C%20linewidth%3D0.3%2C%20figsize%3D(7%2C%207)%2C%20legend%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend_kwds%3D%7B%22label%22%3A%20%22field%20size%20(ha)%22%2C%20%22shrink%22%3A%200.6%7D)%0A%20%20%20%20ax.set_xlim(west%2C%20east)%0A%20%20%20%20ax.set_ylim(south%2C%20north)%0A%20%20%20%20ax.set_title(%22Fields%20of%20the%20World%2C%202025%22)%0A%20%20%20%20ax%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20%C2%B7%20Embeddings%3A%20what%20AlphaEarth%20sees%20in%20the%20same%20box%0A%0A%20%20%20%20AlphaEarth%20(Google%20DeepMind)%20squeezes%20a%20year%20of%20satellite%20data%20into%2064%20numbers%20per%2010%20m%20pixel%3B%20Source%20Cooperative%20serves%20all%20of%202017%E2%80%932025%20as%20one%20global%20Zarr%20whose%20chunks%20hold%20all%2064%20numbers%20for%20256%20%C3%97%20256%20pixels.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(east%2C%20mo%2C%20north%2C%20np%2C%20south%2C%20west%2C%20zarr)%3A%0A%20%20%20%20aef%20%3D%20zarr.open_group(%22https%3A%2F%2Fdata.source.coop%2Ftge-labs%2Faef-mosaic%2F%22%2C%20mode%3D%22r%22)%0A%20%20%20%20dx%2C%20_%2C%20x0%2C%20_%2C%20dy%2C%20y0%20%3D%20aef.attrs%5B%22spatial%3Atransform%22%5D%0A%0A%20%20%20%20year%20%3D%202025%0A%20%20%20%20rows%20%3D%20slice(int((north%20-%20y0)%20%2F%20dy)%2C%20int((south%20-%20y0)%20%2F%20dy))%0A%20%20%20%20cols%20%3D%20slice(int((west%20-%20x0)%20%2F%20dx)%2C%20int((east%20-%20x0)%20%2F%20dx))%0A%20%20%20%20q%20%3D%20aef%5B%22embeddings%22%5D%5Blist(aef%5B%22time%22%5D%5B%3A%5D).index(year)%2C%20%3A%2C%20rows%2C%20cols%5D%0A%20%20%20%20embeddings%20%3D%20np.sign(q)%20*%20(np.abs(q)%20%2F%20127.5)%20**%202%0A%0A%20%20%20%20mo.md(f%22Global%20array%20%7Baef%5B'embeddings'%5D.shape%7D%20(year%2C%20number%2C%20row%2C%20column)%3B%20we%20read%20%7Bq.shape%7D%2C%20%7Bq.nbytes%20%2F%201e6%3A.0f%7D%20MB.%22)%0A%20%20%20%20return%20embeddings%2C%20year%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Squash%20the%2064%20numbers%20to%203%20with%20PCA%20and%20paint%20them%20as%20red%2C%20green%2C%20blue%3A%20similar%20colours%20%3D%20similar%20land.%20The%20fields%20split%20into%20two%20clear%20colours%2C%20and%20nobody%20gave%20the%20model%20any%20crop%20labels.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20PCA%2C%0A%20%20%20%20east%2C%0A%20%20%20%20embeddings%2C%0A%20%20%20%20fields%2C%0A%20%20%20%20north%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20south%2C%0A%20%20%20%20stretch%2C%0A%20%20%20%20west%2C%0A%20%20%20%20year%2C%0A)%3A%0A%20%20%20%20bands%2C%20height%2C%20width%20%3D%20embeddings.shape%0A%20%20%20%20rgb%20%3D%20PCA(3).fit_transform(embeddings.reshape(bands%2C%20-1).T).reshape(height%2C%20width%2C%203)%0A%0A%20%20%20%20fig%2C%20ax3%20%3D%20plt.subplots(figsize%3D(7%2C%207))%0A%20%20%20%20ax3.imshow(stretch(rgb)%2C%20extent%3D(west%2C%20east%2C%20south%2C%20north))%0A%20%20%20%20fields.boundary.plot(ax%3Dax3%2C%20color%3D%22white%22%2C%20linewidth%3D0.4)%0A%20%20%20%20ax3.set_xlim(west%2C%20east)%0A%20%20%20%20ax3.set_ylim(south%2C%20north)%0A%20%20%20%20ax3.set_aspect(1%20%2F%20np.cos(np.radians((south%20%2B%20north)%20%2F%202)))%0A%20%20%20%20ax3.set_title(f%22AlphaEarth%20%7Byear%7D%2C%2064%20numbers%20%E2%86%92%203%20colours%2C%20with%202025%20field%20boundaries%22)%0A%20%20%20%20ax3%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Try%0A%0A%20%20%20%20-%20Swap%20%60place%20%3D%20%5B89.08%2C%2021.88%5D%60%20for%20your%20home%20town%20(lon%2C%20lat)%2C%20or%20%60(%22nir%22%2C%20%22red%22%2C%20%22green%22)%60%20for%20%60(%22red%22%2C%20%22green%22%2C%20%22blue%22)%60.%0A%20%20%20%20-%20Change%20%60year%20%3D%202025%60%20to%20%602017%60%20and%20compare.%0A%20%20%20%20-%20Move%20%60box%60%20anywhere%20between%2096%C2%B0%20W%20and%2090%C2%B0%20W%20(UTM%20zone%2015)%2C%20or%20change%20%602025%60%20in%20%60fields_url%60%20to%20another%20year.%0A%0A%20%20%20%20Data%3A%20Sentinel-2%20%C2%A9%20Copernicus%20(ESA).%20Fields%20of%20the%20World%2C%20CC%20BY%204.0.%20%22The%20AlphaEarth%20Foundations%20Satellite%20Embedding%20dataset%20is%20produced%20by%20Google%20and%20Google%20DeepMind.%22%20(CC%20BY%204.0).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A
12c56bfbf055de38c2518e5b6e045b32