Duckdb_离线处理腾讯文档以及更新字段的语法

duckdb

语法情况

语法 情况处理01. where 条件中 使用单引号而不是双引号	 	 02. select "observation.state" from episode; -- 带有dot的列名 在mysql中用反引号，在duckdb中用双引号 ###
python 中 result_dat.create_view("temp_table")con.register("new_temp_table",result_dat)

功能

1.通过https或者S3 访问 duckdb数据库--Network and Cloud StorageAttach to a DuckDB Database over HTTPS or S3命令 ATTACH 'https://blobs.duckdb.org/databases/stations.duckdb' AS stations_db;ATTACH 's3://duckdb-blobs/databases/stations.duckdb' AS stations_db;适用： 通过https或者S3 当前只支持读取，不支持写入2.read_blob functions 和Multiple Files DuckDB offers two ways of unifying schemas of multiple files: by column position and by column name.Read a set of CSV files combining columns by positionRead a set of CSV files combining columns by name3.Meta QueriesPRAGMA version; PRAGMA platform;		

时间更新

1.MySQL 中create_time和update_time默认值和实时更新   create_time和update_time字段，便于后期维护数据类型：更新命令：初始化时间 ：DEFAULT now()表示当数据插入数据库时，create_tim默认值为当前时间ON UPDATE now()表示更新这条数据的时候，update_time会更新成当前时间`create_time` datetime NOT NULL DEFAULT now() COMMENT '创建时间',`update_time` datetime NOT NULL DEFAULT now() ON UPDATE now() COMMENT '更新时间'2.PostgreSQL   PostgreSQL 可以通过触发器实现类似MySQL的ON UPDATE功能创建一个BEFORE UPDATE触发器，在更新行时自动设置时间戳3.SQLite:从3.3.0版本开始，支持在TIMESTAMP字段中使用ON UPDATE，但语法略有不同：update_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP   只对 TIMESTAMP 类型有效，并且必须使用特定的日期时间函数
4.duckdb DuckDB是嵌入式分析型数据库，通常更推荐在应用程序中处理更新时间戳   CREATE TABLE your_table (id INTEGER PRIMARY KEY,data VARCHAR,update_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP); merge into 	 db_a as targetusing(select t1.* from db_2 t1 ) as sourceon 	target.id = source.id when matched then update	set update_time = LOCALTIMESTAMPwhen NOT matched  then	insert(id,name,data_type)values(source,id,source.name,source.data_type);			   
5.框架 SQLAlchemy中，可以这样定义   
6. Repository 模式 或 装饰器模式，这样可以在保持代码整洁的同时，确保所有更新操作都自动包含时间戳管理。对于需要审计的场景，考虑添加审计日志表来跟踪所有更改历史
7. doris 数据更新 doris --1.简单的更新	 Simple updateUPDATE user_profiles SET age = age + 1 WHERE user_id = 1;--2.连表更新 Cross-table join updateUPDATE sales_records t1SET t1.user_name = t2.nameFROM user_profiles t2WHERE t1.user_id = t2.user_id;参考  https://doris.apache.org/docs/3.x/data-operate/update/update-overview insert has filtered data in strict mode，翻译：插入在严格模式下过滤了数据。可能原因1：在创建表的时候有一列的长度过短。可能原因2：将null值插入到了not null的字段。 查看插入表的DDL，看是否有 not null 字段的设置例如： id  设置成自增。

duckdb 处理腾讯文档数据

1.下载数据登录腾讯文档--查看在线表格，将其下载到本地下载到本地后，打开excel后另存为xlsx数据
2.筛选数据--C:\Users\~\Downloads\data_表.xlsx		数据存储到本地库	处理完数据把文件重新命名+ 时间+名称
3.将批次处理数据放到对象存储上4.附录说明 1.excel本质是一堆xml的zip文件2.win32com.client是Python中用于操作Windows COM对象的强大模块，特别适合与Microsoft Office应用程序(如Word、Excel、Outlook等)进行交互 win32com.client是pywin32库的子模块	pip install pywin32  通过另存为解决。 通过代码将原文件另存为然后读取另存为的文件1.‌文件格式或编码不兼容 原始Excel文件可能由特定系统（如WPS、网页导出、旧版软件）生成，其内部格式（如XML结构、编码方式）与当前读取工具（如Python的pandas、openpyxl）不完全兼容。当使用“另存为”功能时，Excel会重新构建文件的内部结构，将其转换为标准的.xlsx或.xls格式，从而消除兼容性问题  ‌2. 文件损坏或部分数据异常 3.‌文件被锁定或权限问题

参考

    https://blog.csdn.net/w499311647/article/details/145932719 TypeError: expected ＜class ‘openpyxl.styles.fills.Fill‘＞https://blog.csdn.net/2301_78803982/article/details/141249871