datafaker

datafaker copied to clipboard

感谢你的开源，提供了学习的机会。。1：希望增加ORALCE的支持，2：基于文件ENUM好像没有实现

4

alex-yul

模拟多表关联数据 通过制定某些字段为枚举类型（从指定的数据列表里面随机选择），这样在数据量多的情况下能保证多表Join能关联上，查询到数据

7

@gangly 如标题：模拟多表关联数据 通过制定某些字段为枚举类型（从指定的数据列表里面随机选择），这样在数据量多的情况下能保证多表Join能关联上，查询到数据 这句话，如何理解？？？

puxinhe

如何导数据到hive

9

您好，请问一下 datafaker hive hive://yarn@localhost:10000/test stu 1000 --meta data/hive_meta.txt 这里yarn是指什么呢？我是通过docker拉了一个hive（https://www.huangyunkun.com/2018/06/05/docker-compose-hive/） 我的界面上显示的是 hive2://localhost:10000 是否你的语句中yarn在我这里可以替换成hive2。 另外，是不是需要更改datafaker目录里 __init__.py ? 该文件我修改成 from datafaker.cli import main import pymysql pymysql.install_as_MySQLdb() import pyhive 目前跑mysql是正常了 。在跑hive的过程中一直遇到如下错误 No module named...

tulinying

关于enum类型的需求

1

enum类型能否增加支持从数据库中取数据;例如 [:enum(mysql://root:[email protected]:3306/test:{table_name:column_name})] [:enum(mysql://root:[email protected]:3306/test:{table_name:column_name1+'|'+column_name2})] [:enum(mysql://root:[email protected]:3306/test:table_name:column_name1+'|'+column_name2)] 希望允许多表关联查询数据;例如 [:enum(mysql://root:[email protected]:3306/test:{table_name1:[column_name1,same_column],table_name2:[column_name2,same_column]})] 或者 [:enum(mysql://root:[email protected]:3306/test:{table_name1:[column_name1,same_column],table_name2:[column_name2,same_column]})] 甚至可以加上过滤条件 ------------------------------------------------------------------------------------ 其实复杂逻辑确实可以通过sql 输出到 文件,但是如果程序原生支持就更棒了 简单的数据库数据希望可以直接由程序实现

windyoung

时间类型数据插入异常问题更改

1

meta文件中配置如时间类型时如 capStampTime||varchar(64)||捕获时间[:date(-5d,-0d, '%Y-%m-%d %H:%M:%S')] capStampDate||datetime||捕获日期[:date(-5d,-0d, '%Y-%m-%d')] 会导致生成插入sql异常如 insert into rebody_t (reBodyId,cameraId,dayReid,permanentReid,captureId,traceId,capTimestamp,bodyRect,captureImg,quality,panoramicImg,captureImgUrl,panoramicImgUrl,appId,createTime,capStampTime,capStampDate) values ('47c486a4959561f008cb3d1bdf6efc98',1,30294,'2807','rCZMiKdVwFXZxZnFOsKAGrpemTiezEBMZcwboVPNEGHtLFpYhYoFjRExzpmDJlS',67,1580700634,'OpWmUeLptGaeJMGgfkQbLlJdxKIcVRHXLtsUlFDImAgdOaZAvztxKmBnZbWCaJTcNvEHLfGEibEoCJnkJrIRBNDWFPambrSQlJnYIzJvtsNSlGlfyENZQBbAnxMuDdnbazYZRqcYCJVRpGxNDvjaZYIHXMyDRzeTRhDchyUYEaKOYeEGLDzCrpwARYjocp','MKeBOfVLirRMzoUPdKwEgbqPQvbOSWKZHYUkEamOenXNzNYhAYFwXUWblNpnStlRYrZQnuhchYymDNvYWsvEpTvHjmEwyjgYebsMubCYqqVPQFZDmeCraFunFyojvkGUfTSqEHUtltBwwAShTKoqmgDXoCGXCeONHzTYNtvwIOUNjxCyHyIFvrhcUnRmJLzlKwszTsLwjxHtzjbWSVprhRsjBswPgsMzmBZzzRMJCuHqHrXsdaHqC',7,'fsqKXpwUDWyCqhngtuzorNOWPUTRPnfNKPECNdJtegrxMitVSczjqeffOLdkfGUPMGKaLilgkHaxzgAElLEPDexowqEVJsDWkcBDdGVNhTsdXVnQKSQdLEgNBoGJlbAxBmoIePRFAemCsadKbHcTEGffyujjRLjMBNiUxjokozVXDIaHGufsAsqBIOpNoQpUyYflMLtnQuoMJDiUlUwMAyIpljbApuvOhrdYAbdBfpc','XhZmJIVtHRaYzODDjroHScjVAVBeQAfUFXqeGrNSBIvxiLQeYrhjnelwcfbAJkgYeurNvzDTu','QgCTpvmSVnbODsrQUljbXHhSiLIKfobvHjmilwjlfnCeoUkjikiDOSeUtBjAlcWlREqQGnIGndMoykifxvcsWcfaJtKsbAnHWwWOG',69,'a',''2020-01-31 00:00:00'',''2020-01-30'') 其中的''不是“而是‘’ 因此在rdbdb.py中增加对这种情况的处理，望采纳

liuweidadada

造kafka数据报错：TypeError: fake_column() takes exactly 2 arguments (1 given)

1

[root@node03 bin]# datafaker kafka node01:6667 test4 1 --meta meta.txt --outprint Traceback (most recent call last): File "/usr/local/lib/python2.7/site-packages/datafaker/cli.py", line 78, in main db.do_fake() File "/usr/local/lib/python2.7/site-packages/datafaker/utils.py", line 72, in wrapper ret =...

xie-jinfen

按照举例来操作生成数据报错啊

2

File "D:\Python\Python36\lib\codecs.py", line 321, in decode (result, consumed) = self._buffer_decode(data, self.errors, final) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd7 in position 9: invalid continuation byte 'utf-8' codec can't decode byte...

xie-jinfen

ValueError: empty range for randrange() (11,1, -10)

19

(venv366-64bit-mysql) D:\012_python3\datafaker-master>datafaker mysql mysql+mysqldb://api_test:[email protected]:3306/mailserver virtual_users 2 Exception in thread Thread-1: Traceback (most recent call last): File "c:\python366-64bit\Lib\threading.py", line 916, in _bootstrap_inner self.run() File "c:\python366-64bit\Lib\threading.py", line 864, in run self._target(*self._args, **self._kwargs)...

huanjoyous

mysql 的 datetime 插入数据显示语法错误，

2

sqlalchemy.exc.ProgrammingError: (MySQLdb._exceptions.ProgrammingError) (1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '11:28:15,0),(2,'dingjie',56.58,'玉华市',40383614455,'姜雷',2019-12-11 11:28'...

zeroone2005

enum枚举希望实现顺序取文件值，请帮忙告知一下源码读取文件的代码在哪个函数

11

作者您好，现有需求需要实现从文件数值按顺序写入指定数据库，目前在看您的源码，fake_enum函数接收一个用户输入参数如[:enum(1,2)]，转化为列表，然后调random随机取值，但是没看到[:enum(names.txt)]这种方式函数如何解析的。麻烦告知一下，谢谢~ 

a3733092