tinyCrawl.utils package

Submodules

tinyCrawl.utils.logger module

Created on 2021/1/8 10:21

@author: Irvinfaith

@email: Irvinfaith@hotmail.com

class tinyCrawl.utils.logger.LogConfig(name, level='info')

基类:object

CONFIG = {'checkpoint_dir_path': './', 'is_save_log': True, 'log_path': 'D:/test'}
class Config

基类:dict

set(key, value)
classmethod set_is_save(is_save)
classmethod set_log_path(log_path)

tinyCrawl.utils.utils module

Created on 2021/1/8 10:24

@author: Irvinfaith

@email: Irvinfaith@hotmail.com

tinyCrawl.utils.utils.is_abs_path(path, return_abs_path=False)
tinyCrawl.utils.utils.is_file_path(path, return_dir_path=False)

判断路径是文件路径还是目录路径,并可返回目录路径

参数
  • path (str) – 路径地址

  • return_dir_path (bool) – 是否返回目录路径

返回

目录路径

返回类型

str

tinyCrawl.utils.utils.mkdirs(path, return_path=False)

根据路径判断是否创建dir,并可返回绝对路径

参数
  • path (str) – 绝对路径/相对路径/文件路径

  • return_path (bool) – 是否返回绝对路径

返回

绝对路径

返回类型

str

Module contents

Created on 2021/1/8 10:21

@author: Irvinfaith

@email: Irvinfaith@hotmail.com