autorag.data package

Subpackages

• autorag.data.chunk package
  • Submodules
  • autorag.data.chunk.base module
    • add_file_name()
    • chunker_node()
    • make_metadata_list()
  • autorag.data.chunk.langchain_chunk module
    • langchain_chunk()
    • langchain_chunk_pure()
  • autorag.data.chunk.llama_index_chunk module
    • llama_index_chunk()
    • llama_index_chunk_pure()
  • autorag.data.chunk.run module
    • run_chunker()
  • Module contents
• autorag.data.legacy package
  • Subpackages
    • autorag.data.legacy.corpus package
      • Submodules
      • autorag.data.legacy.corpus.langchain module
      • autorag.data.legacy.corpus.llama_index module
      • Module contents
    • autorag.data.legacy.qacreation package
      • Submodules
      • autorag.data.legacy.qacreation.base module
      • autorag.data.legacy.qacreation.llama_index module
      • autorag.data.legacy.qacreation.ragas module
      • autorag.data.legacy.qacreation.simple module
      • Module contents
  • Module contents
• autorag.data.parse package
  • Submodules
  • autorag.data.parse.base module
    • parser_node()
  • autorag.data.parse.clova module
  • autorag.data.parse.langchain_parse module
    • langchain_parse()
    • langchain_parse_pure()
    • parse_all_files()
  • autorag.data.parse.llamaparse module
    • llama_parse()
    • llama_parse_pure()
  • autorag.data.parse.run module
    • run_parser()
  • autorag.data.parse.table_hybrid_parse module
  • Module contents
• autorag.data.qa package
  • Subpackages
    • autorag.data.qa.evolve package
      • Submodules
      • autorag.data.qa.evolve.llama_index_query_evolve module
      • autorag.data.qa.evolve.openai_query_evolve module
      • autorag.data.qa.evolve.prompt module
      • Module contents
    • autorag.data.qa.filter package
      • Submodules
      • autorag.data.qa.filter.dontknow module
      • autorag.data.qa.filter.passage_dependency module
      • autorag.data.qa.filter.prompt module
      • Module contents
    • autorag.data.qa.generation_gt package
      • Submodules
      • autorag.data.qa.generation_gt.base module
      • autorag.data.qa.generation_gt.llama_index_gen_gt module
      • autorag.data.qa.generation_gt.openai_gen_gt module
      • autorag.data.qa.generation_gt.prompt module
      • Module contents
    • autorag.data.qa.query package
      • Submodules
      • autorag.data.qa.query.llama_gen_query module
      • autorag.data.qa.query.openai_gen_query module
      • autorag.data.qa.query.prompt module
      • Module contents
  • Submodules
  • autorag.data.qa.extract_evidence module
  • autorag.data.qa.sample module
    • random_single_hop()
    • range_single_hop()
  • autorag.data.qa.schema module
    • Corpus
      • Corpus.batch_apply()
      • Corpus.linked_raw
      • Corpus.map()
      • Corpus.sample()
      • Corpus.to_parquet()
    • QA
      • QA.batch_apply()
      • QA.batch_filter()
      • QA.filter()
      • QA.linked_corpus
      • QA.make_retrieval_gt_contents()
      • QA.map()
      • QA.to_parquet()
      • QA.update_corpus()
    • Raw
      • Raw.batch_apply()
      • Raw.chunk()
      • Raw.flatmap()
      • Raw.map()
  • Module contents
• autorag.data.utils package
  • Submodules
  • autorag.data.utils.util module
    • add_essential_metadata()
    • add_essential_metadata_llama_text_node()
    • corpus_df_to_langchain_documents()
    • get_file_metadata()
    • get_param_combinations()
    • get_start_end_idx()
    • load_yaml()
  • Module contents

Module contents

class autorag.data.UnstructuredLoader(file_path_list: List[str], **kwargs)

Bases: object

load()

class autorag.data.UpstageLayoutAnalysisLoader(*args, **kwargs)

Bases: object

autorag.data.split_by_sentence_kiwi() → Callable[[str], List[str]]