Tokenizer Choice For LLM Training: Negligible or Crucial?
Mehdi AliMichael FrommKlaudia ThellmannRichard RutmannMax LübberingJohannes LevelingKatrin KlugJan EbertNiclas DollJasper Schulze BuschhoffCharvi JainAlexander Arno WeberLena JurkschatHammam AbdelwahabChelsea JohnPedro Ortiz SuarezMalte OstendorffSamuel WeinbachRafet SifaStefan KesselheimNicolas Flores-HerrPublished in: CoRR (2023)