What is the translation of " TOKENIZER " in English?

• tokenizer

Examples of using Tokenizer in French and their translations into English

Erreur technique du tokenizer.
Technical error with tokenizer.

Le tokenizer est insensible à la casse.
The tokenizer is case-insensitive.

Example 1 Suppression de commentaires avec le tokenizer.
Example 1 Strip comments with the tokenizer.

L'extension tokenizer est recommandée.
The tokenizer extension is recommended.

Exemple 1 Supprime les commentaires avec le tokenizer<? php.
Example 1 Strip comments with the tokenizer<? php.

Le tokenizer découpe la mémoire tampon en jetons.
The tokenizer breaks the data buffer into tokens.

Le parseur obtient les jetons un par un à partir du tokenizer.
The parser obtains the tokens one by one from the tokenizer.

Le tokenizer de PHP est le moteur d'analyse de PHP lui-même.
PHP Scrutinizer is the best PHP analysis engine.

Comment se débarrasser de la ponctuation en utilisant le tokenizer NLTK?
How to get rid of punctuation using NLTK tokenizer?

CPD- Tokenizer non initialisée avec des propriétés demandées.
CPD- Tokenizer not initialized with requested properties.

Vous n'avez pas besoin de configurer de paramètre supplémentaire pour Tokenizer.
You do not need to set any additional parameters for Tokenizer.

Cela inclut le tokenizer nGram, qui a un rôle très important.
This include the nGram tokenizer, which role is very important.

La constante T_ML_CONSTANT n'est plus définie par l'extension Tokenizer.
The T_ML_COMMENT constant is no longer defined by the Tokenizer extension.

Ci-dessous se trouve le tokenizer, écrit en notation Flex(voyez[FLEX].
The following is the tokenizer, written in flex[16] notation.

La constante T_ML_CONSTANT n'existe plus elle était définie par l'extension Tokenizer.
The T_ML_CONSTANT no longer exists this was defined by the Tokenizer extension.

Node-scss-tokenizer: SCSS syntax tokenizer, en préparation depuis 196 jours.
Node-sass-graph: generate dependency graphs from Sass files, 196 días en preparación.

Quelles sont les exigences de la licence de crayon pour le Tokenizer de Penn Tree Bank?
What are the requirements of the crayon license for the Penn Tree Bank Tokenizer.

Regex tokenizer effectue une segmentation avancée basée sur les modèles de regex donnés.
Regex tokenizer performs advanced tokenization based on given regex patterns.

La fonctionnalité de couverture de code nécessite l'extension Xdebug(2.5.0 ou ultérieur) et tokenizer.
The code coverage report feature requires the Xdebug(2.5.0 or later) and tokenizer extensions.

Tokenizer divise le texte d'entrée(souvent des phrases) en termes individuels(souvent des mots.
Tokenizer breaks input text(often sentences) into individual terms(often words.

Un programme réalisant une analyse lexicale est appelé un analyseur lexical(tokenizer ou lexer.
A program which performs lexical analysis is termed as a lexical analyzer(lexer), tokenizer or scanner.

Les fonctions tokenizer fournissent une interface au tokenizer PHP interne au moteur Zend.
The tokenizer functions provide an interface to the PHP tokenizer embedded in the Zend Engine.

Merci de noter que cette fonctionnalité n'est seulement disponible que lorsque les extensions tokenizer et Xdebug sont installées.
Please note that this functionality is only available when the tokenizer and Xdebug extensions are installed.

Voici un exemple simple de script PHP qui utilise le tokenizer pour lire un fichier, supprimer tous les commentaires de la source, et afficher uniquement du code.
Here is a simple example PHP scripts using the tokenizer that will read in a PHP file, strip all comments from the source and print the pure code only.

Il était également utilisé pour éviter une consommation trop importante de mémoire lorsque l'extension Tokenizer n'était pas compilée avec PHP.
It was also used later on to avoid large memory consumption when the Tokenizer extension was not compiled with PHP.

Elle était utilisée parfois dans le cas d'une réécriture des liens sous apache(ModRewrite). La constante T_ML_CONSTANT n'existe plus(elle était définie par l'extension Tokenizer). La version CLI de PHP 5 utilisera toujours les variables globales $argc et $argv. Un objet sans propriétés n'est plus considéré comme vide (empty)get_class() retourne le nom de la fonction tel que déclaré, sans en modifier la casse.
This was sometimes used in the case of link rewriting in Apache(ModRewrite). The T_ML_CONSTANT no longer exists(this was defined by the Tokenizer extension). The CLI version in PHP 5 will always use the global variables$argc and$argv. An object with no properties is no longer considered to be empty. get_class() returns the name of the function as declared, without case modification.

Ces composants incluent: Sentence boundary detector⇔ Rule-based tokenizer to separate punctuations from words⇔ Normalisateur Context dependent tokenizer⇔ Part-of-speech tagger⇔ Phrasal chunker⇔ Dictionary lookup annotator⇔ Contexte l'annotateur détecteur de négation Dependency parser⇔ Module for the identification of patient smoking status⇔ Drug mention annotator⇔ Le développement de cTAKES débuté en 2006 par une équipe de médecins, d'informaticiens et des ingénieurs logiciels à la Clinique Mayo.
These components include: Named Section identifier Sentence boundary detector Rule-based tokenizer Formatted list identifier Normalizer Context dependent tokenizer Part-of-speech tagger Phrasal chunker Dictionary lookup annotator Context annotator Negation detector Uncertainty detector Subject detector Dependency parser patient smoking status identifier Drug mention annotator Development of cTAKES began at the Mayo Clinic in 2006.